系統(tǒng)構成

“多模態(tài)人因感知手環(huán)”通常涉及到四個模塊： “多模態(tài)人因感知終端”、 “邊緣計算終端”、 “實驗操作端”以及“科研云平臺”。

根據(jù)不同需求配備不同的模塊。

-“多模態(tài)人因感知終端”（情緒手環(huán)）

多模態(tài)人因感知手環(huán)支持脈搏、皮膚電阻、皮膚溫度、運動加速度、角速度等生理和行為數(shù)據(jù)，以及環(huán)境數(shù)據(jù)的采集，并將數(shù)據(jù)傳輸?shù)健斑吘売嬎憬K端”

脈搏傳感器：采樣頻率 100Hz

皮電傳感器：采樣頻率 4Hz，交流激勵源頻率 24Hz

皮溫傳感器：采樣頻率 1Hz，測量范圍 0~50°C，測量精度 ±1°C

運動傳感器三：軸加速度和三軸角速度，采樣頻率 20Hz

環(huán)境傳感器：溫度、濕度、氣壓三種傳感器，采樣頻率 1Hz

-“邊緣計算終端”

“邊緣計算終端”實時接收“多模態(tài)人因感知終端”的原始數(shù)據(jù)，實時對數(shù)據(jù)進行預處理與特征計算，并將原始數(shù)據(jù)與計算后的特征數(shù)據(jù)傳輸至“科研云平臺”

設備綁定：對邊緣計算終端與多模態(tài)人因感知終端進行綁定

設備狀態(tài)：記錄人因感知終端的連接狀態(tài)、采集時長、藍牙信號強度

數(shù)據(jù)監(jiān)控：針對脈搏、皮膚電阻、運動加速度、皮溫等數(shù)據(jù)的實時監(jiān)控

數(shù)據(jù)分析：可實時對多種生理和行為數(shù)據(jù)進行預處理與特征計算

-“實驗操作端”

“實驗操作端”實時監(jiān)控“邊緣計算終端”的設備電量與網(wǎng)絡連接狀態(tài)，支持實驗過程中關鍵事件的同步標記，并將標記數(shù)據(jù)傳輸至“科研云平臺”

實驗控制：支持采集設備的結束控制

設備監(jiān)控：實時查看設備電量、采集狀態(tài)、采集時長的監(jiān)控

場景維護：支持實驗場景的維護，可修改實驗名稱及事件標記名稱

主動事件標記：實驗過程中支持對設備進行主動標記，以及標記點的查看與編輯

自動事件標記：提供 Python 、Matlab、Eprime 程序的API 接口

-“科研云平臺”

科研人員登錄“科研云平臺”下載原始數(shù)據(jù)、特征數(shù)據(jù)與事件標記，或提交定制化數(shù)據(jù)分析需求，對原始數(shù)據(jù)進行定制化數(shù)據(jù)處理與特征提取分析

用戶驗證：不同實驗員擁有獨立賬戶，保證數(shù)據(jù)隔離

設備查看：支持管理員名下設備的查看

數(shù)據(jù)下載：支持多種生理和行為原始數(shù)據(jù)的批量下載

特征分析：支持不少于80種對情緒狀態(tài)敏感的先驗特征的計算和批量下載

可定制項：支持外接設備采集的腦電、眼動軌跡、外周生理數(shù)據(jù)的批量下載，支持經(jīng)驗取樣APP采集的問卷、錄音、手機使用數(shù)據(jù)的批量下載

產(chǎn)品優(yōu)勢

- 結合超掃描技術（Hyper-Scanning），支持同時記錄參與同一認知活動的多人外周生理活動，分析生理活動同步及其與行為指標間的關系及其機制

- 結合經(jīng)驗取樣法或生態(tài)瞬時評估法（ESM/EMA），支持開展各類縱向數(shù)據(jù)、移動式數(shù)據(jù)收集和研究，數(shù)據(jù)采集成本低，評估客觀、高效，研究結果具有更高生態(tài)效度

- 提供豐富的具有先驗知識的特征指標的計算，支持原始數(shù)據(jù)和特征數(shù)據(jù)的下載，支持原始數(shù)據(jù)和特征數(shù)據(jù)的接口開發(fā)

- 集成一體化設計、體積小巧、方便攜帶，適用于缺網(wǎng)、缺電、高噪等作業(yè)環(huán)境下使用

應用案例

-群體共享情緒識別研究

     本研究采用超掃描技術，以中科院心理所建立的標準華語情緒電影庫為實驗素材，誘發(fā)4種特定的情緒狀態(tài)。研究者招募了 144 名大學生被試，6 人一組進行群體觀影實驗，同時佩戴手環(huán)記錄 6 人的生理、行為和環(huán)境數(shù)據(jù)。

    研究人員從脈搏和皮膚電阻信號中提取了 80 多個具有心理學先驗知識的時頻域特征，并輸入到支持向量機、隨機森林、深度置信網(wǎng)絡、長短時記憶網(wǎng)絡等模型中進行四分類學習。

-玩電腦游戲時的用戶情感體驗研究

    本研究以男性大學生為研究群體，要求他們在電腦上玩“五子棋”游戲時全程佩戴手環(huán)，記錄他們的生理數(shù)據(jù)；用戶在游戲過程中的主觀感受（如無聊、有趣、興奮）在游戲結束后進行反饋。

    研究結果發(fā)現(xiàn)，用戶在朋友一起游戲時的皮膚電導反應（SCR）明顯高于與電腦對打時的皮膚電導反應，且自我報告在朋友對打時覺得更加有趣和興奮。相關分析的結果也發(fā)現(xiàn)，皮膚電導反應與自我報告的有趣程度正相關，與挫折感負相關。

-皮膚電信號預測合作行為研究

    本研究讓兩個被試在電腦上完成“囚徒困境”的實驗范式，同步記錄兩個人的心率、皮膚電阻、眼動軌跡、肌電等生理和行為數(shù)據(jù)。實驗條件分為能看到彼此和看不到彼此兩個條件，通過該實驗研究合作過程中的生理變化情況。

    研究發(fā)現(xiàn)，在被試能看到彼此的條件下，心率和皮膚電導水平（SCL）開始變得同步，且這種正向的同步聯(lián)系會變得更強。SCL能夠預測兩人的成功合作行為。

-基于HR和EDA信號預測學生學業(yè)成績研究

   本研究使用可穿戴設備，記錄學生在真實語文和數(shù)學課堂中的皮膚電阻和心率數(shù)據(jù)，探討這些生理數(shù)據(jù)與學生學業(yè)成績的關系。

   本研究共招募了 100 名七年級的學生，連續(xù)記錄了他們在 10 天語文和數(shù)學課堂中的生理數(shù)據(jù)。

    研究結果發(fā)現(xiàn)，學生課堂過程中的皮膚電導水平（SCL）和皮膚電導反應（SCR）與其學業(yè)成績存在顯著的相關。

-中科院心理所2021年啟動抑郁癥長期追蹤項目“心花計劃”

    針對抑郁癥的追蹤研究，項目周期10年，涵蓋抑郁癥患者和亞臨床抑郁狀態(tài)兩個群體。

    旨在采用腦影像、可穿戴設備等多種研究手段，建立抑郁癥精準診斷和分型的客觀標記，探索基于中國文化的新型心理干預技術，并發(fā)展藥物之外的無創(chuàng)神經(jīng)調(diào)控新療法。

    采用經(jīng)驗采樣法，通過可穿戴手環(huán)記錄脈搏、皮膚電阻、皮膚溫度、運動加速度、角速度、睡眠質量等數(shù)據(jù)，以及通過手機APP采集語音、自陳問卷、手機使用情況等多種數(shù)

-駕駛過程中駕駛員心理壓力識別研究

     本實驗采用了 MIT-BIH 數(shù)據(jù)集。該數(shù)據(jù)集通過可穿戴設備收集了多個駕駛員在實際駕駛過程中的皮膚電阻、心率等生理數(shù)據(jù)。

    研究人員對皮膚電阻數(shù)據(jù)進行了預處理、特征提取等一系列規(guī)范化處理后，對結果進行了統(tǒng)計檢驗。研究結果發(fā)現(xiàn)，駕駛員在駕駛過程中的壓力水平可分成三個等級，各個壓力等級之間存在顯著差異。