SPRING: 高齢者介護施設における社会的ロボットの実証実験

背景

ROS4HRIの仕組みで、hri_person_manager（Mr. Potato algorithm）やPAL Robotics ARIといった、ROS4HRIのエコシステムを構成する要素を整理した
Alameda-Pineda, Addlesee, Hernández García他 (2024) “Socially Pertinent Robots in Gerontological Healthcare”（arXiv:2404.07560）は、これらの要素を組み合わせた実際のシステムを、高齢者介護施設で60人以上の患者・付添人を対象に検証した論文。ROS4HRIが実際の医療現場でどう使われているかの実例として、内容を整理する

論文の概要

EUのHorizon 2020プロジェクト「SPRING」の成果として、フランス・パリのBroca老年医学デイケア病院で、会話可能な社会的ロボットを実際の患者・付添人に使ってもらい、受容性（Acceptability）とユーザビリティを検証した実証研究
著者は、SPRINGプロジェクトに参加する複数機関にまたがる44名（筆頭著者はAlameda-Pineda、Addlesee、Hernández García）
臨床試験として登録されており（NCT05089799）、フランスの倫理審査委員会（CPP Ouest II）・パリ大学の倫理委員会の承認を得て実施された
arXivプレプリント（2404.07560）として公開された後、共著者Angus Addlesee氏のLinkedIn投稿によれば、International Journal of Social Roboticsに正式に掲載された

使用ロボット: PAL Robotics ARI

使用されたロボットは、PAL Robotics社のARI。ROS4HRIの仕組みで紹介した対応ロボットの1つ
身長1.65m、差動二輪駆動の移動ベース、タッチスクリーン付きの胴体、可動する腕、LCDの目を持つ表情豊かな頭部を備える
センサーとして、胴体前面の4マイクアレイ、頭部のRGBカメラ、胸部・背面の180度魚眼カメラ2台を搭載する

システムアーキテクチャ: 8つのモジュール

システム全体は、知覚系・行動系あわせて8つのモジュールで構成され、ROS 1 Noetic上で、52個のROSノードが170以上のトピック・アクションを介して通信する構成になっている
論文のFig. 2（アーキテクチャ全体図）を見ると、センサー（マイクアレイ・頭部カメラ・魚眼カメラ・RGB-Dカメラ）からアクチュエータ（スピーカー・モーター）まで、各モジュールがどう繋がっているかが一目で分かる

Fig. 2 Overview of the SPRING architecture. Each box represents either a sensor (microphone array, fisheye camera, frontal camera, or RGB-D camera), an actuator (loudspeaker, robot motors), or a module (perception or action) corresponding to the subsections of Sect. 2

マイクアレイ・頭部カメラ・魚眼カメラがSpeech Processing・Human Localisationに入り、そこからBehaviour Analysisを経てPerson Managerに集約される。RGB-DカメラはSelf-Localisation専用の入力になっている
Person Managerに統合された人物情報は、Multi-party ConversationとNon-verbal Behaviourの両方に渡され、それぞれSpeech Synthesis（スピーカー）とMotors & Actuators（モーター）という、ロボットの実際の出力に繋がる
Experimenter Interfaceは、Multi-party Conversation・Non-verbal Behaviourの両方と接続されており、実験者がシステムの挙動をリアルタイムに監視・介入できるようになっている

知覚系

モジュール	内容
Self-Localisation	RTABMapとHLOC（Hierarchical-Localisation）を組み合わせ、90%のクエリで位置誤差1cm未満・回転誤差0.2度未満という精度で自己位置推定を行う
Human Localisation	視覚トラッカーFairMOTと、音源方向推定（GCC-PHAT）を組み合わせて人物を追跡する。姿勢推定にOpenPose、グループ検出にGCFFアルゴリズムを使う
Speech Processing	音声強調（Mixture of Deep Experts、Sep-TFAnet）、VAD・音源方向・話者埋め込み（ECAPA-TDNN）の抽出、NVIDIA RIVAによる音声認識という多段パイプライン
Human Behaviour Analysis	視線先の検出、視線分析によるエンゲージメント（社会的受容）の自動検出、表情感情認識（FER）、音声感情認識（SER）
Person Manager	ROS4HRI標準の実装で、顔・身体・声の特徴を1人の人物に統合する。ROS4HRIの仕組みで扱ったMr. Potato algorithmがここで使われている

補足: Person Managerによる特徴統合の具体例

論文のFig. 3は、Person Managerが実際にどうMr. Potato algorithmを使って、顔・身体・声をグループ・人物に統合するかを、具体的な数値例で示している

Fig. 3 Example of the processing of social features by the person manager. Faces, voices, bodies, persons, and groups are denoted by different colours. Edge numbers represent the likelihood of two nodes being associated. The relations graph generated by the perception module is shown on the left, and the changed graph by the person manager to maximise the overall likelihood on the right.

左側が、知覚モジュール（顔検出・骨格追跡・音源定位など）が個別に出力した、ノード（Body・Voice・Face・Person・Group）間の関連尤度グラフ。例えば「Body 1」と「Voice 2」の間には尤度0.9のエッジがあり、強く関連していそうだと分かる
右側が、Person Managerがこのグラフ全体の尤度を最大化するように調整した後の結果。左側で灰色になっていた弱い関連（例えば「Face 1」周りの0.1・0.6・0.2・0.8といったエッジ）は切り捨てられ、代わりに新しいPerson 3が追加されて、Body 1・Voice 2と紫色のエッジで結び直されている
キャプションの注記にあるように、Body 1とVoice 2という2つの特徴が、どの既存のPersonにも十分な尤度で結びつかなかったため、Person Managerが新しい匿名の人物Person 3を生成して割り当てている。これは、ROS4HRIの仕組みで触れたMr. Potato algorithmの要件「特徴に紐づく人物が見つからない場合は匿名の人物に紐付ける」が、実際にどう動くかを示す具体例になっている

行動系

モジュール	内容
Multi-party Conversation Manager	LLMを組み込んだ対話システムで、複数人が同時に参加する会話の目的追跡や、「誰に話しかけられているか」の認識を行う
Non-verbal Behaviour Generation	Petri-Net Plannerをベースにした行動マネージャーに、ジェスチャー・視線のコントローラー、人の存在を考慮した経路計画（MPCベースのSocial Navigation Controller）を組み合わせる
Experimenter Interface	タブレットから実験者がシステムを監視・操作するためのインターフェース

補足: Petri Netの基礎

Behaviour Manager（行動マネージャー）が基盤にしているPetri-Net Planner（PNP、Dondrup et al. 2019）を理解するため、Petri net自体の基礎を、Bonet & Haslum (2011) “Petri Nets (for Planners)"（ICAPS 2011チュートリアル）を読んで確認した
Petri netは、プレース（場所）・トランジション（遷移）・有向アーク（矢印）からなる離散イベントシステムのモデル化手法。C.A. Petriが1960年代に考案した
各プレースは0個以上の「トークン」を持つことができ、トークンの配置全体を「マーキング（marking、ロボットの行動文脈でいえば「今の状態」）」と呼ぶ
あるトランジションは、入力アークで繋がる全てのプレースにトークンがあるとき「発火可能（enabled）」になる。発火すると、入力側のプレースからトークンを消費し、出力側のプレースにトークンを生成する
複数のトランジションが同時に発火可能な場合、どれが発火するかは非決定的（non-deterministic）に決まる。これが、Petri netが複数のタスクの並行実行や、状態に応じた分岐を自然に表現できる理由になっている
特に「safe（1-bounded）」なPetri net（各プレースのトークンが常に0か1）は、プレースを命題（fluent）とみなせるため、STRIPS/PDDL形式のプランニング問題（各atomをプレース、各grounded actionをトランジションとして、前提条件を入力アーク・効果を出力アークに対応させる）に直接変換できる
SPRING論文のPNPは、この枠組みを使って、ロボットの行動（発話・ジェスチャー・視線・ナビゲーションなど）をPetri-Netのプランとして表現し、複数のPetri-Netマシンを並行実行しながら、ROSのトピック・アクションで実際の制御に繋げている

「人の存在を考慮した経路計画」の具体的な仕組みが、論文のFig. 5に示されている

Fig. 5 The social navigation controller integrates the social space of persons and groups (coloured contours indicate their cost) to plan a trajectory (blue) towards the target person without disturbing the conversational group

人物・会話グループの位置を中心に、2Dガウス関数的な「社会的空間」のコスト分布（等高線で図示）を定義する。コストは、向き・移動方向・立っているか座っているかといった状態に応じて変化する
経路計画は、この社会的空間のコストと、障害物の占有マップのコストを組み合わせた損失関数$J$を最小化する形で、モーター出力の制御軌道を最適化する
図の例では、ロボットが右上のTarget Personに向かう際に、左側の2つの会話グループ（コンター表示）を避けるように、青い経路が迂回して描かれている。グループの真ん中（Group Centre）を突っ切らないよう、コストの低い領域を縫うように経路が計画されている

実験の概要

フランス・パリのBroca老年医学デイケア病院で、2つの波に分けて実験を実施した

波	期間	参加者
Wave 1	2023年5月〜7月	20名（患者15名、付添人5名）
Wave 2	2023年9月〜2024年1月	43名（患者33名、付添人10名）

合計63名が参加し、1回のインタラクションは5〜10分程度
ロボット搭載のカメラ・マイクと、外部カメラで記録を取り、インタビューの書き起こしは合計1,142分（418ページ）に及ぶ

評価結果

AES・SUSという2つの指標

受容性の評価には、Acceptability E-Scale（AES、6項目、6〜30点、消費者に受け入れられる目安は25/30）と、System Usability Scale（SUS、10項目、0〜100点、目安は72/100）という、2つの標準化された尺度を使っている
内部一貫性（信頼性）は、AESでCronbachのα=0.87、SUSでα=0.86と報告されている

スコアの結果

波	対象	AESスコア	SUSスコア
Wave 1	患者	14.7（±5.73）	45.5（±20.21）
Wave 1	付添人	18.0（±4.64）	55.0（±28.28）
Wave 2	患者	20.7（±6.25）	56.8（±12.63）
Wave 2	付添人	21.0（±3.30）	57.5（±10.40）

AESスコアは、Wave 1（平均15.5、SD5.88）からWave 2（平均20.8、SD5.20）にかけて、統計的に有意に上昇した（F(1,52)=10.42、p<.001、η²=.17）
この改善は、主に音声認識のファインチューニングと、対話管理へのLLM統合によるものとされている
好まれる用途を尋ねたところ（Fig. 8）、エンターテインメント（40%）、健康リスクなしでの社会的交流の促進（30%）、受診準備の補助（23%）、受付・案内（5%）、道案内（2%）という割合だった

Fig. 8 Proportions of use-case preferred choice

倫理的な懸念と限界

半構造化インタビューからは、以下のような懸念が挙がった
- データのプライバシー・透明性: データの保存方針が不明確なことへの不快感
- 外見: 機械的な見た目よりも、より温かみのあるデザインを求める声
- 医療現場でのミスへのリスク: 人間による監督があることで一定程度は緩和されている
- 感情的な依存のリスク: 特に脆弱な立場の利用者において懸念される
- 雇用代替への不安
研究自体の限界としては、以下が挙げられている
- インタラクションを拒否する人は対象から除外されたため、「拒否の認識」自体は評価できていない
- 実験にはNVIDIA RTX A6000（48GBメモリ）クラスの外部GPUが必要で、実運用上の制約になる
- マルチパーティ対話や、人を考慮した経路計画の能力自体は、病院内で正式には評価されていない
- 医療従事者側の受け止め方は評価対象に含まれていない
- 実験室が20m²未満と小さかったため、自己位置推定・ナビゲーション自体は「自明」な難易度だった

まとめ

SPRINGプロジェクトは、PAL Robotics ARIをベースに、ROS4HRI標準のPerson Manager（Mr. Potato algorithm）を含む8モジュール・52 ROSノードからなるシステムを構築し、フランスの老年医学デイケア病院で63名の患者・付添人を対象に実証実験を行った
AES・SUSという標準化された受容性・ユーザビリティ指標で評価した結果、Wave 1からWave 2にかけてスコアが統計的に有意に改善しており、音声認識の精度向上とLLMによる対話管理の強化が主な要因とされている
利用者はエンターテインメント・社会的交流の促進としての利用を好んだ一方、データのプライバシー・外見の温かみ・医療現場でのミスのリスク・感情的依存・雇用代替への不安といった、倫理的な懸念も半構造化インタビューから得られている
著者らは、本研究を「60人以上の実際の患者・付添人を対象に、これほど高度なインタラクションアーキテクチャを検証した初めての事例」と位置づけている

参考文献

Alameda-Pineda, X., Addlesee, A., Hernández García, D., et al. (2024). “Socially Pertinent Robots in Gerontological Healthcare” (arXiv:2404.07560)。International Journal of Social Robotics掲載版のPDFはこちら
Angus Addlesee氏によるLinkedIn投稿 - 本論文がInternational Journal of Social Roboticsに掲載された旨の告知
Bonet, B., & Haslum, P. (2011). “Petri Nets (for Planners)” (ICAPS 2011 Tutorial) (PDF)
ROS4HRIの仕組み