ROS4HRI on M1KE BL0G

Séverin Lemaignan論文チェック: ROS4HRI標準化論文

Wed, 14 Oct 2026 16:20:00 +0900

背景

ROS4HRIの仕組み・SPRING: 高齢者介護施設における社会的ロボットの実証実験で、ROS4HRIのエコシステムや、それを実際の医療現場で使った実証実験を整理してきた
Séverin Lemaignanは、PAL RoboticsでROS4HRIの開発に携わった研究者の1人（Mohamed & Lemaignan 2021でROS4HRIを提案し、2023年にREP-155として標準化）。今回は、その標準化内容をまとめたRos, Lemaignan, Ferrini, Andriella, Irisarri (2023) “ROS4HRI: Standardising an Interface for Human-Robot Interaction”（HRI 2023 Workshop “Advancing HRI Research and Benchmarking Through Open-Source Ecosystems”、ストックホルム）を、実際にPDFを読んで確認する

論文の問題意識: HRIにおけるベンチマークの困難さ

HRI（Human-Robot Interaction）研究では、人間の振る舞いの複雑さ・多様さゆえに、ベンチマークと再現性の確保が本質的に難しい
それに加えて、標準的かつオープンソースなソフトウェアプラットフォームが存在しないことが、問題をさらに悪化させている
唯一広く使われているのは、Aldebaran社のNAOqiフレームワーク（Nao・Pepperロボット向け）だが、オープンソースではなく、Aldebaran製ロボット以外では使えない
ROS4HRIは、Mohamed & Lemaignan（2021, IROS）で提案され、2022年にROS REP-155として正式に標準化された。ROS上に構築され、特定のロボットに依存しない設計になっている
論文は、ROS4HRIがベンチマーキング・再現性の問題を改善する理由として、(1) 異なるアルゴリズム間で直接性能比較できる共通インターフェースの確立、(2) あるソフトウェア基盤から別の基盤への移行をシステム全体から透過的にする、持続可能なソフトウェア開発の支援、の2点を挙げている

人間のIDモデル: 4種類のID

ROS4HRIの仕組みで扱った4種類のID（Face・Body・Voice・Person）について、論文では以下のように詳述されている
Face・Body・VoiceのIDは非永続的で、特徴が失われた時点（例えば人物がロボットの視界から外れた時点）で、そのIDはもう意味を持たなくなる。異なる検出器同士が、人物が再出現した際に同じIDを再割り当てしようと試みる必要はない、という設計方針も明記されている
Person IDは永続的で、一度割り当てられると、ロボットの知識として永続的に残り続ける
person_<personID>フレームは、/humans/persons/<personID>/location_confidenceの値と合わせて解釈する必要があり、以下の3つのケースに分かれる
- 追跡中（personIDが設定され、face/body/voiceのいずれかのIDが設定されている）: location_confidenceは1で、person_<personID>フレームは、利用可能なface/skeleton/音源定位などの最良の推定位置と同じ場所に置かれる
- 現在は見えていないが、過去の位置情報がある: location_confidenceは0より大きく1未満の値になり、その間はperson_<personID>フレームが配信され続ける
- 存在は分かっているが位置情報が全くない（例えば対話を通じて存在を知った場合）: location_confidenceは0になり、TFフレームは配信されない

人体キネマティクスモデル

ROS4HRIは、人体の運動学的モデルの表現にURDF規格を採用している
人体は15個のリンクが18個の関節（頭・肩・肘・膝・腰・腰部）で接続された構造として表現される
人によって身長・体格が異なるため、身体が検出されるたびに、観測された身長を主パラメータとして、標準的な人体測定学の比率から肩幅などの他の寸法を導出した、カスタムのURDFモデルを生成する
生成されたURDFモデルは、bodyIDをキーにROSパラメータサーバーに登録され、ネットワーク上の他のノードから利用できるようになる

ROSトピック構造とフレーム規約

全てのトピックは/humansというグローバルな名前空間の下にまとめられ、/humans/faces・/humans/bodies・/humans/voices・/humans/persons・/humans/interactionsという5つのサブ名前空間に分かれる
顔・身体・声・人物のフレーム命名規則について、論文では座標系の原点の定義まで踏み込んで説明している

フレーム	原点の定義
`body_<bodyID>`	両腰の中間点。x軸は前方、z軸は頭方向
`face_<faceID>`	セリオン（鼻と額がなす角の最も深い正中点）。x軸は前方、z軸は頭頂方向
`head_<bodyID>`	骨格トラッカーが頭部姿勢を推定できる場合に配信される、セリオン位置のフレーム。`face_<faceID>`と整合性を取ることが、顔検出器・骨格トラッカー双方の責任とされる
`gaze_<faceID>`	`face_<faceID>`と同じ位置だが、カメラの光学フレームの慣習（z軸が前方、y軸が下方）に従う

Intents（意図）の設計

2023年3月時点のREP-155は、知覚側のみをカバーしており、行動・振る舞いの標準化はまだ扱われていない。プラットフォーム・アプリケーションに依存する部分が大きく、標準化が難しいため
論文では、ロボットが実行すべき操作の抽象的な記述として、Intent（意図）の標準化に向けた最初の試みを紹介している
Androidのintentに着想を得つつ、ROSのintentはユーザーが開始した（明示的・暗黙的な）意図を捉えることを主眼に設計されている。例えば、タッチスクリーンのボタン操作（明示的）、チャットボットとの対話結果（暗黙的・明示的）、ロボットを見るという行動（暗黙的）などが対象になる
hri_actions_msgs/IntentというROSメッセージ型として表現され、/intentsトピックに配信される。ユーザーの活動を追跡するノード（タッチスクリーン・対話マネージャー・動作認識など）が発行し、アプリケーションコントローラーがそれを受け取って、行動のスケジューリング・リソース配分（2つの動作が同時に使われないようにするなど）を行う
Intentは、intent種別・data（主題役割に基づくJSONオブジェクト）・source（ユーザーかロボット自身か）・modality（伝達手段）・priority（任意）・confidence（0〜1）というフィールドを持つ
副作用のない短い反応的な応答（天気を聞く、バッテリー残量を確認するなど）には、Intentの仕組みは使うべきではないとされている。ロボットの状態・リソースに影響しないため

可視化ツール

共通インターフェースの提供に加えて、システムの挙動を理解・分析するための可視化ツールも、hri_rvizパッケージなどとして提供されている

ツール	内容
Humans	顔・身体のバウンディングボックス、顔のランドマーク、2D骨格の関節を、ROSの画像ストリーム上に可視化するrvizプラグイン
Skeletons 3D	RobotModelに着想を得た、複数の検出済み身体を関節状態・位置・向きに基づいて3D骨格として可視化するrvizプラグイン
TF (HRI)	標準のtfツールの再実装。IDが`/humans/*/tracked`から消えると、関連するフレームが即座にシーンから削除される
rqt_human_radar	ロボットの基準フレーム（base linkなど）に対する人物の位置を、レーダーのような視点で表示するrqtプラグイン

PAL ARIとの関係・今後の展望

論文の最後では、PAL Robotics社の社会的ロボットARI（Cooper et al. 2020、2019年初出荷）の認知アーキテクチャを、ROS4HRIの上に構築中であることが述べられている
ARIは、SHAPES・SPRING・TALBOT・PRO-CARED（EUプロジェクト）、NHOA・RAADICAL・AMIBA（国内プロジェクト）など、高齢者介護・支援ロボティクスに関する多数の研究プロジェクトで使われてきた。SPRINGの実証実験も、このプロジェクト群の1つにあたる
ARIのアーキテクチャは、(1) 人間の知覚パイプライン（ロボットの周囲の人物への気づきを拡張する）と、(2) 自然言語処理パイプライン（音声認識・音声分離・音源定位・対話管理）の2本柱で構成される
今後の方向性として、(1) インタラクションの可視化・記録ツールの拡充、(2) 表情認識・ジェスチャー認識・声の識別といった社会的機能の拡充、(3) コミュニティとのさらなる連携、(4) ROS4HRIのROS 2への移植、の4点が挙げられている。実際にROS4HRIはその後ROS 2に移植され、ROS4HRIの仕組みで扱った現在のエコシステムに繋がっている

まとめ

Ros, Lemaignan他 (2023)は、ROS4HRI（REP-155）の標準化内容を、HRI研究のベンチマーキング・再現性問題への対応として位置づけた論文
Face/Body/VoiceIDの非永続性・PersonIDの永続性、location_confidenceによるperson_<personID>フレームの3パターンの扱い、15リンク・18関節の人体キネマティクスモデルなど、ROS4HRIの仕組みで扱った内容の設計根拠が、この論文で詳しく説明されている
2023年時点では知覚側の標準化が中心で、行動側の標準化はIntent（Androidのintentに着想を得た、ユーザー起点の意図の抽象表現）として初期段階にあった
可視化ツール（Humans・Skeletons 3D・TF (HRI)・rqt_human_radar）の存在が、ROS4HRIがオープンな開発・デバッグエコシステムとしても機能していることを示している
ARIロボットの認知アーキテクチャをROS4HRI上に構築する計画が述べられており、これがSPRINGの実証実験のような、後の大規模な実証研究に繋がっている

参考文献

Ros, R., Lemaignan, S., Ferrini, L., Andriella, A., & Irisarri, A. (2023). “ROS4HRI: Standardising an Interface for Human-Robot Interaction.” In 2023 ACM/IEEE International Conference on Human-Robot Interaction (HRI) Workshop on Advancing HRI Research and Benchmarking Through Open-Source Ecosystems, Stockholm, Sweden. (PDF)
Mohamed, Y., & Lemaignan, S. (2021). “ROS for Human-Robot Interaction.” In 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). (DOI:10.1109/IROS51168.2021.9636816)
Cooper, S., Di Fava, A., Vivas, C., Marchionni, L., & Ferro, F. (2020). “ARI: The social assistive robot and companion.” In 2020 29th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN).
ROS4HRIの仕組み
SPRING: 高齢者介護施設における社会的ロボットの実証実験

SPRING: 高齢者介護施設における社会的ロボットの実証実験

Wed, 14 Oct 2026 16:10:00 +0900

背景

ROS4HRIの仕組みで、hri_person_manager（Mr. Potato algorithm）やPAL Robotics ARIといった、ROS4HRIのエコシステムを構成する要素を整理した
Alameda-Pineda, Addlesee, Hernández García他 (2024) “Socially Pertinent Robots in Gerontological Healthcare”（arXiv:2404.07560）は、これらの要素を組み合わせた実際のシステムを、高齢者介護施設で60人以上の患者・付添人を対象に検証した論文。ROS4HRIが実際の医療現場でどう使われているかの実例として、内容を整理する

論文の概要

EUのHorizon 2020プロジェクト「SPRING」の成果として、フランス・パリのBroca老年医学デイケア病院で、会話可能な社会的ロボットを実際の患者・付添人に使ってもらい、受容性（Acceptability）とユーザビリティを検証した実証研究
著者は、SPRINGプロジェクトに参加する複数機関にまたがる44名（筆頭著者はAlameda-Pineda、Addlesee、Hernández García）
臨床試験として登録されており（NCT05089799）、フランスの倫理審査委員会（CPP Ouest II）・パリ大学の倫理委員会の承認を得て実施された
arXivプレプリント（2404.07560）として公開された後、共著者Angus Addlesee氏のLinkedIn投稿によれば、International Journal of Social Roboticsに正式に掲載された

使用ロボット: PAL Robotics ARI

使用されたロボットは、PAL Robotics社のARI。ROS4HRIの仕組みで紹介した対応ロボットの1つ
身長1.65m、差動二輪駆動の移動ベース、タッチスクリーン付きの胴体、可動する腕、LCDの目を持つ表情豊かな頭部を備える
センサーとして、胴体前面の4マイクアレイ、頭部のRGBカメラ、胸部・背面の180度魚眼カメラ2台を搭載する

システムアーキテクチャ: 8つのモジュール

システム全体は、知覚系・行動系あわせて8つのモジュールで構成され、ROS 1 Noetic上で、52個のROSノードが170以上のトピック・アクションを介して通信する構成になっている
論文のFig. 2（アーキテクチャ全体図）を見ると、センサー（マイクアレイ・頭部カメラ・魚眼カメラ・RGB-Dカメラ）からアクチュエータ（スピーカー・モーター）まで、各モジュールがどう繋がっているかが一目で分かる

マイクアレイ・頭部カメラ・魚眼カメラがSpeech Processing・Human Localisationに入り、そこからBehaviour Analysisを経てPerson Managerに集約される。RGB-DカメラはSelf-Localisation専用の入力になっている
Person Managerに統合された人物情報は、Multi-party ConversationとNon-verbal Behaviourの両方に渡され、それぞれSpeech Synthesis（スピーカー）とMotors & Actuators（モーター）という、ロボットの実際の出力に繋がる
Experimenter Interfaceは、Multi-party Conversation・Non-verbal Behaviourの両方と接続されており、実験者がシステムの挙動をリアルタイムに監視・介入できるようになっている

知覚系

モジュール	内容
Self-Localisation	RTABMapとHLOC（Hierarchical-Localisation）を組み合わせ、90%のクエリで位置誤差1cm未満・回転誤差0.2度未満という精度で自己位置推定を行う
Human Localisation	視覚トラッカーFairMOTと、音源方向推定（GCC-PHAT）を組み合わせて人物を追跡する。姿勢推定にOpenPose、グループ検出にGCFFアルゴリズムを使う
Speech Processing	音声強調（Mixture of Deep Experts、Sep-TFAnet）、VAD・音源方向・話者埋め込み（ECAPA-TDNN）の抽出、NVIDIA RIVAによる音声認識という多段パイプライン
Human Behaviour Analysis	視線先の検出、視線分析によるエンゲージメント（社会的受容）の自動検出、表情感情認識（FER）、音声感情認識（SER）
Person Manager	ROS4HRI標準の実装で、顔・身体・声の特徴を1人の人物に統合する。ROS4HRIの仕組みで扱ったMr. Potato algorithmがここで使われている

補足: Person Managerによる特徴統合の具体例

論文のFig. 3は、Person Managerが実際にどうMr. Potato algorithmを使って、顔・身体・声をグループ・人物に統合するかを、具体的な数値例で示している

左側が、知覚モジュール（顔検出・骨格追跡・音源定位など）が個別に出力した、ノード（Body・Voice・Face・Person・Group）間の関連尤度グラフ。例えば「Body 1」と「Voice 2」の間には尤度0.9のエッジがあり、強く関連していそうだと分かる
右側が、Person Managerがこのグラフ全体の尤度を最大化するように調整した後の結果。左側で灰色になっていた弱い関連（例えば「Face 1」周りの0.1・0.6・0.2・0.8といったエッジ）は切り捨てられ、代わりに新しいPerson 3が追加されて、Body 1・Voice 2と紫色のエッジで結び直されている
キャプションの注記にあるように、Body 1とVoice 2という2つの特徴が、どの既存のPersonにも十分な尤度で結びつかなかったため、Person Managerが新しい匿名の人物Person 3を生成して割り当てている。これは、ROS4HRIの仕組みで触れたMr. Potato algorithmの要件「特徴に紐づく人物が見つからない場合は匿名の人物に紐付ける」が、実際にどう動くかを示す具体例になっている

行動系

モジュール	内容
Multi-party Conversation Manager	LLMを組み込んだ対話システムで、複数人が同時に参加する会話の目的追跡や、「誰に話しかけられているか」の認識を行う
Non-verbal Behaviour Generation	Petri-Net Plannerをベースにした行動マネージャーに、ジェスチャー・視線のコントローラー、人の存在を考慮した経路計画（MPCベースのSocial Navigation Controller）を組み合わせる
Experimenter Interface	タブレットから実験者がシステムを監視・操作するためのインターフェース

補足: Petri Netの基礎

Behaviour Manager（行動マネージャー）が基盤にしているPetri-Net Planner（PNP、Dondrup et al. 2019）を理解するため、Petri net自体の基礎を、Bonet & Haslum (2011) “Petri Nets (for Planners)"（ICAPS 2011チュートリアル）を読んで確認した
Petri netは、プレース（場所）・トランジション（遷移）・有向アーク（矢印）からなる離散イベントシステムのモデル化手法。C.A. Petriが1960年代に考案した
各プレースは0個以上の「トークン」を持つことができ、トークンの配置全体を「マーキング（marking、ロボットの行動文脈でいえば「今の状態」）」と呼ぶ
あるトランジションは、入力アークで繋がる全てのプレースにトークンがあるとき「発火可能（enabled）」になる。発火すると、入力側のプレースからトークンを消費し、出力側のプレースにトークンを生成する
複数のトランジションが同時に発火可能な場合、どれが発火するかは非決定的（non-deterministic）に決まる。これが、Petri netが複数のタスクの並行実行や、状態に応じた分岐を自然に表現できる理由になっている
特に「safe（1-bounded）」なPetri net（各プレースのトークンが常に0か1）は、プレースを命題（fluent）とみなせるため、STRIPS/PDDL形式のプランニング問題（各atomをプレース、各grounded actionをトランジションとして、前提条件を入力アーク・効果を出力アークに対応させる）に直接変換できる
SPRING論文のPNPは、この枠組みを使って、ロボットの行動（発話・ジェスチャー・視線・ナビゲーションなど）をPetri-Netのプランとして表現し、複数のPetri-Netマシンを並行実行しながら、ROSのトピック・アクションで実際の制御に繋げている

「人の存在を考慮した経路計画」の具体的な仕組みが、論文のFig. 5に示されている

人物・会話グループの位置を中心に、2Dガウス関数的な「社会的空間」のコスト分布（等高線で図示）を定義する。コストは、向き・移動方向・立っているか座っているかといった状態に応じて変化する
経路計画は、この社会的空間のコストと、障害物の占有マップのコストを組み合わせた損失関数$J$を最小化する形で、モーター出力の制御軌道を最適化する
図の例では、ロボットが右上のTarget Personに向かう際に、左側の2つの会話グループ（コンター表示）を避けるように、青い経路が迂回して描かれている。グループの真ん中（Group Centre）を突っ切らないよう、コストの低い領域を縫うように経路が計画されている

実験の概要

フランス・パリのBroca老年医学デイケア病院で、2つの波に分けて実験を実施した

波	期間	参加者
Wave 1	2023年5月〜7月	20名（患者15名、付添人5名）
Wave 2	2023年9月〜2024年1月	43名（患者33名、付添人10名）

合計63名が参加し、1回のインタラクションは5〜10分程度
ロボット搭載のカメラ・マイクと、外部カメラで記録を取り、インタビューの書き起こしは合計1,142分（418ページ）に及ぶ

評価結果

AES・SUSという2つの指標

受容性の評価には、Acceptability E-Scale（AES、6項目、6〜30点、消費者に受け入れられる目安は25/30）と、System Usability Scale（SUS、10項目、0〜100点、目安は72/100）という、2つの標準化された尺度を使っている
内部一貫性（信頼性）は、AESでCronbachのα=0.87、SUSでα=0.86と報告されている

スコアの結果

波	対象	AESスコア	SUSスコア
Wave 1	患者	14.7（±5.73）	45.5（±20.21）
Wave 1	付添人	18.0（±4.64）	55.0（±28.28）
Wave 2	患者	20.7（±6.25）	56.8（±12.63）
Wave 2	付添人	21.0（±3.30）	57.5（±10.40）

AESスコアは、Wave 1（平均15.5、SD5.88）からWave 2（平均20.8、SD5.20）にかけて、統計的に有意に上昇した（F(1,52)=10.42、p<.001、η²=.17）
この改善は、主に音声認識のファインチューニングと、対話管理へのLLM統合によるものとされている
好まれる用途を尋ねたところ（Fig. 8）、エンターテインメント（40%）、健康リスクなしでの社会的交流の促進（30%）、受診準備の補助（23%）、受付・案内（5%）、道案内（2%）という割合だった

倫理的な懸念と限界

半構造化インタビューからは、以下のような懸念が挙がった
- データのプライバシー・透明性: データの保存方針が不明確なことへの不快感
- 外見: 機械的な見た目よりも、より温かみのあるデザインを求める声
- 医療現場でのミスへのリスク: 人間による監督があることで一定程度は緩和されている
- 感情的な依存のリスク: 特に脆弱な立場の利用者において懸念される
- 雇用代替への不安
研究自体の限界としては、以下が挙げられている
- インタラクションを拒否する人は対象から除外されたため、「拒否の認識」自体は評価できていない
- 実験にはNVIDIA RTX A6000（48GBメモリ）クラスの外部GPUが必要で、実運用上の制約になる
- マルチパーティ対話や、人を考慮した経路計画の能力自体は、病院内で正式には評価されていない
- 医療従事者側の受け止め方は評価対象に含まれていない
- 実験室が20m²未満と小さかったため、自己位置推定・ナビゲーション自体は「自明」な難易度だった

まとめ

SPRINGプロジェクトは、PAL Robotics ARIをベースに、ROS4HRI標準のPerson Manager（Mr. Potato algorithm）を含む8モジュール・52 ROSノードからなるシステムを構築し、フランスの老年医学デイケア病院で63名の患者・付添人を対象に実証実験を行った
AES・SUSという標準化された受容性・ユーザビリティ指標で評価した結果、Wave 1からWave 2にかけてスコアが統計的に有意に改善しており、音声認識の精度向上とLLMによる対話管理の強化が主な要因とされている
利用者はエンターテインメント・社会的交流の促進としての利用を好んだ一方、データのプライバシー・外見の温かみ・医療現場でのミスのリスク・感情的依存・雇用代替への不安といった、倫理的な懸念も半構造化インタビューから得られている
著者らは、本研究を「60人以上の実際の患者・付添人を対象に、これほど高度なインタラクションアーキテクチャを検証した初めての事例」と位置づけている

参考文献

Alameda-Pineda, X., Addlesee, A., Hernández García, D., et al. (2024). “Socially Pertinent Robots in Gerontological Healthcare” (arXiv:2404.07560)。International Journal of Social Robotics掲載版のPDFはこちら
Angus Addlesee氏によるLinkedIn投稿 - 本論文がInternational Journal of Social Roboticsに掲載された旨の告知
Bonet, B., & Haslum, P. (2011). “Petri Nets (for Planners)” (ICAPS 2011 Tutorial) (PDF)
ROS4HRIの仕組み

ROS4HRI on M1KE BL0G

Séverin Lemaignan論文チェック: ROS4HRI標準化論文

背景

論文の問題意識: HRIにおけるベンチマークの困難さ

人間のIDモデル: 4種類のID

人体キネマティクスモデル

ROSトピック構造とフレーム規約

Intents（意図）の設計

可視化ツール

PAL ARIとの関係・今後の展望

まとめ

参考文献

SPRING: 高齢者介護施設における社会的ロボットの実証実験

背景

論文の概要

使用ロボット: PAL Robotics ARI

システムアーキテクチャ: 8つのモジュール

知覚系

補足: Person Managerによる特徴統合の具体例

行動系

補足: Petri Netの基礎

補足: Social Navigation Controller（人の存在を考慮した経路計画）

実験の概要

評価結果

AES・SUSという2つの指標

スコアの結果

倫理的な懸念と限界

まとめ

参考文献