䣔䣕䣌䢴䢲䢲䢻䣃䣅䢳䣕䢵䢯䢲䢶

サイバネティックヒューマン HRP-4C の開発- 顔動作作成システム ○中岡慎一郎 金広文男 三浦郁奈子 森澤光晴
藤原清司 金子健二 梶田秀司 比留川博久 (産総研)

Development of Cybernetic Human HRP-4C- Facial Motion Creation System *Shin’ichiro NAKAOKA, Fumio KANEHIRO, Kanako MIURA, Mitsuharu MORISAWA
Kiyoshi FUJIWARA, Kenji KANEKO, Shuuji KAJITA, and Hirohisa HIRUKAWA (AIST)
Abstract— This paper introduces the face of Cybernetic Human HRP-4C, its mechanical structure andthe software system for creating its facial motions. Our system allows controlling the face of actual robot
from the graphical user interface running on a client PC with the high responsiveness. This feature enables
a creator to eﬃciently edit detailed facial motions with powerful functions including overdub trajectory edit,
key pose sequence edit with the lip-sync mode, and automatic blinking. By using this system, we were able
to rapidly make facial motions for the demonstrations of HRP-4C.
Key Words: Humanoid Robot, Cybernetic Human, HRP, Face, Facial Expression

1.

はじめに

我々のグループは、人間に非常に近い外観を有する二足歩行ヒューマノイドロボット「サイバネティック
ヒューマン HRP-4C」の開発に成功した。これまでも、人間に近い外観をもつロボットの研究や開発は活発に行われてきており、そのようなロボットとして、小林らによる顔ロボット [1] や受付嬢ロボット Saya[2]、ココロによるアクトロイド [3]、石黒らによるアンドロイドロボット [4]、Oh らによる Albert HUBO [5] などが挙げられる。それら従来のロボットになかった HRP-4Cの大きな特徴は、頭部から脚部までの全身にわたって人間に近い外観を備えつつ、それが二足歩行も可能な自律型の身体として成立しているところにある。
HRP-4C は、人間に近い全身のプロポーションと、二足歩行を含む全身動作、およびリアルな顔の表情変化を組み合わせることで、従来のヒューマノイドロボットでは実現できなかった応用を切り開くことが期待されている。その活用にあたっては、全身の動作生成や制御のみならず、顔の表情や動作の生成も重要な課題となっている。なぜなら、人々は HRP-4C のようにリアルなロボットに対して人間らしいふるまいを期待し、顔の表情や動きはふるまいの人間らしさ大きく左右する要素であると考えられるからである。
そこで本稿では、HRP-4C の頭部に着目し、そのハードウェアと今回我々が開発した顔動作作成システムの概要を紹介する。なお、HRP-4C の開発プロジェクトの概要や全身のシステム設計については、本講演会の他の発表 [6, 7] を参照されたい。

2.

頭部ハードウェアの概要

Fig. 1 は HRP-4C 頭部の外観である。この図から分かるように、頭部は一見したところ本物の人間であるかのように形成されている。これは日本人青年女性を➨䢴䢹ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢲䢻ᖺ䢻᭶䢳䢷᪥ࠥ䢳䢹᪥凛

Fig.1 The head of HRP-4Cイメージして独自にデザインされたものであり、実際のところは、顔の各構成要素の形状と皮膚表面の質感については、あえて人間のものから多少ディティールを削いだものとしている。これは、それらを正確に表現しすぎると、いわゆる「不気味の谷」[8] に陥る危険性が高くなるためである。HRP-4C はエンターテイン
メント分野での実用化も念頭に置いて開発されたため、このような点にも注意を払い、親しみやすい顔としてデザインされている。
HRP-4C の頭部は Fig. 2 に示すように、首の動作に 3 自由度と顔の各部位の動作に８自由度の関節を備えており、これらの関節を用いて頭部全体の姿勢や顔の表情を変化させることが可能である。顔の各部位の動作としては、眉の上下、瞼の開閉、頬の上下、上唇、下唇、顎の開閉にそれぞれ 1 軸が与えられており、眼球についてはその方向を変える 2 軸が与えられている。
ただし、眉、瞼、眼球、頬といった左右のペアをもつ部位は、それぞれのペアが同一の関節によって駆動さ䣔䣕䣌䢴䢲䢲䢻䣃䣅䢳䣕䢵䢯䢲䢶Fig.3 Overview of the System

Fig.2 Internal Joint Structure of HRP-4C’s Headれる設計となっており、ウィンクのように左右で独立した動作を行うことはできない。
各関節を駆動するアクチュエータはサーボモータと遊星歯車で構成され、その制御は分散型のモータードライバによって行われる。モータードライバはロボットの胸部に内蔵されたメインコンピュータと Controller
Area Network (CAN) で接続されており、メインコン
ピュータの制御プログラムから送信される指令値に従って関節の位置制御を自前で行う。このような制御の仕組みは全身の関節で共通となっている。

3.

顔動作作成システム

HRP-4C の中心的な応用として想定されているエンターテインメント分野においては、ロボットの身体能力を十分に活用した様々な動作を、演出や振り付けの専門家が思い通りに作成可能であることが求められている。このためには、ロボットの専門家でないユーザでも容易にロボットの動作を作成可能なシステムが必要である。我々はそのようなシステムの開発も進めており、以下ではその第一段階として開発した顔動作作成システムを紹介する。
3·1

システム構成顔動作作成システムの構成を Fig.3 に示す。システ
ムは Fig.3 右下に示す GUI を提供し、ユーザは一般的な PC 上でこれを稼働して動作の作成・編集を行う。
本システムの特徴として、作成・編集中の顔の表情や動きの提示はロボット実機を用いて行われることが挙げられる。これは、柔軟物である皮膚の複合的な変形によって決定される表情を CG で正確にシミュレーションすることがもともと難しい上に、ロボットのデモにおいてはその内容に応じて現場でメイクやスタイリングを施すことも多いためである。それらの理由によって生じる微妙な差異も、顔においては表情のニュアンスが変わる要因となり得るため、編集結果の確認は実機の顔を用いて行うことが現実的と言える。
この構成を実用的にするためには、セットアップが➨䢴䢹ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢲䢻ᖺ䢻᭶䢳䢷᪥ࠥ䢳䢹᪥凛容易であることと、GUI 上の編集操作と実機の状態がリアルタイムでスムーズに同期することが重要である。
HRP-4C 体内のメインコンピュータで稼働する制御システムはネットワーク越しにコマンドやデータを送受信できる機能をもっており、この機能を利用することで、LAN 接続のみでリモート GUI からの実機の制御を可能にしている。ネットワーク通信のオーバーヘッドのため、関節指令値の最小更新周期はおおよそ 40[msec]程度となるが、GUI における通信部分のスレッド化によってこの周期を可能な限り確保することと、体内制御プログラムにおける指令値への補間形式を工夫することにより、リモートの GUI の操作と実機の間のスムーズなリアルタイム同期を実現している。

3·2 動作作成機能
本システムは、以下で説明する動作作成のための機能を提供する。全ての機能は Fig.3 右下に示す単一のGUI アプリケーション上で操作可能となっており、各機能はユーザの好みや目的に応じて使い分けたり、時間や関節の部分ごとに組み合わせて使うことが可能である。このような GUI を実現するにあたって、「ロボット知能ソフトウェアプラットフォーム開発プロジェクト」の一貫として開発中の「動作パターン設計ツール」[9] を用いることとし、このツールのプラグインとして各機能の実装を行った。
3·2.1 軌道編集
ロボットの関節角軌道を直接編集するインタフェースとして、軌道編集機能が提供される。Fig. 4 はこの機能に関連する GUI コンポーネント一式を示している。ユーザは編集対象とする関節を指定し、Fig. 4 右下のグラフ上で直接軌道を入力することが可能である。
軌道の入力方式として、現在のところフリーハンドと直線が利用可能である。時間軸上のカーソル位置に対応する関節角はリアルタイムで実機に反映されるため、ユーザはマウスの操作と実機の動作との間でダイレクトな操作感を得ることできる。また、このとき既に入力された他の関節の軌道も実機に反映されるため、顔の各部位の動きを段階的に重ね合わせながら顔全体の動きを作成することが可能である。以上の仕組みによ䣔䣕䣌䢴䢲䢲䢻䣃䣅䢳䣕䢵䢯䢲䢶Fig.6 Editing a speaking motion of a Japanese greeting using the lip-sync mode
Fig.4 A set of GUI components for the overdub trajectory edit

Fig.5 A set of GUI components for the key pose sequence edit

り、本機能は低レベルなデータを直接編集するというインタフェースでありながら、編集効率は決して悪くないものとなっている。

3·2.2 キーポーズシーケンス編集
軌道編集インタフェースで扱うのは生の関節角軌道データであるが、より抽象度の高い構造化された動作データとして、本システムは「キーポーズシーケンス」を扱うインタフェースも備えている。
キーポーズシーケンス編集では、いくつかの顔の状態をキーポーズとしてあらかじめ作成しておき、それらを時間軸上に並べることで動作を作成する。最終的な関節角軌道はキーポーズ間の補間としてシステムが自動的に生成する。これはよく知られた「キーフレームアニメーション」と基本的には同様の方式である。ただし、本システムではキーポーズ列の階層化と共有化、および部分的な顔部位に対するキーポーズの定義とそれらの重ね合わせを導入することで、キーポーズを動作のコマンド的に扱うことを意識しており、これをキー➨䢴䢹ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢲䢻ᖺ䢻᭶䢳䢷᪥ࠥ䢳䢹᪥凛

ポーズシーケンス編集と読んでいる。この特徴により、同じ表情が何回も現れたり部分的に反復的な動作を行うことが多い顔の動作に対して、効率的な編集が可能となっている。
キーポーズシーケンス編集のための GUI コンポーネント一式を Fig. 5 に示す。画面下部のスライダは各関節の角度と対応しており、このスライダのドラッグと連動して実機の関節も動作する。キーポーズはこれを用いて手軽に作成することができる。画面右上はシーケンス編集を行うインタフェースとなっている。入力したパターンは複数の箇所から共有できるので、繰り返しの多い動作も効率的に作成可能である。

3·2.3 Lip-Sync 編集
キーポーズシーケンス編集機能は、ロボットの発声に合わせて口を開閉する動作を効率的に作成するための「Lip-Sync モード」も備えている。このモードでは、いくつかの基本的な口の形状 (現実装では
主 に 母 音 の 違 い に 着 目 し た 全 7 形 状) を 、口 を 構成する関節 (Fig.2 の UPPER LIP P, MOUTH P,
LOWER LIP P, CHEEK P) に関するキーポーズとしてあらかじめ登録しておく。あとは、キーポーズシーケンスとして音節に対応する文字を入力していけば、音節から基本形状へのマッピングがなされる。例えば「こんにちは」と喋るときには、Fig.6 左のシーケンスリストにあるように、ko, n, ni, chi, wa というかたちで入力をしていけばよい。
ただし、ロボットの音声があらかじめ作成された音声ファイルによって与えられる場合は、音声ファイルとタイミングを合わせる必要がある。これを支援する機能として、読み込んだ音声データをトーンを変えずに任意の倍率で再生する機能と、音声データの波形をグラフ表示する機能 (Fig.6 右側) を備えている。これ
らの機能によりマニュアルでタイミングを合わせることも容易になるが、将来的には、音声合成プログラムや音声認識プログラムと組み合わせて、与えられた台詞や音声ファイルから自動的に Lip-Sync のデータを生成する機能を実現したいと考えている。
3·2.4 瞬き生成機能
顔の動きの中で、非常に頻繁に行われる単純な反復動作として、瞬きがある。これを上述の軌道編集やキーポーズ編集で作成するのは非常に手間がかかってしまう。これを解決するため、本システムではまばたきの動作を自動で生成する機能を提供する。瞬きの速度や最大時間間隔などをパラメータで指定すれば、あとはロボット内部の制御プログラム側で最大時間間隔を越えないランダムな時間間隔で自動的に瞬きが制御され䣔䣕䣌䢴䢲䢲䢻䣃䣅䢳䣕䢵䢯䢲䢶Fig.8 Sequence of the speeching motion performedon the stage of a fachion show (SHINMAI Creator’s Project, JFW in Tokyo 2009).

い状況であったが、我々のシステムを用いることにより、この状況に問題なく対応することができた。
Fig.7 Cuts from example facial motions representing
basic facial expressions

5.

る。また、瞬きをしていない期間では他の手法で与えた瞼の軌道が有効になるため、瞼を用いた表情の変化と共存させることが可能である。

本稿では、HRP-4C の頭部の概要と、顔の動作を作成するシステムについて説明した。今後本システムを全身動作も含めて作成可能なシステムへと発展させ、HRP-4C のエンターメント応用を推進していく予定である。

4.

顔動作の作成例

本稿で紹介したシステムを用いて、実際に HRP-4Cの顔の動作を作成した。
Fig.7 は微笑み、驚き、困惑、怒りといった基本的な表情のデモンストレーション動作である。これらの動作は 3·2.2 節で述べたキーポーズシーケンス編集機能を用いて作成した。それぞれ 3 – 5 個程度のキーポーズを共有も含めて 3 – 8 個程度シーケンス上に配置することで動きを作成している。(図 5 に示されているのが、「驚き」に対応するキーポーズシーケンスである。)
これらの例は作成者にとって HRP-4C の表情を作成する初めての経験であったが、４つの動作を作成するのに要した時間は 20 分程度であり、十分効率的な動作の作成が出来たと考えている。
Fig.8 は 「第８回東京発日本ファッション・ウィーク」のファッションショーのひとつにて HRP-4C が司会を努めたときのスピーチ動作である。この動作の作成にあたっては、3·2.3 節にて述べた Lip-Sync 編集と 3·2.4
節にて述べた瞬き生成機能を用いて、１分程度のスピーチ動作の作成を行った。Fig.8 の口元の動きは Lip-Sync
編集によるものであり、瞼の開閉は瞬き生成機能によるものである。このショーでは、スピーチの音声ファイルがリハーサル現場で主催者より提供され、それに対応した動作を短時間のうちに作成しなければならな➨䢴䢹ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢲䢻ᖺ䢻᭶䢳䢷᪥ࠥ䢳䢹᪥凛

おわりに

参考文献
[1] 小林, 原, 内田, 大野：“アクティブ・ヒューマン・インタフェース (AHI) のための顔ロボットの研究 -顔ロボットの機構と 6 基本表情の表出-”, 日本ロボット学会誌, 12,1, pp. 155–163 (1994).
[2] 橋本, 平松, 辻, 小林：“ロボット受付嬢 SAYA を用いたリアルなうなづきに関する研究”, 日本機械学会論文集 (C編), 73, 735, pp. 174–182 (2007).
[3] “Kokoro Company Ltd.”.
http://www.kokorodreams.co.jp/.
[4] H. Ishiguro: “Android science: conscious and subconscious recognition”, Connection Science, 18, 4, pp.
319–332 (2006).
[5] J.-H. Oh, D. Hanson, W.-S. Kim, I. Y. Han, J.-Y. Kim
and I.-W. Park: “Design of android type humanoid
robot albert HUBO”, IROS2006, Beijing, China, pp.
1428–1433 (2006).
[6] 梶田, 金子, 金広, 原田, 森澤, 中岡, 三浦, 藤原, N. E. Sien,原, 横井, 比留川：“サイバネティックヒューマン HRP-4Cの開発 - プロジェクト概要-”, 第 27 回日本ロボット学会
学術講演会 (2009).
[7] 金子, 金広, 森澤, 三浦, 中岡, 梶田：“サイバネティック
ヒューマン HRP-4C の開発 - システム設計 -”, 第 27 回
日本ロボット学会学術講演会 (2009).
[8] 森：“不気味の谷”, Energy, 7, 4, pp. 33–35 (1970).
[9] 中岡, 比留川：“OpenRT Platform / 動作パターン設計ツール”, ロボティクス・メカトロニクス講演会
ROBOMEC2009, 福岡, pp. 2A2–C12 (2009).