投 稿

マルチモーダル幼児行動コーパスに基づく指示表現の発達分析とモデル構築
石川翔吾（静岡大学創造科学技術大学院）、桐山伸也（静岡大学情報学部）、大谷尚史（静岡大学大学院理工学研究科）、北澤茂良（静岡大学情報学部）、竹林洋一（静岡大学創造科学技術大学院）

要旨
幼児の発達分析とそのモデル化を行うために、幼児教室を実践しながら実例を増やし、比較・議論によって分析するための行動分析環境を構築した。構築した分析環境を活用することで、目線やしぐさや発話、また心的状態をさまざまな観点でマルチモーダル幼児行動コーパスとして蓄積しながら、実例に照らし合わせて分析することが可能である。本稿では、指示表現に着目して発達に関わるさまざまな側面を明らかにし、モデルの構築、発達の新たな知見を生成するための方法論を提案する。結果として、指示表現を身体的発達、注意能力、他者意識、問題解決という観点を関連付けて表現することができ、提案した方法論が有効であることを示した。

1. はじめに動記述をさまざまな立場（研究者、幼児教育の指導者、保護者

他者とのコミュニケーションにおいて、目線やしぐさや発話など）の視点で記述された、世界に類をみないマルチモーダルは意図を伝えるための重要な意味を持つ。子どもは成長に伴いなデータベースを構築している。筆者らは、これをマルチモー相互に関連させることで、適切な行動を学習し、コミュニケー

ダル幼児行動コーパスと命名し、行動分析の根幹として用いる。

ション能力を発達させていく。コミュニケーションにおける重このコーパスを機軸に、日常生活の行動を多角的に分析してい要な行為の一つに指示表現がある。指示表現とは、「こ・そ・あ」くことで、新たな視点で発達を捉え直し、発達変化に伴う思考を含む指示語発話を始め、指差しや手差し目線などによって、の成長過程をモデル化する。

他者の注意を対象物に誘導する行為を指す。これは、他者とのコミュニケーションにおける基本的な機能である。

本稿では、コーパスを機軸としたマルチモーダルな行動分析を基に、発達変化を分析し、指示表現をモデル化した結果につ乳幼児発達心理学などの分野では、共同注意という枠組みでいて述べる。分析によって構築した行動表現モデルを事例に照盛んに研究されている1、2。大藪は、乳幼児の発達を分析し、らして分析することで、新たな視点で発達を捉え直し発達分析

視線やしぐさや聴覚などの特徴に対し、出現時期を調査し認知を深堀していく方法論を提案する。

的意味付けを行っている3。しかし、発達過程の解明には、環境や心的事象などさまざまな側面と関連付けた総合的な検討が２. マルチモーダル行動分析必要である。また、Nagai ら 4 は、ロボットとのインタラクショ

2-1 幼児行動観察環境の活用

ンを基にしたアプローチによってモデルを構築し、共同注意の2005 年 6 月から幼児教室を毎週開催し、保護者の賛同を得て理論化を行っている。しかしながら、モデルを生成するための幼児の行動を映像と音声で経年的に収録できるマルチモーダル実データを持っておらず、多面的な分析によるモデルの生成と幼児教室環境を実現した 6。幼児の指差しや対象物や人との関検証が行えないという問題点を抱えている。

係を把握するために、インターネットで遠隔から画角調整・ズー

この観点から筆者らは、発話やしぐさ、感情や思考などのモム操作が可能な 4 台のネットワークカメラを設置した。画角調

ダリティを包括的に捉えたマルチモーダルな分析を行うための整・ズーム操作により、幼児の詳細な動作から他者との関係ま行動分析環境を構築している5。幼児の自然な振る舞いを映像でを無死角に記録でき、遠隔操作により幼児の自然な振る舞いと音声による経年データで記録し、発話・しぐさ・目線などのを観察することが可能となった。また音声に関しては、幼児が外面的特徴に加え、感情・意図・思考といった内面的特徴の行移動しても発話をクリアに記録するためにリュック型のウェアラブル音声収録装置を作成し7、幼児に装着させた。これにより、環境設置型マイクに比べてよりクリアな発話収録を実現した。
2008 年 9 月までに 271 回・388 時間分の映像・音声データをコーパスに蓄積しており、同一幼児の経年変化の追跡が可能である。
構築した環境は、鮮明な映像事例を提供し、精度の高い行動分析を可能とする。
2-2 コーパスを機軸とした幼児行動記述
多面的な発達分析のためには、行動と思考の関係や感情、意図、計画、推考などの個別要素の抽象化、それぞれの関連性を追及した検討が必要になってくる。構築したマルチモーダル幼児行
動コーパスは、行動の記述を内面まで踏み込んで構造化することでそれぞれの観点間の比較検証を可能とする。しかし、感情・意図・思考の内面的特徴は解釈が多様で、主観によって仮説を記述するしかない。従来のコーパスは記述の正確さを追究してきたが、本コーパスでは、主観的な観察と洞察に基づく仮説を多面的な観点に照らして客観化するプロセスを重視し、経験論

図１：行動の記述と多面的解釈のコーパスへの付与

68的解釈による記述を受け入れる。柔軟な記述を許容し、客観化

パスの概要を示す。
一方、内面に踏み込んで発達過程を分析していくためには、投 稿しながら蓄積できることが本コーパスの特徴である。図 1 にコー

単発の行動ではなく、相手や環境との一連のインタラクションを記述し、行動の要因となったことを分析することが重要である。成長につれ、あるゴールを達成するために、単純な指差しや発話だった行動が、複雑なインタラクションをするようになる。しかし、複雑なインタラクションを行う場合でも、ゴールを達成するためには、ゴールの決定（原因）、ゴール達成までの思考・行為（過程）、そしてゴールの達成・非達成（結果）という一つのセットで行われる。この一連の流れを捉えることで、心的状態の変化や行為の意図を記述することができる。そこで場面の記述にゴール単位を導入する。これは、例えば「物を手に入れたい」のようなレベルのゴールを表現することで、その図 2：先生に物を渡そうとする場面の行動記述

際に数回の原因・過程・結果というインタラクションを行っても「物を手に入れたかどうか」という結果で場面を表現することができる。また、ゴール指向の記述は、状況の異なる行動も見通しよく整理できるというメリットもあり、ゴールに着目して分析を行う。
2-3 指示表現行動の記述
ゴールに着目した指示表現の分析を行うために、「物を入手する」、「物を渡す」、「成果物を自慢する」などのゴール単位で記述項目を設定し、構造化した。一人の幼児の 14 ヶ月～ 23 ヶ月の 10 ヶ月に亘るデータから 240 場面を抽出し、月齢・発話・韻律・目線・身振り ･ 意図の記述項目を選定しコーパスに蓄積した8。
図 2 に、「先生に物を渡す」ゴールに向かって行動した場面に対し、行動記述項目を付与したデータの一例を示す。これによって、それぞれのモダリティの変化や関連性を一貫した視点で分析することが可能となる。次節では、記述したデータを基に、指示表現の分析を行った結果を示す。

3. 指示表現行動の発達分析
3-1 身体的表現スキルの発達変化
図 3：身体的表現スキルの発達変化蓄積した指示表現のデータをコーパスから抽出し、身体的スキルの発達変化を分析した。図 3 に記述内容から分析した発話・目線・しぐさにおける身体的表現スキルの発達変化を示す。発話では、子音を獲得していく過程や、状況によってピッチやパワーの使い分け、1 語発話から 2 語発話への変化など、言語での具体的な表現が可能になり全体的に表現の幅が広がることが分かった。目線では、初めは対象物のみに注意していたのが他者の様子も気になるようになり、他者を見てから対象物を見るといったような他者を強く意識した目線の使い方が観察された。
また、しぐさでは、初めは単純な手差しや指差しだったのが、身を乗り出したり手を複雑に動かしたり、机を叩いて音を出したりなど多彩に他者の気を引く行為をとるようになる変化がみられた。このように複数のモダリティで複合的に表現スキルが変化しており、年齢が増加するにつれて表現が多様化していく過程が観測された。
3-2 心的な発達変化の分析
3-1 節で検討した身体的表現スキルの発達変化は、心的に変化が起こったことによってもたらされる。内面を分析するにあたり、身体表現スキルと内面を関連させて分析を行った Zlatev らの身体動作の階層的な発達モデル9 に着目した。これは、模倣を通して言語の獲得につながるという発達のプロセスを説明す

図 4：指示表現行動の心的発達変化る概念である。この概念に基づき、複数人で議論することで心的な要因を考察し、心的変化を仮説立てた。その結果、図 4 に示すような指示表現行動を下記の 4 段階に基づく心的発達変化として表現した。

69

投 稿
図 5：指示表現モデル

反射期：表現能力が未熟で、物に注意が定まらず、行動の単況で、目標達成のために意識する対象が変化する様子を表して位時間が短い。物を発見した事による反射的な反応が主となっおり、人間の思考モデルに基づいた仮説を導き出し、共同注意、ている。

脳科学などの関連する研究分野にも有用な知見として示される。

焦点期：表現能力が広がり、対象物に対する注視時間が長く、目標を達成するために心的状態を維持することができる。しか

次章では、得られた仮説を指示表現モデルとして可視化し、事例に適応することで発達変化を評価する。

し、他者の行動への意識ができない。
試行錯誤期：他者を意識し注意を払うようになる。他者の反応を見ながら行動を変える事で、さまざまな身体的スキルと状況とを関連させることを学習する。
状況理解期：他者の状況を先に意識するようになり、状況を考慮して学習したスキルから適切な行動を選択している。

４. 指示表現モデルによる思考の発達分析
4-1 指示表現モデルの設計
3 章で述べた行動変化の仮説に基づき、指示表現モデルを設計した。しかし、思考過程は複雑であるため、一概に表現することは難しい。そこで、「遠くの対象物を他者に気づかせ取っこのように得られた心的発達変化は、注意能力向上に伴い向てもらう」という他者を気づかせなければゴールが達成できな社会性を身につけていく過程を示すものである。身体的表現ス

い問題解決の場面を対象とし、発達によって変化する思考・行キルと心的要因は相互に関連しており、マルチモーダル行動分動を表現するモデルを想定する。また、登場するオブジェクト

析の有効性を示す結果となっている。

を、幼児・他者・対象物・別の物の 4 つに限定し、状況をシン3-3 指示表現行動変化の解釈プルにした。この前提条件の下、表現モデルを設計するにあたっ構築した指示表現の成長に伴う変化は、二つの解釈をするこて Minsky の Critic-Selector モデル 13）を導入した。このモデルとができる。一つ目は、注意能力が向上しているという点であは人間が問題に直面したときに試行錯誤をしながら（Critic）、る。特に、反射期から焦点期への転換において、注意能力が大その時に自分のもっている知識を活用し適切な行動を選択するきく向上していることがわかる。これは、注意を向ける能力が（Selector）、人間の問題解決の基本的な構造を表現したものであ短期記憶をコントロールする能力に関与するという思考のメカる。図 5 に幼児の指示表現の発達表現モデルを示す。構築した

ニズム 10）とも関連している。また、脳科学の分野でも注意とワーキングメモリの関連性が指摘されている。このように、対象となる物を心的に活性化し続けることができる変化と仮説立てられる。
二つ目は、成長に伴い、より社会的な関わり合いに変化している点である。指示表現と深く関連する共同注意という観点からみると、社会的相互作用の中で共同注意を捉える必要がある
ことが Bruner に指摘されており11）、その社会的認知の中で、他者との関係の間で共同注意を効果的に表現できるスキルを獲得する過程 12）が、この変化にも表れていることがわかる。また、思考方法という観点でみると、Minsky の提唱する階層的思考モデル 13）が表す、本能的な反応から始まって経験・学習を積み重ね、社会的な行動に至るという変化になっていることがわかる。
構築した指示表現の変化は、他者の注意をひきたいという状

70

表 1：指示表現モデルの機能

分かりやすくするために、特徴を明示的に示した図で表現し行動を表現するものになっている。それぞれのプロセスの機能て説明する。図 6 は、母親に物を取ってもらうよう要望するが、を表 1 に示す。

母親が気づかないためあきらめて別の物を取る場面である。図

構築したモデルは、注意能力や他者意識、問題解決の方法や6 上は、一度指を差すがすぐに、別の物に興味を移し注意対象身体的表現スキルを相互に関連させ、人間の思考の複雑さに踏を変更する。この場面は、反射期に対応し、注意が定まっておみ込んで表現しており、他に類をみない。また、限られた場面らず、すぐにあきらめるという解決方法を選択する。一方、図を題材としながらも、問題認識、解決法を抽象化して表現して6 下は、指差しすると同時に母親を意識しているため、母親のいるため、例えば他者の注意を引く場面であれば「物を渡す」状況から今は取れないと判断し、すぐにあきらめる。この場面は、というゴールでもその問題と解決策を変更するだけで表現可能

状況を理解し、他者を意識することから他者は自分のことをよである。

く思わないという社会的思考によって選択された行動である。

4-2 事例に基づく発達表現モデルの評価

投 稿

モデルは、外界、状況認知、思考、行動選択という順で一つの次に、図 7 は、物を取るために母親を気づかせる場面である。

構築した指示表現モデルが発達分析において有効であるか、

図 7 上では、母親が気づいていないにも拘らず、期待通りの結実例を用いて評価した。評価に使用するデータには、発達分析

果を遂行するために、同じ行為を繰り返しながら達成しようとで着目した幼児の 11 ヶ月間（14 ヶ月～ 23 ヶ月）の中で「遠くする。この例は焦点期に対応し、自分の行動を省みることがでの対象物を他者に気づかせて取ってもらう」というゴールを持っきないため何度も同じ行動をしている。図 7 下は、一度指差した場面を、表 2 に示すように各成長段階においてコーパスよりをするが、母親が気づいていないと、母親の状況がよくなるま抽出して用いた。

で待ち、適切なタイミングで自分の行動を省みながらパターンを変えることで気づかせる。この場面は状況理解期に対応し、状況を考慮して問題を認識し適切な問題解決の選択が行えている。これらの場面は、一見すると同じ場面に見えるが、状況を

表 2：指示表現モデル評価データ認識する過程において成長すると他者を意識し、問題の認識・解決策においても異なる思考をしていることがわかる。
このように、指示表現モデルを用いることで、問題の認識能力と解決能力の発達変化として捉えることができる。幼い時は、目の前の問題にしか対処できないが、年齢を重ねると自分の行動を省み、他者の視点を考慮することで、その場に適した解決策を選択する。モデルを通して問題認識・解決の観点で捉える

図 6：取ってもらうよう要望するが、あきらめる場面

図 7：母親が気づくまで行動を繰り返す場面

71

投 稿

ことで、注意能力の向上や他者意識の変化に付随して発達する新たな知見として示される。
4-3 考察

5. おわりに発達の分析・モデル化を行うために、マルチモーダル幼児行動コーパスを活用して膨大な量のデータを解釈し、実例を並べ指示表現モデルを活用した日常の行動発達分析は、行動を新て議論しながら比較し詳細化するアプローチを提案した。分析

たな視点で捉え直し、内面を可視化する上で有効なアプローチ

した発達変化は、身体的表現スキル、注意能力の向上、他者へとなることが分かった。また、このモデルによって状況が異なの意識、問題の認識・解決能力の向上を関連付けて表現したもる場面においても表現する能力を持ち、さまざまな状況と照らのであり、発達過程の新たな知見として示した。提案したアプし合わせることで、モデルを精緻化することが可能である。一方、ローチを活用し、実例を増やしながら指示表現という観点でみこのモデルで表現できない場面もいくつか考えられる。例えば、ることで、指示表現モデルとして構築できることを示した。モ強制的な割り込みがかかるが後に復帰した場合や、他者の属性デルを構築し、実例と照らし合わせて検証していく発達分析の（母親と他人との違い）による影響や、他者からの働きかけなどアプローチは、指示表現のみならず、新たな観点で発達を捉えの場面である。これらの場面は、モデルを洗練する題材となり、直す方法論として有効であることを示した。限定的な場面を対別の観点での側面との関連性を提案するものになり得る。筆者

象としているが、一般的な発達分析の方法論に拡張することがらが構築したコーパスは、このような新たな観点を許容する柔可能である。

軟な体系であるため、記述内容を再構築し分析を行うことが可

今後は、マルチモーダルな視点で行動分析を進め、さまざま能である。また、新たな観点によって事例を増やしていくことで、な状況を複数の観点で分析しながら、議論を通して発達変化の実例に結びつけながら発達分析を行うことができる。

分析・モデルの構築を行っていく仕組みを検討していく。

＜参考文献＞
1）L.B. Adamson. and R. Bakeman.,『The development of shared attention during infancy. In R. Vasta (eds.)』, vol.8, p.1-41, Annals of child development, 1991
2）M. Tomasello.,「Joint attention as social cognition.」,『Joint attention : Its origin and role in development. In C. Moore & P.J. Dunham (Eds.)』, p.103-130, Lawrence Erlbaum
Associates, 1995
3）大藪泰 .,『共同注意：新生児から 2 歳 6 ヶ月までの発達過程』，川島書店 , 2004
4）Y. Nagai., at al.,『How does an infant acquire the ability of joint attention? A constructive approach』, p.91-98, Proceedings 3rd Int Workshop on Epigenetic Robotics: Modeling
Cognitive Development in Robotic Systems, 2003
5）竹林洋一 .,『幼児のコモンセンス知識の基礎研究』，vol.4, p.14-18, チャイルド・サイエンス , 20076）S. Kiriyama, et al.,『A Largescale Behavior Corpus Including Multi-Angle Video Data for Observing Infants’ Long-term Developmental Processes』, p.186-192, The Ninth International
Conference on Multimodal Interfaces 2007, 20077）R. Tsuji, et al.,『Observation of the Spoken Language Acquisition Process Based on a Multimodal Infant Behavior Corpus』, p.1356-1359, The Interspeech 2006, 20068）S. Ishikawa., et al.,『A study of infant development in demonstrative expression based on multimodal behavior observation』, p.87-92, International Symposium on Skill Science 2007,200710）J . Zlatev.,「The co-evolution of intersubjectivity and bodily mimesis.」,『The Shared Mind: Perspectives on Intersubjectivity, J. Zlatev, T. Racine, C. Sinha and E. Itkonen (eds.)』, p.215-244,John Benjamins, 200810）M. Minsky., 安西祐一郎訳 ,『心の社会』，p360-361, 産業図書 , 199011）J . Bruner.,「From joint attention to the meeting of minds: An introduction」,『Joint attention : Its origin and role in development In C. Moore & P.J. Dunham (eds.)』, p.1-14, Lawrence
Erlbaum Associates, 199512）M. Tomassello.,『The cultural origins of human cognition』, Harvard University Press, 199913）M. Minsky.,『The Emotion Machine』, p.223, Simon & Schuster, 2006

72