画像電子学会
The Institute of Image Electronics
Engineers of Japan

年次大会予稿
Proceedings of the Media Computing Conference

言語習得プロセスにおける画像情報の役割
A Study on the Role of Image Information in Language Acquisition Process
大野邦夫† 木村登志子‡
Kunio OHNO and Toshiko KIMURA†(株)モナビITコンサルティング †Monavis IT Consulting Co.
‡横浜商科大学‡Yokohama College of Commerce
Email:†k−ohno@star.ocn.ne.jp

1. はじめに
本稿では、言語スキル獲得のモデル化とそのプロセスにおける画像情報の役割を検討する。言語の獲得は、ホモサピエンスとしての人類を特徴付ける要因であるが、我々が検討するのは、純科学的な手法ではなく、現象面を捉えた模擬的なモデルを通じた解釈である。

‡t.kimura@shodai.ac.jp

表1

人間とコンピュータにおける情報メディアの対称性

基本的なアプローチは、幼児が外部世界を認識するプロセスであるが、それを人類が言語を獲得するプロセスに対応付けて、そのアナロジーから言語獲得のモデルの構築を試みる。
両者に共通するのは、人間が視聴覚、触覚、味覚などを通じて把握する物や現象などの具体的対象の語彙から出発して、複数の語彙を制御する文法の形成、文法に基づく複合的な意味を持つ文章の生成や理解、さらに文章に基づく抽象的な語彙や概念の形成である。次章では人類における言語獲得について解説し、3章で個人が言語を習得するプロセスとそれ人類が言語を獲得したプロセスに関しては、言語学や人類学の立場から豊富な研究成果が報告されているが、ここでは情報メディアの歴史的経緯からモデル化を試みる。人類における情報メディア、すなわちコミュニケーションメディアの歴史は、叫び声・ジェスチャに始まり、洞窟壁画、象形文字、表意文字、表音文字、数式、近代論理学というパターンで把握できることを以前述べた。さらにこのパターンが、コンピュータメディアの進展推移と対称的になっていることを論じたのであるが、このパターンに基づき本検討を行う。

ディアの場合はコミュニケーションメディアの逆で抽象的な論理から具体的な対象へと進展している。対称となる理由は、下記のように考えられる。人間のコミュニケーションメディアにおいては、事物の一般化を可能とする抽象概念や抽象化手法が歴史のけん引力となっている。情報共有のために効果的に情報を把握した個人や組織が歴史のプロセスの中で残存したからであろう。すなわち、記録に残せないゼスチャーや音声を記録するために洞窟壁画を残し、個々の画像を抽象化・標準化して象形文字が誕生した。象形文字をさらに記録が容易なように抽象化したのが表意文字である。表意文字の文字数の記憶が人間の記憶力に適合せず、話し言葉との整合を取ったのが表音文字である。さらに代数学における変数のような抽象的な概念を獲得し、そのような抽象概念を洗練して近代論理学が誕生している。以上の経緯は、効果的に情報を把握・管理した個人や組織が歴史のプロセスの中で残存したことを物語るものであり、その背景には、ダーウィンの適者生存の論理すなわちダーウィニズムが存在すると言えるだろう。

表1は、人間とコンピュータにおける情報メディアの対称性を示している[1]。表の左側は人間のコミュニケーションの歴史を示しているが、感覚に基づく具体的な対象から知的な抽象的な論理へと抽象化を指向して進化したと言える。右側はコンピュータメディアの進展を下から上に記述しているが、興味深いことに左右の項目が対応している。コンピュータメ

他方、コンピュータメディアにおいては、人間とコンピュータとのインタラクションの容易さがこの半世紀余りの歴史を牽引してきたと言える。すなわち、ゼロと1 の列による2 進数よりは、見慣れた10 進数の方が見やすい。数字だけのデータ処理よりは、文字が使える方がさまざまなサービスに対応できる。使える文字も、英数字のみよりは漢字を含むに基づくモデルを提案し、4章でそのモデルを考察する。

2. 人類における言語の獲得
2.1 情報メディアの歴史への考察

画像電子学会
The Institute of Image Electronics
Engineers of Japan

日本語が使える方が良い。このように、コンピュータパワーを扱うデータ形式の拡張を通じて人間とコンピュータのインタラクションの改善が図られた。そのために情報メディアに対するデータ型の拡張が、ブーリアンから整数・浮動小数へ、さらに文字・文字列型へと進展した。次に進展したのがGUIである。人間のコミュニケーションメディアに対比すると象形文字に相当するが、デスクトップメタファーのアイコンは古代人の象形文字の発想に遠からぬものを感じる。先に述べたとおり、GUIも操作に関する人間とコンピュータとのインタラクションの容易性を目指すものである。さらに、コンピュータにおける文字メディアから図形画像、映像音声を扱うようになった経緯は、文字よりも図形画像、映像音声の方が人間に認知され易いことから、人間とコンピュータとのインタラクションの容易性を実現していると言える。

2.2 対称性を貫く論理
人間のコミュニケーションメディアの歴史、コンピュータメディアの歴史が時間軸に対して対称的なのは興味深い事実である。この現象を以前は人間が帰納に基づく抽象的な思考を追求し、コンピュータは処理機能と記憶領域の増大に伴う演繹的な具象化を実現したと述べた[1]。だが以上のダーウィニズムによる人間のコミュニケーションメディアの歴史と人間とコンピュータとのインタラクションの容易性を実現した
コンピュータメディアの歴史を貫通する歴史の論理が存在する。ダーウィニズムは競争状況下における適者生存の論理だが、環境変化に適合する個体やグループが相対的に生き残るということである。環境自体の問題とその変化の問題があり、環境が特異だとガラパゴス的になる。この考え方に類似の理論として、シャノンの情報理論が挙げられる。情報理論
は、発信者と受信者の間の媒体に応じた最適な符号化方式が存在するというものである。たとえ雑音が存在しても、符号に冗長性を持たせれば、通信することが可能である。その冗長性が不足すると誤りが生じ、冗長性が大きすぎると過剰品質になる。その中間に最適な符号化が存在する。
生物の世界で雌雄の染色体遺伝子の組み合わせや突然変異により遺伝子配列に変位が生じるが、それを情報理論の符号化に対応付けることが可能であろう。最適な符号化としての遺伝子が生き残るというよりは、実際には生き残ったものが最適な符号化であったという結果論が実態である。しかし適者生存の概念には、無駄な冗長性を廃するという思想、すなわち最適化という概念が存在する。コンピュータメディアの歴史の方は、人間とコンピュータとのインタラクションの容易性がその進展の推進力であったと言える。人間とコンピュータとのインタラクションを容易にするということは、余計な手間をコンピュータ側に押し付けることに他ならない。このことを以前は「コンピュータが人間に近づく」とか「ユーザーフレンドリー」というような言い方をしたものであった。要するに、コンピュータを支援者や召使いとして扱い、面倒なことは徹底的にコンピュータにさせるということがコンピュータメディアの歴史であった。上記人間側とコンピュータ側のメディアは共に時間の経過と共に所与の状況に最適化し冗長性を排するという論理で貫かれている。統計力

年次大会予稿
Proceedings of the Media Computing Conference

学的な概念を用いるとエントロピーの極小化ということになる。この考え方による論理の妥当性を、中世の哲学者であったウイリアム・オッカムも提唱し、それは「オッカムの剃刀」という格言で知られている。人間のコミュニケーションメディアもコンピュータメディアも、冗長性の排除という視点から俯瞰するとその進展が理解できる[2]。

2.3 情報メディアにおける文字・語彙とフレーム
表1は、人間とコンピュータにおける情報メディアの歴史的な経過を示しているが、人間においては感覚的に把握し易い感性的メディアから、論理的把握を必要とする知性的メディアへの進展を示している。このプロセスは、言語の獲得と密接に関係すると思われる。
叫び声やジェスチャは、何らかのできごとの伝達であろう。それは獲物を見つけた場合や危険が迫っているような、原始的な人々の生存に関わる「できごと」が多かったであろう。獲物が問題であれば、獲物を個別の対象として識別したであろう。洞窟壁画に動物の絵が描かれているのはその証拠である。
汎用的に用いられる概念対象は、象形文字となり、さらに簡略化されて表意文字になり、やがて単一の文字では意味の記述に不都合をきたして文字の組み合わせた熟語となったのであろう。熟語として複数の文字を使用するなら、個別の文字の意味は不要であり、口承による発音に合わせた表音文字とする方が識字率は向上する。その結果アルファベットが世界の主流の文字となり、日本以外の先進諸国ではアルファベットの組み合わせで語彙が形成されるようになった。
バートランド･ラッセルは、彼の著書において知識には感覚を通じた面識による知識（Knowledge by acquaintance）と文字や数式の記述による知識（Knowledge by description）があると述べている[3]。前者は、叫び声・ジェスチャ、洞窟壁画、文字に至る情報メディアに対応し、後者は文字、数式・代数学、近代論理学が対応する。面識による知識と記述による知識を媒介するのは文字であり、人間の知識にとっては極めて重要な位置を占める。面識による知識は、個物を特定するが個物相互の関係は別の知識である。要するに個物は名詞であり、個物の関係は文により記述される。個物の相互の関係により意味が生じ、個物は語彙として把握される。語彙は個物が集合的に意味付けられた概念である。
意味とは何かというのは哲学的な問いであるが、個物の集合的な概念とそれらの関係というとらえ方が可能であろう。
計算機科学の世界において、語彙や概念を扱う枠組みとしては、マービン・ミンスキーのフレームが有名である。人間は概念を必要とする状況に出会うとフレームを呼び出すと言う[4]。フレームはプログラミング言語の構造体のように種々の属性に関するスロットを持つ記憶構造である。スロットは、そのフレームが生成されたときはデフォルト値が書き込まれているが、その後その用語の使用履歴に応じて値が記憶される。スロット値に別の語彙が埋め込まれている場合には、別のフレームが関係する。場合によっては、スロットには時系画像電子学会
The Institute of Image Electronics
Engineers of Japan

列情報が書き込まれることがあり、そのようなスロット値はスクリプトと呼ばれる。その後フレームは1980年代にオブジェクト指向プログラミング言語のクラスとして実装されるようになった。さらにその後、XML の枠組みでもフレームの実装が試みられ、RDF スキーマやOWL によるオントロジへと進展した。

年次大会予稿
Proceedings of the Media Computing Conferenceの定義となる。このようにして、オブジェクト指向プログラミング環境で模擬される語彙のクラス群の定義のようにして、個々人の深層の知識が構築される。以上に基づく人間の言語獲得による知識階層を図1に示す。

3. 個人が言語を習得するプロセス
世界観

3.1 個体発生は系統発生を繰り返す
人類が言語を獲得したプロセスを前章で述べたが、興味深いことに個々の人間が言語を獲得するプロセスもかなり類似である。母親の胎内から生まれた時に「オギャー、オギャー」と泣いて四肢を動かすが、この時点で叫び声・ジェスチャによる情報メディアを活用している。やがて絵本を見るようになると、洞窟壁画レベルの図形・画像レベルになり、初等教育で文字を覚え、語彙を習得する。中等教育で代数の方程式を習得し、人によるが高等教育で近代論理学を修得する。そのように考えると、表1におけるコミュニケーショ
ンメディアの歴史を繰り返している観がある。なお象形文
字、表意文字に関しては対応していないが、描画により情報伝達するような生活文化が失われたためであろう。小さな子
供は記号としての文字を書くよりは描画することを好むし、スマホの絵文字は象形文字に対応するであろう。交通標識などは、文字で記述されるよりは図形に基づく表示の方が直感的に判別可能である。初等・中等教育における図画や書道の授業は、洞窟壁画、表意文字のメディアの名残りとして位置付けられるのではあるまいか。

3.2 乳幼児が言語を獲得する過程
乳幼児が言語を獲得する過程は、生存するための対象の認識に始まると思われる。最初は乳をもらう母親の存在であろう。次に身近な生存環境、さらには視聴覚を中心とする感覚で感じる周囲の個々の対象を認識すると共に、それらに対して何らかの反応を期待して行為するであろう。その行為の初歩は発声であろう。乳幼児の言語獲得は、アーアーのような喃語（babbling）からマンマのような初語が現れる。その後しばらくは一つの単語だけを使う時期が続いてから、20カ月齢程度で2つの単語を組み合わせて文を作り文法を構成するようになるという[5]。子供が言葉を覚えるために、「これ何？」という質問を繰り返す時期がある。この時に自分の周囲の事象に対する基礎的な語彙を習得するであろう。さらに「誰？」「何時？」「なぜ？」「どうして？」といった質問で基礎的な語彙に伴う属性や動き、関連する事象なども認識するであろう。このようにして幼児は、1歳から6歳位の間に、毎日数語のペースで新しい単語を覚えると同時に、その単語を使うための文法を覚えていく。このことは、ミンスキー的にはフレームが着実に生成されることに対応する。この状況は、コンピュータ環境としてのオブジェクト指向プログラミングにおける、クラス定義、インスタンス生成、メソッド定義などに相当する。基礎的な語彙に関連して、さらに具体的な分類が生じる場合はサブクラス定義となり、複数の語彙の共通の性質としての語彙が現れるとスーパークラス

体系的知識
構文・文法

拡張語彙
学習・経験

画像を含む感覚に基づく基本語彙
図1

人間の言語と知識階層

3.3 人間の言語と知識階層モデル
喃語から初語を話し始める頃の幼児は、指示された対象の名称の一語を発話するだけである。それらは食べ物や生活環境としての室内の家具、野外の風景や動物などである。それらの語は、視聴覚や触覚、嗅覚、味覚などの感覚を通じて識別された対象であろう。このようにして外部世界における個物や事象を語彙として認識していく。やがて2語話せるようになると、動詞や形容詞が使えるようになり、対話が可能になる。この状況が図1の最下層から2番目の層への移行である。
その後、初等・中等教育などで、社会人として生活するための語彙を学び、その語彙の活用を通じて文章の構文や文法を習得する。この段階で母語としての自然言語が獲得されたと考えることが可能であろう。その後、職業教育や専門教育、高等教育を通じて体系的な知識を学び、社会人として成長することになる。さらに社会人として活動し自分の生き方を選択していくための価値観、世界観を形成していくことになるであろう。職業教育や専門教育は、具体的なスキルを得るための語彙であり、それらは一般性が高い具体的な語彙が主であろう。それに対して、価値観や世界観を形成する語彙は、個人としての主観に支えられる抽象的な概念の語彙を含むものになるであろう。

3.4 画像情報の役割
図1のモデルから、画像情報が言語の発達にとって重要であることは、明白である。特に乳幼児における生活環境で最初に認識する事物としての最下層の語彙の多くは視覚情報から得られると考えられる。さらにその対象への行為や対象の属性の認識などを通じた下から2番目の層においても、多くの語彙は画像情報を通じて得られるであろう。だが、体系的な知識、世界観といった抽象度が高い知識においては、視覚に基づく画像情報よりは、記述された文章による論理的、系統的な知識の比重が高まるであろう。
なお、画像情報と記述された文章による論理的、系統的な知識とは、必ずしも対立する概念ではなく、協調する概念と

画像電子学会
The Institute of Image Electronics
Engineers of Japan

見る必要がある。これはラッセルの面識による知識と記述による知識との対比とも類似であるが、その端緒は幼児期における絵本の理解に求められる。幼児は絵を通じた語彙を単独に把握するのではなく、物語を通じて当てはめて把握するといわれる[6]。そのことから、語彙が意味する概念は、ある種の文脈を構成する要素として物語の中で位置付けられると考えられる。

3.5 解体新書に見る第二言語の習得以上のプロセスは、母語の場合を想定しているが、第二言語についても、辞書が整備されていない場合は適用できると思われる。例として、鎖国下にあった江戸時代における蘭学による西洋文化の取得が挙げられる。蘭学は江戸時代にオランダを通じて日本に入ってきたヨーロッパの学術・文化・技術の総称であり、鎖国下の唯一の海外窓口であった長崎の出島を通じてもたらされた。蘭学の発展経緯については、杉田玄白の蘭学事始に簡潔に記されている[7]。ターヘルアナトミ
アを翻訳して1774年に解体新書を出版したが、人体の名称をオランダ語から漢語に対応付けるプロセスが主要な作業であったと記されている。解剖を通じた人体の理解を通じてオランダ語を把握していったので、翻訳による内容理解というよりは、現物や画像の理解をオランダ語と漢語に対応付けて把握した。名詞としての現物や画像を把握し、その説明や、その相互の関係の理解から、オランダ語の文法を理解し、翻訳していった模様である。この状況は、図1のモデルとほぼ同様である。
その後、一般のオランダ語の書籍を翻訳するために辞書が必要となった。そのためには、オランダ語をアルファベット順に並べる必要があるが、フランス人フランソワ・ハルマ（FrancoisHalma）の蘭仏辞書をベースに訳語を整理し、蘭和辞書としてのハルマ和解が1796年に完成した。これは解体年次大会予稿
Proceedings of the Media Computing Conference

学の文脈に沿っており、モデルとしての一貫性が成立すると考えている。酒井等、ピンカーの思想を否定している論もあるが[10]、適者生存の経緯の意味に関して、ピンカーの思想への解釈の相違が存在するように感じられ、今後も議論が必要と思われる。
言語の本質は、世界を記述するものであり、世界はヴィトゲンシュタインが語るとおり事象から成り立つと考えることが可能であろう[11]。その考え方は、プログラミング言語でも同様ではないかと思われる。事象は、事物と現象であり、その概念のモデルはミンスキーのフレームで記述可能である。
フレームは、オブジェクト指向プログラミングの型とクラスで記述可能というのが、オブジェクト分析設計の立場である。今後は、図1のモデルのプログラミング言語への適用可能性を検討すると共に、その適用範囲と差異を検討したいと考える。

5. おわりに
本報告は、人間の学習や教育における知識習得プロセスにおける画像情報の役割を言語習得の観点から考察したものである。グローバル人材育成の観点から、教育機関における英語学習、英会話学習が盛んであるが、その教育手法に関しては様々な課題がある。例えば、TOEICなどのテストスコアや資格取得のため、語学試験のノウハウに偏った指導も多く見られる現状ではあるが、学習者が異文化理解、交流への興味を持つことも今後の課題である。異文化交流は語学スキルだ
けでなく、背景情報としての文脈的知識、それを補う手段としての画像や映像の情報活用なども重要である。そのような観点からこの検討をすすめている。最後にこの分野へのニーズ把握への示唆を頂いた、異文化コミュニケーション学会の関係者に謝意を表します。

新書の出版から22年後のことで、それ以前は辞書無しで蘭学文献を学んでいたのである。なお、1788年に大槻玄沢により蘭学[1] 大野邦夫，吉田正人；”情報メディアを構成する型概念に関する考察”,情報処理学会研究報告，DD30−2（2001.9）

階梯が出版されている。これは階梯ということから、蘭学入門のチュートリアルである。解体新書のインパクトから、蘭学が大衆的に普及するまでには10年以上を要しており、先人の苦労が偲ばれる。

4. 考察および今後の課題
以上、言語獲得における語彙・知識の階層が図1のモデルで表現可能であると思われるが、多方面からの考察が必要である。自然言語の生成や発展推移に関しては、多様な議論が存在する。多様な議論が存在する割には、議論が収束していないのが実情である[8]。筆者等は、自然言語を概観的・マクロ的に俯瞰するアプローチを採るが、チョムスキーの普遍文法やピンカーの進化心理学モデル[9]を踏まえるべく検討している。特に2.2節で述べた「対称性を貫く論理」は、ピンカーの適者生存の結果としての自然言語の獲得を主張する進化心理[2] 大野邦夫；”人間の知識と社会を変革する情報メディア”, 日本画像学会，Imaging Conference JAPAN 2011 論文集（2011.6）[3] B. Russell; “The Problems of Philosophy”, Oxford University Press, pp.46〜59,（1959）[4] P.H.ウィンストン編, 白井・杉原訳; “コンピュータビジョンの心理”, 産業図書, p.238,（1979）[5] 酒井邦嘉；”言語の脳科学”, 中公新書1647, p.276 (2002)[6] 正高信男；”乳幼児に絵本を読むことの大切さ ”, http://www.accu.or.jp/appreb/09/pdf32−4/32−4p005−006j.pdf[7] 杉田玄白（杉本つとむ訳・著）; “知の冒険者たち〜蘭学事始を読む”, 八坂書房（1994）[8] 酒井邦嘉；”言語の脳科学”, 中公新書1647, pp.92−95 (2002)[9] スティーブン・ピンカー（山下篤子訳） ; “人間の本性を考える〜心は「空白の石版」か（上〜下） ”, NHK出版（2004）
[10]
[11]

酒井邦嘉；”言語の脳科学”, 中公新書1647, p.95 (2002)
ヴィトゲンシュタイン；”論理哲学論考”, 中央公論・世界の名著58, 中央公論（1971）