(57)【要約】【課題】複数の画像により所望の意味を表すことができる情報処理装置を提供すること。【解決手段】情報処理装置は、人称の群を含む２つ以上の群に予め分類されている選択候補画像から、複数の選択候補画像を順に選択済み画像として選択する選択部と、選択部によって選択された複数の選択済み画像を前記の順に並べて表示させる表示制御部と、を備える。【選択図】図６
2016004494.tif 000002
【特許請求の範囲】
【請求項１】
人称の群を含む２つ以上の群に予め分類された選択候補画像から、複数の前記選択候補画像を順に選択済み画像として選択する選択部と、
前記選択部によって選択された前記複数の前記選択済み画像を前記順に並べて表示させる表示制御部と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記表示制御部は、前記選択済み画像が表示される前記複数の表示枠のうちの、前記順に対応する前記表示枠に、前記順に対応する前記選択済み画像をそれぞれ表示させる、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示制御部は、表示する前記選択済み画像の前記順を、受け付けられた操作に基づいて変更する、
ことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記選択候補画像は、文型の群を更に含んで予め分類されている、
ことを特徴とする請求項１から３のうちいずれか一項に記載の情報処理装置。
【請求項５】
受け付けられた操作に基づいて前記選択候補画像を加工する画像加工部を備える、
ことを特徴とする請求項１から４のうちいずれか一項に記載の情報処理装置。
【請求項６】
他装置との通信によって前記選択候補画像を取得する通信制御部を備える、
ことを特徴とする請求項１から５のうちいずれか一項に記載の情報処理装置。
【請求項７】
前記選択候補画像は、漫画である、
ことを特徴とする請求項１から６のうちいずれか一項に記載の情報処理装置。
【請求項８】
人称の群を含む２つ以上の群に予め分類されている選択候補画像から、複数の前記選択候補画像を順に選択済み画像として選択する選択部と、前記選択部によって選択された前記複数の前記選択済み画像を前記順に並べて表示させる表示制御部と、を備える他の情報処理装置から送信される前記複数の前記選択済み画像を示す画像情報と前記順を示す順序情報とを受信する受信部、
を更に備え、
前記表示制御部は、
前記受信部が受信する前記画像情報が示す前記複数の前記選択済み画像を、前記受信部が受信する前記順序情報が示す前記順に表示させる、
ことを特徴とする請求項１から７のうちいずれか一項に記載の情報処理装置。
【請求項９】
前記選択候補画像は、単位の群を更に含んで予め分類されている、
ことを特徴とする請求項１から８のうちいずれか一項に記載の情報処理装置。
【請求項１０】
前記選択候補画像は、時制の群を更に含んで予め分類されている、
ことを特徴とする請求項１から９のうちいずれか一項に記載の情報処理装置。
【請求項１１】
人称の群を含む２つ以上の群に予め分類されている選択候補画像から、複数の前記選択候補画像を順に選択済み画像として選択する第１ステップと、
前記第１ステップによって選択された前記複数の前記選択済み画像を前記順に並べて表示させる第２ステップと、
を有することを特徴とする情報処理方法。
【請求項１２】
コンピューターに、
人称の群を含む２つ以上の群に予め分類されている選択候補画像から、複数の前記選択候補画像を順に選択済み画像として選択する第１ステップと、
前記第１ステップによって選択された前記複数の前記選択済み画像を前記順に並べて表示させる第２ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
スマートフォン等の情報処理端末のユーザー同士による意思疎通（コミュニケーション）を支援するための技術が研究・開発されている。
【０００３】
これに関連し、情報処理端末のユーザー同士が、電子メール等の文字列（例えば、文章等）を用いたメッセージによって行われる意思疎通を支援する装置が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２０２２９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の装置では、文字列の意味や内容を理解できないユーザー同士の意思疎通の程度を向上させることまではできなかった。
【０００６】
そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、ユーザー間の意思疎通の程度を向上させることができる情報処理装置、情報処理方法、及びプログラムを提供する。
【課題を解決するための手段】
【０００７】
本発明の一態様は、人称の群を含む２つ以上の群に予め分類されている選択候補画像から、複数の前記選択候補画像を順に選択済み画像として選択する選択部と、前記選択部によって選択された前記複数の前記選択済み画像を前記順に並べて表示させる表示制御部と、を備えることを特徴とする情報処理装置である。
【０００８】
また、本発明の他の態様は、情報処理装置において、前記表示制御部は、前記選択済み画像が表示される前記複数の表示枠のうちの、前記順に対応する前記表示枠に、前記順に対応する前記選択済み画像をそれぞれ表示させる、構成が用いられてもよい。
【０００９】
また、本発明の他の態様は、情報処理装置において、前記表示制御部は、表示する前記選択済み画像の前記順を、受け付けられた操作に基づいて変更する、構成が用いられてもよい。
【００１０】
また、本発明の他の態様は、情報処理装置において、前記選択候補画像は、文型の群を更に含んで予め分類されている、構成が用いられてもよい。
【００１１】
また、本発明の他の態様は、情報処理装置において、受け付けられた操作に基づいて前記選択候補画像を加工する画像加工部を備える、構成が用いられてもよい。
【００１２】
また、本発明の他の態様は、情報処理装置において、他装置との通信によって前記選択候補画像を取得する画像取得部を備える、構成が用いられてもよい。
【００１３】
また、本発明の他の態様は、情報処理装置において、前記選択候補画像は、漫画である、構成が用いられてもよい。
【００１４】
また、本発明の他の態様は、情報処理装置において、人称の群を含む２つ以上の群に予め分類されている選択候補画像から、複数の前記選択候補画像を順に選択済み画像として選択する選択部と、前記選択部によって選択された前記複数の前記選択済み画像を前記順に並べて表示させる表示制御部と、を備える他の情報処理装置から送信される前記複数の前記選択済み画像を示す画像情報と前記順を示す順序情報とを受信する受信部、を更に備え、前記表示制御部は、前記受信部が受信する前記画像情報が示す前記複数の前記選択済み画像を、前記受信部が受信する前記順序情報が示す前記順に表示させる、構成が用いられてもよい。
【００１５】
また、本発明の他の態様は、情報処理装置において、前記選択候補画像は、単位の群を更に含んで予め分類されている、構成が用いられてもよい。
【００１６】
また、本発明の他の態様は、情報処理装置において、前記選択候補画像は、時制の群を更に含んで予め分類されている、構成が用いられてもよい。
【００１７】
また、本発明の他の態様は、人称の群を含む２つ以上の群に予め分類されている選択候補画像から、複数の前記選択候補画像を順に選択済み画像として選択する第１ステップと、前記第１ステップによって選択された前記複数の前記選択済み画像を前記順に並べて表示させる第２ステップと、を有することを特徴とする情報処理方法である。
【００１８】
また、本発明の他の態様は、情報処理装置において、以上に示した本発明の態様に記載の情報処理装置、として機能させるためのプログラムである。
【発明の効果】
【００１９】
本発明によれば、ユーザー間の意思疎通の程度を向上させることができる情報処理装置、情報処理方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本実施形態における情報処理装置の機能構成の一例を示す図である。
【図２】人称カテゴリ、感情カテゴリ、行動カテゴリのそれぞれに予め分類された選択候補画像を例示する図である。
【図３】疑問カテゴリ、回答カテゴリ、数値カテゴリ、単位カテゴリのそれぞれに予め分類された選択候補画像を例示する図である。
【図４】選択済み画像の組み合わせが表示されるまでの手順の概要の一例を説明するための図である。
【図５】情報処理装置のユーザー同士が複数の選択済み画像に描かれた絵柄の組み合わせによって会話を行う様子の一例を示す図である。
【図６】制御部により選択済み画像を表示枠に表示させる処理の一例を示すフローチャートである。
【図７】カテゴリ選択画面の一例と、カテゴリ選択画面によって選択されたカテゴリに予め分類された選択候補画像が表示された画面の一例を示す図である。
【発明を実施するための形態】
【００２１】
＜実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態における情報処理装置１の機能構成の一例を示す図である。情報処理装置１は、撮像部１０と、選択候補画像情報１２１が予め記憶されている記憶部１２と、入力受付部１３と、表示部１４と、通信部１５と、制御部１６を備える。選択候補画像情報１２１とは、複数の選択候補画像情報の総称である。
【００２２】
情報処理装置１のユーザーは、例えば、ユーザーの母国語による意思疎通ができない外国人等と意思疎通を行いたいと思った場合に、情報処理装置１を操作することで画像を選択して組み合わせる。この時、ユーザーにより選択される画像を選択候補画像と称する。情報処理装置１は、この選択候補画像を、前述の選択候補画像情報に基づいて表示部１４に表示する。選択候補画像は、表示部１４に表示された際にその選択候補画像が示す絵柄に応じて、予め複数のカテゴリに分類されている。以下では、説明の便宜上、表示部１４に表示された際に選択候補画像が示す絵柄を、選択候補画像に描かれた絵柄と称して説明する。なお、カテゴリは、選択候補画像の群の一例である。
【００２３】
本実施形態において、このカテゴリには、人称カテゴリ、感情カテゴリ、行動カテゴリ、疑問カテゴリ、回答カテゴリ、数値カテゴリ、単位カテゴリが含まれる。ここで、図２及び図３を参照して、これらのカテゴリに予め分類された選択候補画像について説明する。図２は、人称カテゴリ、感情カテゴリ、行動カテゴリのそれぞれに予め分類された選択候補画像を例示する図である。
【００２４】
図２において、領域Ａ１に配置された選択候補画像は、人称カテゴリに分類されている。人称カテゴリに分類された選択候補画像には、名詞が示す各種の対象（例えば、人や猫、植物、機械等）を表す絵柄が描かれている。また、選択候補画像には、その対象を表す絵柄によって名詞の主格や所有格が描かれている。例えば、選択候補画像Ｓ１１には、１人称の主格を表す絵柄（一例として、女性が自身を示している絵柄）が描かれている。また、画像Ｓ１に描かれた絵柄は、人称カテゴリを表す。画像Ｓ１は、人称カテゴリを表すためのサムネールである。なお、人称カテゴリは、選択候補画像の群のうちの人称の群の一例である。
【００２５】
また、領域Ａ２に配置された選択候補画像は、人称カテゴリに分類されている。感情カテゴリに分類された選択候補画像には、感嘆詞によって表される感情（喜怒哀楽）が絵柄として描かれている。例えば、選択候補画像Ｓ２１には、喜びを示す感嘆詞（例えば、「わーい！」等）を表す絵柄（一例として、女性が喜んでいる絵柄）が描かれている。また、画像Ｓ２に描かれた絵柄は、感情カテゴリを表す。画像Ｓ２は、感情カテゴリを表すためのサムネールである。
【００２６】
また、領域Ａ３に配置された選択候補画像は、行動カテゴリに分類されている。行動カテゴリに分類された選択候補画像には、行動が絵柄として描かれている。例えば、選択候補画像Ｓ２１には、何かを見つけた場合の行動を表す絵柄（一例として、女性が何かを発見している絵柄）が描かれている。画像Ｓ３に描かれた絵柄は、行動カテゴリを表す。また、画像Ｓ３は、行動カテゴリを表すためのサムネールである。なお、行動カテゴリに分類された選択候補画像には、語形変化（例えば、五段活用等）において変化した語形にそれぞれ相当する絵柄が描かれた選択候補画像が含まれてもよい。
【００２７】
図３は、疑問カテゴリ、回答カテゴリ、数値カテゴリ、単位カテゴリのそれぞれに予め分類された選択候補画像を例示する図である。図３において、領域Ａ４に配置された選択候補画像は、疑問カテゴリに分類されている。疑問カテゴリに分類された選択候補画像には、何かに疑問を抱いている状態を示す絵柄が描かれている。例えば、選択候補画像Ｓ４１には、財布から出すべき金額が分からない状態を表す絵柄（一例として、男性が財布の中から出すべき金額について悩んでいる状態を表す絵柄）が描かれている。また、画像Ｓ４は、疑問カテゴリを表すためのサムネールである。
【００２８】
また、領域Ａ５に配置された選択候補画像は、回答カテゴリに分類されている。回答カテゴリに分類された選択候補画像には、何らかの回答を表す絵柄が描かれている。例えば、選択候補画像Ｓ５１には、回答が正解であることを示す絵柄（一例として、女性が○、すなわち正解を示している絵柄）が描かれている。また、画像Ｓ５は、回答カテゴリを表すためのサムネールである。
【００２９】
また、領域Ａ６に配置された選択候補画像は、数値カテゴリに分類されている。数値カテゴリに分類された選択候補画像には、数値を表す絵柄が描かれている。例えば、選択候補画像Ｓ６１には、数値が４であることを表す絵柄（一例として、女性が４を掲げている絵柄）が描かれている。また、画像Ｓ６は、数値カテゴリを表すためのサムネールである。
【００３０】
また、領域Ａ７に配置された選択候補画像は、単位カテゴリに分類されている。単位カテゴリに分類された選択候補画像には、単位を表す絵柄が描かれている。例えば、選択候補画像Ｓ７１には、単位がｇ（グラム）であることを表す絵柄（一例として、グラムを示す秤に女性が乗っている絵柄）が描かれている。また、単位カテゴリに分類された選択候補画像には、時制（例えば、朝、昼、夕、夜、時間（時間を示す時計を含む）、現在、過去、未来等）を表す絵柄が描かれているものも含まれる。なお、時制を表す絵柄が描かれた選択候補画像は、単位カテゴリとは別の時制カテゴリに分類されていてもよい。また、画像Ｓ７は、単位カテゴリを表すためのサムネールである。なお、単位カテゴリは、選択候補画像の群のうちの単位の群の一例である。
【００３１】
なお、選択候補画像が予め分類されている複数のカテゴリには、図２及び図３に示したカテゴリとは異なる他のカテゴリが含まれてもよい。他のカテゴリとは、例えば、各種の文型に基づいて選択候補画像が分類される文型カテゴリや、ユーザーにより定義されるオリジナルのカテゴリ等が含まれてもよい。ユーザーにより定義されるオリジナルのカテゴリが含まれる場合、情報処理装置１は、ユーザーから受け付けた操作に基づいて、ユーザーにより選択された選択候補画像をそのオリジナルのカテゴリに分類する。なお、文型カテゴリは、選択候補画像の群のうちの文型の群の一例である。また、時制カテゴリは、選択候補画像の群のうちの時制の群の一例である。
【００３２】
また、選択候補画像が予め分類されている複数のカテゴリは、図２及び図３において説明した７つのカテゴリのうちの一部のみが含まれるとしてもよい。また、選択候補画像には、文字列（単語や、単語から構成される文章）が描かれていないことが好ましい。なお、文字列であっても、擬音語や擬態語は、描かれていても構わない。また、文字列であっても、世界共通の記号（例えば、「○」や「×」等）は、描かれていても構わない。
【００３３】
ここで、図４を参照して、情報処理装置１のユーザーにより選択された選択候補画像（以下、選択済み画像と称する）の組み合わせが表示されるまでの手順の概要について説明する。図４は、選択済み画像の組み合わせが表示されるまでの手順の概要の一例を説明するための図である。
【００３４】
情報処理装置１は、以下で説明する手順を繰り返すことで、予め複数のカテゴリに分類されている選択候補画像の中から複数の所望の画像を複数の選択済み画像として選択する。なお、この手順は、ユーザーから受け付けた操作に基づく手順である。以下では、説明の便宜上、ユーザーから受け付けた操作に基づく手順を、ユーザーに行われた手順と称して説明する。例えば、ユーザーから受け付けた操作に基づいて選択候補画像の中から、ユーザーが所望の画像を選択する操作を行うことを、ユーザーが選択候補画像の中からユーザーが所望の画像を選択すると称して説明する。
【００３５】
また、以下では、説明の便宜上、情報処理装置１がユーザーから選択候補画像の中から所望の画像を選択する操作を受け付けた場合、選択候補画像情報１２１から受け付けられた操作に基づく選択候補画像を示す画像情報を、選択済み画像を示す画像情報として選択することを、情報処理装置１が選択候補画像の中から所望の画像を選択済み画像として選択すると称して説明する。
【００３６】
まず、情報処理装置１は、選択候補画像が予め分類されているカテゴリをユーザーが選択する。情報処理装置１は、ユーザーにより選択されたカテゴリに分類されている選択候補画像を表示する。図４（Ａ）において、情報処理装置１は、ユーザーにより人称カテゴリが選択され、人称カテゴリに予め分類されている選択候補画像を表示部１４に表示している。図４（Ａ）は、人称カテゴリに予め分類されている選択候補画像が表示部１４に表示された様子の一例を示す図である。なお、図４に示した一例において、表示部１４は、入力受付部１３と一体として形成されたタッチパネルであるとして説明する。
【００３７】
ユーザーは、表示部１４に表示された選択候補画像から、指示体Ｆ１によってタップすることで所望の画像を選択済み画像として選択する。指示体Ｆ１とは、例えば、指であるが、これに代えて、スタイラスペン等であってもよい。情報処理装置１は、指示体Ｆ１によって選択された選択済み画像の輪郭を太線で強調し、選択済み画像と他の選択候補画像とを容易に区別できるようにする。図４（Ａ）における選択候補画像Ｐ１は、ユーザーにより指示体Ｆ１によってタップされることで選択された選択済み画像である。前述したように、選択候補画像Ｐ１の輪郭は、選択済み画像であることを示すために太線で強調されている。これにより、情報処理装置１は、ユーザーが選択済み画像と他の選択候補画像とを誤認識してしまうことを抑制することができる。
【００３８】
なお、情報処理装置１は、選択済み画像の輪郭を太線で強調する構成であるとしたが、これに代えて、選択済み画像の色を変化させる方法や、選択済み画像を点滅させる方法等の他の方法によって強調する構成であってもよく、強調しない構成であってもよい。また、情報処理装置１は、選択済み画像を表す情報（例えば、画像名等）を表示部１４に表示する構成であってもよい。
【００３９】
このような手順で情報処理装置１が択済み画像を１枚選択した後、情報処理装置１は、２枚目の選択済み画像をユーザーに選択させるため、再びユーザーにカテゴリを選択させる。これを所定の回数だけ繰り返すことで、情報処理装置１は、複数の選択済み画像を選択する。ここで、この複数の選択済み画像のそれぞれを示す画像情報には、ユーザーにより選択された順（以下、画像選択順と称する）を示す順序情報が含まれる。なお、この画像情報は、順序情報が含まれる構成に代えて、順序情報と対応付けられる構成であってもよい。以下では、説明の便宜上、選択済み画像を示す画像情報に含まれる順序情報に含まれる画像選択順を、選択済み画像の画像選択順と称して説明する。
【００４０】
情報処理装置１は、ユーザーにより選択された複数の選択済み画像を、順序情報に含まれる画像選択順に基づいて、所定の表示枠に表示させる。ここで、所定の表示枠には、画像選択順を示す数字（以下、対応数と称する）が対応付けられている。情報処理装置１は、選択済み画像を所定の表示枠に表示させる際、選択済み画像の画像選択順と、所定の表示枠の対応数とが一致するように選択済み画像を所定の表示枠に表示させる。なお、情報処理装置１は、選択済み画像の画像選択順と、所定の表示枠の対応数とが一致するように選択済み画像を所定の表示枠に表示させる構成に代えて、他の画像選択順に基づく方法によって所定の表示枠に選択済み画像を表示させる構成であってもよい。なお、前述した所定の回数は、この所定の表示枠の数（すなわち、ユーザーが意図する意味を表すように絵柄を組み合わせるために必要な選択済み画像の数）を示す。
【００４１】
図４（Ｂ）には、表示部１４において選択済み画像が所望の表示枠に表示された様子の一例を示す。枠Ｃ１〜枠Ｃ４は、それぞれ所定の表示枠を示している。表示枠Ｃ１には、画像選択順が１の選択済み画像が表示される。表示枠Ｃ２には、画像選択順が２の選択済み画像が表示される。表示枠Ｃ３には、画像選択順が３の選択済み画像が表示される。表示枠Ｃ４には、選択順が４の選択済み画像が表示される。
【００４２】
なお、図４（Ｂ）において、所定の表示枠は、４つであるとしたが、３以下であってもよく、５以上であってもよい。また、所定の表示枠の並び方は、図４（Ｂ）に示した並び方に代えて、例えば、対応数の順に縦に並べる並び方でもよく、対応数の順に横に並べる並び方でもよく、他の対応数に基づく順に並べる並び方でもよい。図４（Ｂ）において、対応数の順の流れは、矢印によって表されているが、矢印が無い構成であってもよい。その場合、所定の表示枠は、対応数の順に縦又は横に並べる構成の方が好ましい。
【００４３】
図４に示したように、情報処理装置１のユーザーは、選択候補画像の中から所望の画像を選択済み画像として選択する。情報処理装置１は、ユーザーにより選択された選択済み画像を画像選択順に基づいて所定の表示枠に表示する。このように情報処理装置１に選択済み画像を画像選択順に基づいて所定の表示枠に表示させる時、ユーザーは、画像選択順に基づいて表示させた複数の選択済み画像に描かれた絵柄の組み合わせによって所望の意味を表すことができる。この組み合わせ方は、所望の意味を表すために必要な文型によって決まる。
【００４４】
例えば、主語、動詞、目的語、補語で構成される所望の意味を表したい場合、ユーザーは、それぞれ（主語、動詞、目的語、補語）に対応する選択候補画像を選択済み画像として選択し、選択された選択済み画像を所定の表示枠に選択順に基づいて表示させることで、主語、動詞、目的語、補語で構成される所望の意味を表すことができる。例えば、図４に示した例の場合、表示枠Ｃ１〜表示枠Ｃ４に表示された４枚の選択済み画像に描かれた絵柄によって、「私は、ケーキを発見して喜んだ」という意味を表している。
【００４５】
そして、ユーザーが所定の表示枠に表示された選択済み画像に描かれた絵柄を、ユーザーが意思疎通をしたい相手（以下、情報伝達相手と称する）に見せた場合、情報伝達相手は、情報処理装置１に表示された選択済み画像であって所定の表示枠に表示された選択済み画像に描かれた絵柄を、画像選択順（すなわち、所定の表示枠の順）に読み解くことで、ユーザーの意図を理解することができる。ユーザーの意図とは、例えば、表示枠Ｃ１〜表示枠Ｃ４に表示された４枚の選択済み画像に描かれた絵柄の場合、前述したように「私は、ケーキを発見して喜んだ」ということを情報伝達相手に伝達したいということである。これにより、ユーザーは、情報伝達相手が絵柄に基づいてユーザーの意図を読み解いてくれるため、例えば、情報伝達相手がユーザーの母国語を理解できない場合であっても、情報伝達相手との意思疎通を行うことができる。
【００４６】
また、ユーザーは、このようにして複数の選択済み画像に描かれた絵柄の組み合わせによって表されたユーザーの意図を他者に伝達することができるため、情報伝達相手にユーザーの意図を伝達するだけではなく、他の情報処理装置１のユーザーと絵柄の組み合わせを介した会話（双方向の意思伝達）を行うことができる。図５は、情報処理装置１のユーザー同士が複数の選択済み画像に描かれた絵柄の組み合わせによって会話を行う様子の一例を示す図である。
【００４７】
情報処理装置１−１のユーザーＵ１は、情報処理装置１−１の表示部１４−１に複数の選択済み画像に描かれた絵柄の組み合わせを所定の表示枠に表示させ、ユーザーＵ２に見せることで、ユーザーＵ１がユーザーＵ２に伝えたい所望の意味をユーザーＵ２に対して伝えることができる。一方、情報処理装置１−２のユーザーＵ２は、情報処理装置１−２の表示部１４−２に複数の選択済み画像に描かれた絵柄の組み合わせを所定の表示枠に表示させ、ユーザーＵ１に見せることで、ユーザーＵ２がユーザーＵ１に伝えたい所望の意味をユーザーＵ１に対して伝えることができる。
【００４８】
また、ユーザーＵ１及びユーザーＵ２は、絵柄の組み合わせから互いの伝達したい意図を読み解くため、選択済み画像の画像選択順が母国語の文型と異なっていた場合であっても、文字を介した会話に比べて、容易に伝達したい意図を絵柄から類推することができる。それ故、情報処理装置１は、ユーザーＵ１とユーザーＵ２の絵柄の組み合わせを介した会話における互いの意図の誤認識を抑制することができる。
【００４９】
さらに、ユーザーＵ１とユーザーＵ２の母国語が異なり、互いに相手の母国語を理解できない場合であっても、ユーザーＵ１及びユーザーＵ２は、絵柄の組み合わせから互いの伝達したい意図を読み解くため、容易に伝達したい意図を類推することができる。例えば、ユーザーＵ１及びユーザーＵ２は、自身の母国語（日本語、英語、スペイン語、中国語等、任意の国）の文型に応じて、選択済み画像の選択順を決める。
【００５０】
従って、行動カテゴリの選択候補画像を選択済み画像として選択する画像選択順が、ユーザーＵ１とユーザーＵ２とでは異なる場合がある。情報処理装置１は、このような場合であっても、ユーザーＵ１及びユーザーＵ２に対して、絵柄の組み合わせによって伝達意図を類推させるため、ユーザーＵ１とユーザーＵ２の間の意思疎通の程度を向上することができる。
【００５１】
なお、選択候補画像に描かれた絵は、例えば、漫画で用いられる描画法を用いて描かれた絵（一例として、図２〜図４に示した選択候補画像の絵）である。漫画として用いられる描画法によって描かれた絵は、その絵を見る人に想起させたい所望の意味Ｘを想起させたい場合に、どのように描かれるべきかという方法論が一般に広く知られている。このため、漫画で用いられる描画法によって選択候補画像が描かれている場合、漫画で用いられる描画法によって選択候補画像が描かれていない場合と比較して、情報処理装置１は、ユーザー間で行われる意思疎通において意味の誤認識を抑制することができ、その結果、ユーザー間の意思疎通がより円滑に行われるように支援することができる。
【００５２】
また、選択候補画像が予め複数のカテゴリに分類されているため、情報処理装置１のユーザーは、選択候補画像が予め複数のカテゴリに分類されていない場合と比べて、ユーザーの母国語の文型に応じた画像選択順に、ユーザーが表したい意味が描かれた選択候補画像を容易に選択することができる。これにより、情報処理装置１は、ユーザーが伝達したい意味を表す絵柄の組み合わせをユーザーの操作を受け付けることで表示することができ、ユーザーに快適な意思疎通を行わせることができる。また、情報処理装置１は、ユーザーの意図しない意味の選択候補画像をユーザーが選択してしまうことを抑制することができる。
【００５３】
撮像部１０は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等を備えたカメラである。撮像部１０は、ユーザーから受け付けられた操作に基づいて、撮像部１０が備えるレンズによって集光可能な範囲を含む撮像画像を撮像する。そして、撮像部１０は、撮像された撮像画像を制御部１６に出力する。
【００５４】
記憶部１２は、例えば、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）、ＥＥＰＲＯＭ（Electrically  Erasable  Programmable  Read−Only  Memory）、ＲＯＭ（Read−Only  Memory）、ＲＡＭ（Random  Access  Memory）などを含み、制御部１６が処理する各種情報や画像、プログラムを格納し、更に、選択候補画像情報１２１を格納する。なお、記憶部１２は、情報処理装置１に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置でもよい。
【００５５】
入力受付部１３は、例えば、表示部と一体に形成されたタッチパネルであるが、これに代えて、キーボードやマウス、タッチパッド、その他の入力装置であってもよい。
表示部１４は、例えば、液晶ディスプレイパネル、あるいは、有機ＥＬ（ElectroLuminescence）ディスプレイパネルであり、入力受付部１３と一体に形成されたタッチパネルである。なお、表示部１４は、入力受付部１３と別体として情報処理装置１に備えられる構成であってもよい。
通信部１５は、例えば、ＵＳＢ等のデジタル入出力ポートやイーサネット（登録商標）ポート、赤外線通信ポート、ブルートゥース（登録商標）ポート等を含んで構成され、他の情報処理装置１を含む他の装置と通信を行う。
【００５６】
制御部１６は、情報処理装置１の全体を制御する。制御部１６は、撮像制御部２１と、画像取得部２３と、画像加工部２５と、画像選択部２７と、通信制御部２８と、表示制御部２９を備える。これらの制御部１６が備える機能部のうち一部又は全部は、例えば、図示しないＣＰＵが、記憶部１２に記憶された各種プログラムを実行することで実現される。また、これらの制御部１６が備える機能部のうち一部または全部は、ＬＳＩ（Large  Scale  Integration）やＡＳＩＣ（Application  Specific  Integrated  Circuit）等のハードウェア機能部であってもよい。
【００５７】
撮像制御部２１は、入力受付部１３によりユーザーから受け付けられた操作に基づいて、撮像部１０が撮像画像を撮像するように制御する。
画像取得部２３は、撮像部１０により撮像された撮像画像を取得する。また、画像取得部２３は、他の装置から送信された画像であって通信部１５を介して取得された画像を取得する。また、画像取得部２３は、表示制御部２９からの要求に応じて、記憶部１２から選択候補画像情報１２１のうち一部又は全部を読み込む（取得する）。
【００５８】
画像加工部２５は、入力受付部１３によりユーザーから受け付けられた操作に基づいて、ユーザーにより選択された選択済み画像に描かれた絵柄の加工を行う。ここで、この加工には、画像に描かれた絵柄への文字列、図形、画像等の追記や削除が含まれる。また、この加工には、画像に描かれた絵柄に対する色の変更やクリッピングが含まれる。また、この加工には、画像同士の合成等の画像編集ソフトウェア等によって可能な任意の加工処理が含まれる。画像加工部２５は、ユーザーにより加工が行われた選択済み画像を、新たな１枚の選択済み画像として生成し直す。なお、画像加工部２５は、この新たな１枚を、選択候補画像を示す画像情報を、記憶部１２に記憶された選択候補画像情報１２１に追加する構成であってもよい。
【００５９】
画像選択部２７は、入力受付部１３によりユーザーから受け付けられた操作に基づいて、表示制御部２９により表示部１４に表示された選択候補画像情報１２１から選択済み画像を示す画像情報を選択する。この時、画像選択部２７は、選択済み画像が選択された画像選択順を、選択済み画像を示す画像情報に対して付加する。
【００６０】
通信制御部２８は、通信部１５を介して、他の装置から画像を取得し、取得された画像を示す画像情報を、選択候補画像を示す画像情報として記憶部１２の選択候補画像情報１２１に追加する。また、通信制御部２８は、ユーザーにより入力受付部１３から受け付けた操作に基づいて、通信部１５を介して、表示制御部２９により表示された選択済み画像であって所定の表示枠に表示された選択済み画像を示す画像情報を、選択済み画像の画像選択順を示す順序情報とともに他の情報処理装置１に送信する。また、通信制御部２８は、通信部１５を介して、他の情報処理装置１から画像情報及び順序情報を取得する。
【００６１】
表示制御部２９は、予め分類された選択候補画像のカテゴリをユーザーに選択させるためのカテゴリ選択画面を表示部１４に表示させる。表示制御部２９は、入力受付部１３によりユーザーから受け付けられた操作に基づいて、カテゴリ選択画面においてユーザーにより選択されたカテゴリ（例えば、画像Ｓ１〜画像Ｓ７のうちの選択されたいずれか１つが表すカテゴリ）に分類された選択候補画像を示す画像情報を記憶部１２に記憶された選択候補画像情報１２１から抽出して読み込む。そして、表示制御部２９は、読み込まれた画像情報に基づいて、ユーザーにより選択されたカテゴリに分類された選択候補画像を表示部１４に表示させる。
【００６２】
また、表示制御部２９は、入力受付部１３によりユーザーから受け付けられた操作に基づいて、選択済み画像の画像選択順を示す数字（選択済み画像を示す画像情報に含まれる順序情報が示す数字）が対応付けられた表示枠を表示部１４に表示させる。また、表示制御部２９は、画像選択順を示す数字が対応付けられた表示枠に、その数字と一致する画像選択順が対応付けられた選択済み画像を表示するように表示部１４を制御する。また、表示制御部２９は、通信制御部２８により取得された画像情報及び順序情報に基づいて、所定の表示枠に取得された画像情報に含まれる選択済み画像を表示するように表示部１４を制御する。
【００６３】
以下、図６を参照して、制御部１６により選択済み画像を所定の表示枠に表示させる処理について説明する。図６は、制御部１６により選択済み画像を所定の表示枠に表示させる処理の一例を示すフローチャートである。まず、制御部１６は、入力受付部１３によりユーザーから受け付けられた操作に基づいて、選択済み画像を表示させる所定の表示枠の数（以下、表示枠数と称する）を選択する（ステップＳ１００）。
【００６４】
次に、制御部１６の各機能部は、ステップＳ１２０からステップＳ１５０までの処理を、ステップＳ１００で選択された表示枠数回だけ繰り返し行う（ステップＳ１１０）。表示制御部２９は、カテゴリ選択画面を表示部１４に表示させる（ステップＳ１２０）。ここで、図７を参照して、カテゴリ選択画面について説明する。図７は、カテゴリ選択画面の一例と、カテゴリ選択画面によって選択されたカテゴリに予め分類された選択候補画像が表示された画面の一例を示す図である。
【００６５】
図７（Ａ）には、カテゴリ選択画面の一例を示す。図７（Ａ）に示したように、カテゴリ選択画面には、図２及び図３に示したカテゴリを示す画像Ｓ１〜画像Ｓ７が表示される。なお、画像Ｓ１〜画像Ｓ７の並び順は、図７（Ａ）に示した例に代えて、他の並び順であってもよい。図７（Ａ）において、ユーザーは、指示体Ｆ２によって画像Ｓ７が表すカテゴリ（単位カテゴリ）を選択したとする。指示体Ｆ２とは、例えば、指であるが、これに代えて、スタイラスペン等であってもよい。以下では、ユーザーによるカテゴリを選択する操作を、カテゴリ選択操作と称して説明する。
【００６６】
図７（Ａ）において、ユーザーが画像Ｓ７（すなわち、単位カテゴリ）を選択すると、表示制御部２９は、図７（Ｂ）に示したように、選択されたカテゴリ（図７（Ｂ）に示した一例では、単位カテゴリ）に分類された選択候補画像を表示する。図７（Ｂ）には、カテゴリ選択画面によって選択されたカテゴリの選択候補画像が表示された画面の一例を示す。ユーザーは、図７（Ｂ）に示したような選択候補画像が表示された画面から、所望の選択候補画像を選択済み画像として選択することができる。以下では、ユーザーによる選択候補画像から所望の画像を選択済み画像として選択する操作を、選択候補選択操作と称して説明する。
【００６７】
次に、表示制御部２９は、ユーザーによるカテゴリ選択操作を入力受付部１３から受け付ける（ステップＳ１３０）。次に、ステップＳ１３０でカテゴリが選択されると、表示制御部２９は、図７で説明したように、選択されたカテゴリに分類された選択候補画像を表示部１４に表示させる（ステップＳ１４０）。次に、表示制御部２９は、ユーザーによる選択候補選択操作を入力受付部１３から受け付け、選択候補画像から選択された画像を選択済み画像とする（ステップＳ１５０）。この時、表示制御部２９は、画像選択順（ステップＳ１２０からステップＳ１５０までの繰り返し処理における現在のルーチン回数）を示す数字を順序情報として、ステップＳ１５０で選択された選択済み画像を示す画像情報に付加する。
【００６８】
ステップＳ１００で選択された表示枠数回だけステップＳ１２０からステップＳ１５０の処理を繰り返した後、表示制御部２９は、画像選択順を示す数字が対応付けられた表示枠を表示部１４に表示させる。そして、表示制御部２９は、表示部１４に表示された所定の表示枠に対応付けられた画像選択順を示す数字と、選択済み画像に対応付けられた画像選択順とが一致するように、所定の表示枠に対して選択済み画像を表示させる（ステップＳ１６０）。
【００６９】
次に、表示制御部２９は、ユーザーに対して所定の表示枠を追加するか否かを問うメッセージを表示部１４に表示させ、所定の表示枠を追加するか否かをユーザーに選択させる（ステップＳ１７０）。ユーザーにより所定の表示枠を追加することが選択された場合（ステップＳ１７０−Ｙｅｓ）、表示制御部２９は、ステップＳ１１０に戻り、追加された所定の表示枠の分についてステップＳ１２０からステップＳ１５０の操作を行う。一方、ユーザーにより所定の表示枠を追加しないことが選択された場合（ステップＳ１７０−Ｎｏ）、表示制御部２９は、表示部１４に表示されている選択済み画像のうち一部又は全部を加工するか否かを問うメッセージを表示部１４に表示させ、表示部１４に表示されている選択済み画像のうち一部又は全部を加工するか否かをユーザーに選択させる（ステップＳ１８０）。
【００７０】
表示部１４に表示されている選択済み画像のうち一部又は全部を加工することが選択された場合（ステップＳ１８０−Ｙｅｓ）、画像加工部２５は、ユーザーにより入力受付部１３から受け付けられた操作に基づいて、ユーザーが加工したい所望の選択済み画像をユーザーに選択させ、選択された選択済み画像に各種の加工を施す（ステップＳ１９０）。そして、ステップＳ１９０で選択された選択済み画像に各種の加工を施した後、表示制御部２９は、ユーザーにより入力受付部１３から受け付けられた操作に基づいて、表示部１４に表示されている所定の表示枠（すなわち、選択済み画像）の一部又は全部の表示枠順を変更するか否かを問うメッセージを表示部１４に表示させ、表示部１４に表示されている所定の表示枠の一部又は全部の表示枠順を変更するか否かをユーザーに選択させる（ステップＳ２００）。
【００７１】
一方、表示部１４に表示されている選択済み画像のうち一部又は全部を加工しないことが選択された場合（ステップＳ１８０−Ｎｏ）、表示制御部２９は、ステップＳ２００に遷移し、ユーザーにより入力受付部１３から受け付けられた操作に基づいて、表示部１４に表示されている所定の表示枠の一部又は全部の表示枠順を変更するか否かを問うメッセージを表示部１４に表示させ、表示部１４に表示されている所定の表示枠の一部又は全部の表示枠順を変更するか否かをユーザーに選択させる。
【００７２】
ステップＳ２００で、表示部１４に表示されている所定の表示枠の一部又は全部の表示枠順を変更することが選択された場合（ステップＳ２００−Ｙｅｓ）、表示制御部２９は、ユーザーの所望の表示枠順になるように表示枠順を変更する（ステップＳ２１０）。そして、ステップＳ２１０でユーザーの所望の表示枠順になるように表示枠順を変更した後、通信制御部２８は、表示部１４に表示された選択済み画像であって所定の表示枠に表示された選択済み画像を、通信部１５を介して他の情報処理装置１に送信するか否かを問うメッセージを表示部１４に表示させ、表示部１４に表示された選択済み画像であって所定の表示枠に表示された選択済み画像を、通信部１５を介して他の情報処理装置１に送信するか否かをユーザーに選択させる（ステップＳ２２０）。
【００７３】
一方、表示部１４に表示されている所定の表示枠の一部又は全部の表示枠順を変更しないことが選択された場合（ステップＳ２００−Ｎｏ）、表示制御部２９は、ステップＳ２２０に遷移し、表示部１４に表示された選択済み画像であって所定の表示枠に表示された選択済み画像を、通信部１５を介して他の情報処理装置１に送信するか否かを問うメッセージを表示部１４に表示させ、表示部１４に表示された選択済み画像であって所定の表示枠に表示された選択済み画像を、通信部１５を介して他の情報処理装置１に送信するか否かをユーザーに選択させる。
【００７４】
通信部１５を介して他の情報処理装置１に送信することが選択された場合（ステップＳ２２０−Ｙｅｓ）、通信制御部２８は、所定の表示枠に表示された選択済み画像であって画像選択順が対応付けられた選択済み画像を、通信部１５を介して他の情報処理装置１に送信するように通信部１５を制御し（ステップＳ２３０）、その後、処理を終了する。一方、通信部１５を介して他の情報処理装置１に送信しないことが選択された場合（ステップＳ２２０−Ｎｏ）、制御部１６は、処理を終了する。
【００７５】
なお、情報処理装置１は、通信制御部２８が通信部１５を介して他の装置から選択候補画像を取得し、取得された選択候補画像を示す画像情報を記憶部１２に記憶された選択候補画像情報１２１に追加する構成であってもよい。これにより、例えば、情報処理装置１は、ユーザーが所望のキャラクターの選択候補画像を利用することができる。所望のキャラクターとは、例えば、過去に放送されたアニメーションや過去に出版された漫画、イラスト等のうちユーザーが情報処理装置１の選択候補画像として利用したい任意のキャラクターを示す。また、情報処理装置１は、画像生成部を備え、ユーザーから入力受付部１３により受け付けられた操作に基づいて新たな選択候補画像を生成し、生成された選択候補画像を示す画像情報を記憶部１２に記憶された選択候補画像情報１２１に追加する構成であってもよい。これにより、例えば、情報処理装置１は、ユーザーが所望のオリジナルの選択候補画像を生成し、ユーザーが利用したい時に利用することができる。オリジナルの選択候補画像とは、ユーザーにより画像生成部を介して描画された絵柄を示す選択候補画像のことである。
【００７６】
以上説明したように、本実施形態に係る情報処理装置１は、人称による分類を含んで予め分類されている選択候補画像から、複数の選択候補画像を順に選択済み画像として選択し、選択された複数の選択済み画像を画像選択順に並べて表示させる。これにより、情報処理装置１は、ユーザー間の意思疎通の程度を向上させることができる。
また、情報処理装置１は、選択済み画像が表示される複数の所定の表示枠のうちの、選択済み画像の画像選択順に対応する所定の表示枠に、画像選択順に対応する選択済み画像をそれぞれ表示させる。これにより、情報処理装置１は、表示枠の位置に応じた選択済み画像の組み合わせを表示することができる。
【００７７】
また、情報処理装置１は、表示する選択済み画像の画像選択順を、受け付けられた操作に基づいて変更する。これにより、情報処理装置１は、選択済み画像を選択した後であっても、ユーザーの所望の順序に選択済み画像を表示することができる。
また、情報処理装置１は、選択候補画像が、文型による分類を更に含んで予め分類されている。これにより、情報処理装置１は、文型毎に分類された選択候補画像から、選択済み画像として表示するための画像を選択することができる。
【００７８】
また、情報処理装置１は、受け付けられた操作に基づいて前記選択候補画像を加工する。これにより、情報処理装置１は、予め記憶された選択候補画像に対して付加的な加工を施すことができ、その結果、ユーザーの所望の意味を表す選択候補画像を生成することができ、ユーザーが行える表現の幅を広げることができる。例えば、情報処理装置１は、ユーザーから受け付けた操作に基づいて、選択候補画像に描かれたキャラクターの衣服を所望の衣服に着せ替えることができる。また、情報処理装置１は、ユーザーから受け付けた操作に基づいて、選択候補画像の背景を、例えば、朝、昼、夕、夜に変更することができる。また、情報処理装置１は、ユーザーから受け付けた操作に基づいて、選択候補画像に描かれたキャラクターの顔に、任意の人の顔写真を合成することができる。
また、情報処理装置１は、他装置との通信によって選択候補画像を取得する。これにより、情報処理装置１は、記憶部１２に記憶されていない新たな選択候補画像を、他装置との通信によって取得することができる。
【００７９】
また、情報処理装置１は、選択候補画像が漫画である。これにより、情報処理装置１は、選択済み画像により表された意味をユーザーが誤認識してしまうことを抑制することができる。
また、情報処理装置１は、人称による分類を含んで予め分類されている選択候補画像から、複数の選択候補画像を順に選択済み画像として選択し、画像選択部２７によって選択された複数の選択済み画像を前記の順に並べて表示させる他の情報処理装置から送信される複数の選択済み画像を示す画像情報と前記の順を示す順序情報とを受信し、受信された画像情報が示す複数の選択済み画像を、受信された順序情報が示す順に表示させる。これにより、情報処理装置１は、情報処理装置１のユーザー同士に、選択済み画像の組み合わせを通信によって効果させることができ、その結果、交換された選択済み画像の組み合わせに基づくコミュニケーションを行わせることができる。
【００８０】
また、情報処理装置１は、選択候補画像が、単位による分類を更に含んで予め分類されている。これにより、情報処理装置１は、単位による分類に分類された選択候補画像に基づいて、単位を伴う内容に係るコミュニケーションを、ユーザーに対して選択候補画像に基づいて行わせることができる。
また、情報処理装置１は、選択候補画像が、時制による分類を更に含んで予め分類されている。これにより、情報処理装置１は、時制による分類に分類された選択候補画像に基づいて、時制を伴う内容に係るコミュニケーションを、ユーザーに対して選択候補画像に基づいて行わせることができる。
【００８１】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。
【００８２】
また、以上に説明した装置（例えば、情報処理装置１）における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）のように、一定時間プログラムを保持しているものも含むものとする。
【００８３】
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００８４】
１  情報処理装置、１０  撮像部、１２  記憶部、１３  入力受付部、１４  表示部、１５  通信部、１６  制御部、２１  撮像制御部、２３  画像取得部、２５  画像加工部、２７  画像選択部、２８  通信制御部、２９  表示制御部、１２１  選択候補画像
【図１】
2016004494.tif 000003
【図５】
2016004494.tif 000004
【図６】
2016004494.tif 000005
【図２】
2016004494.tif 000006
【図３】
2016004494.tif 000007
【図４】
2016004494.tif 000008
【図７】
2016004494.tif 000009