(57)【要約】【課題】画像から言語を抽出し、抽出した言語を用いて画像を編集する画像処理システムを提供すること。【解決手段】  画像から言語を抽出し、抽出した前記言語を用いて前記画像を編集する画像処理システムであって、前記画像および前記言語を記憶する記憶手段と、前記記憶手段が記憶している前記画像および前記言語に基づいて、所望の画像を処理する制御手段とを有し、前記制御手段は、前記所望の画像から複数の言語を抽出する言語抽出部と、前記言語抽出部が抽出した複数の言語から前記所望の画像に対応する特定言語を選択する言語選択部と、選択した前記特定言語に基づいて前記所望の画像を編集する画像編集部と、を含む、ことを特徴とする。【選択図】図１
2016024744.tif 000002
【特許請求の範囲】
【請求項１】
画像から言語を抽出し、抽出した前記言語を用いて前記画像を編集する画像処理システムであって、
前記画像および前記言語を記憶する記憶手段と、
前記記憶手段が記憶している前記画像および前記言語に基づいて、所望の画像を処理する制御手段と
を有し、
前記制御手段は、前記所望の画像から複数の言語を抽出する言語抽出部と、前記言語抽出部が抽出した複数の言語から前記所望の画像に対応する特定言語を選択する言語選択部と、選択した前記特定言語に基づいて前記所望の画像を編集する画像編集部と、を含む、
ことを特徴とする画像処理システム。
【請求項２】
前記言語選択部は、前記特定言語として、複数の言語を選択し、
前記画像編集部は、前記言語選択部が選択した前記特定言語の一覧を、前記所望の画像上に表示する、
ことを特徴とする、請求項１に記載の画像処理システム。
【請求項３】
前記言語抽出部は、前記所望の画像を複数の画像に分割し、分割した画像をバイナリデータに夫々変換し、変換した前記バイナリデータを前記記憶手段が記憶している言語に対応付けて、前記所望の画像から複数の言語を抽出し、
前記言語選択部は、前記言語抽出部が抽出した複数の言語に基づいて、抽出頻度の高い前記特定言語を選択し、
前記画像編集部は、前記抽出頻度の高い前記特定言語を前記所望の画像上に拡大して表示し、前記抽出頻度の低い前記特定言語を前記所望の画像上に縮小して表示する、
ことを特徴とする、請求項２に記載の画像処理システム。
【請求項４】
前記制御手段は、前記記憶手段が記憶するベータベースを作成するデータ作成部を更に含み、
前記データ作成部は、任意の画像を局所的に分割し、分割した複数の画像について局所特徴量を夫々算出し、算出した前記局所特徴量を用いて分割した複数の画像を部分集合に分類し、分類した前記部分集合の特徴を示す照合用バイナリデータを作成し、
前記言語抽出部は、前記データ作成部が作成した前記照合用バイナリデータと変換した前記バイナリデータとを照合して、前記所望の画像から複数の言語を抽出する、
ことを特徴とする、請求項３に記載の画像処理システム。
【請求項５】
請求項１乃至請求項４のいずれか一項に記載の画像処理システムと、前記画像処理システムと有線及び／又は無線で接続された情報端末とを含む学習を支援する学習支援システムであって、
前記情報端末は、情報を入力する入力手段と情報を表示する表示手段とを備え、前記入力手段を用いて入力された入力情報を前記画像処理システムに出力し、前記画像処理システムから出力情報を入力されたときに前記表示手段で前記出力情報を表示し、
前記制御手段は、前記情報端末から入力された前記入力情報に基づいて前記所望の画像を編集し、編集した前記所望の画像を前記出力情報として前記情報端末に出力する、
ことを特徴とする学習支援システム。
【請求項６】
前記情報端末は、タブレット、スマートフォン、携帯端末、ノートＰＣ、メガネ型端末、腕時計型端末、コンタクトレンズ型端末又は画像投影型端末である、ことを特徴とする、請求項５に記載の学習支援システム。
【請求項７】
画像から言語を抽出し、抽出した前記言語を用いて前記画像を編集する画像処理方法であって、
記憶手段を用いて、前記画像および前記言語を記憶する記憶ステップと、
制御手段を用いて、前記記憶手段が記憶している前記画像および前記言語に基づいて、所望の画像を処理する制御ステップと
を含み、
前記制御ステップは、前記所望の画像から複数の言語を抽出する言語抽出ステップと、前記言語抽出ステップで抽出した複数の言語から前記所望の画像に対応する特定言語を選択する言語選択ステップと、前記言語選択ステップで選択した前記特定言語に基づいて前記所望の画像を編集する画像編集ステップとを含む、
ことを特徴とする画像処理方法。
【請求項８】
前記言語選択ステップは、前記特定言語として、複数の言語を選択し、
前記画像編集ステップは、前記言語選択ステップで選択した前記特定言語の一覧を、前記所望の画像上に表示する、
ことを特徴とする、請求項７に記載の画像処理方法。
【請求項９】
前記言語抽出ステップは、前記所望の画像を複数の画像に分割し、分割した画像をバイナリデータに夫々変換し、変換した前記バイナリデータを前記記憶手段が記憶している言語に対応付けて、前記所望の画像から複数の言語を抽出し、
前記言語選択ステップは、前記言語抽出ステップで抽出した複数の言語に基づいて、抽出頻度の高い前記特定言語を選択し、
前記画像編集ステップは、前記抽出頻度の高い前記特定言語を前記所望の画像上に拡大して表示し、前記抽出頻度の低い前記特定言語を前記所望の画像上に縮小して表示する、
ことを特徴とする、請求項８に記載の画像処理方法。
【請求項１０】
前記制御ステップは、前記記憶手段が記憶するベータベースを作成するデータ作成ステップを更に含み、
前記データ作成ステップは、任意の画像を局所的に分割し、分割した複数の画像について局所特徴量を夫々算出し、算出した前記局所特徴量を用いて分割した複数の画像を部分集合に分類し、分類した前記部分集合の特徴を示す照合用バイナリデータを作成し、
前記言語抽出ステップは、前記データ作成ステップで作成した前記照合用バイナリデータと変換した前記バイナリデータとを照合して、前記所望の画像から複数の言語を抽出する、
ことを特徴とする、請求項９に記載の画像処理方法。
【請求項１１】
請求項７乃至請求項１０のいずれか一項に記載の画像処理方法を含み、前記制御手段と有線及び／又は無線で接続された情報端末を用いて学習を支援する学習支援方法であって、
前記情報端末は、情報を入力する入力手段と情報を表示する表示手段とを備え、
前記入力手段を用いて入力された入力情報を前記制御手段に入力する入力ステップと、
前記制御手段を用いて、前記情報端末から入力された前記入力情報に基づいて前記所望の画像を編集し、編集した前記所望の画像を出力情報として前記情報端末に出力する出力ステップと、
前記制御手段から前記出力情報を入力されたときに、前記表示手段で前記出力情報を表示する表示ステップと
を含むことを特徴とする学習支援方法。
【請求項１２】
請求項７乃至請求項１０のいずれか一項に記載の画像処理方法又は請求項１１に記載の学習支援方法をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から言語を抽出し、抽出した言語を用いて画像を編集する画像処理システム及び画像処理方法に関する。また、本発明は、画像処理システム又は画像処理方法を用いた学習支援システム又は学習支援方法に関するものであってもよい。
【背景技術】
【０００２】
特許文献１では、画像内の文字に係る言語を判定する情報処理装置に関する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１６４７２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている技術では、画像内に文字がない場合に、言語を判定することができない場合がある。また、特許文献１には、画像に観念的に関連する言語を判定することができない場合がある。更に、特許文献１には、画像から抽出（判定）した言語を用いて画像を編集する技術が記載されていない。
【０００５】
本発明は、画像から言語を抽出し、抽出した言語を用いて画像を編集する画像処理システム若しくは画像処理方法、又は、その画像処理システムを用いた学習支援システム若しくは学習支援方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の一つの実施形態は、画像から言語を抽出し、抽出した前記言語を用いて前記画像を編集する画像処理システムであって、前記画像および前記言語を記憶する記憶手段と、前記記憶手段が記憶している前記画像および前記言語に基づいて、所望の画像を処理する制御手段とを有し、前記制御手段は、前記所望の画像から複数の言語を抽出する言語抽出部と、前記言語抽出部が抽出した複数の言語から前記所望の画像に対応する特定言語を選択する言語選択部と、選択した前記特定言語に基づいて前記所望の画像を編集する画像編集部と、を含む、ことを特徴とする画像処理システムを提供する。また、前記言語選択部は、前記特定言語として、複数の言語を選択し、前記画像編集部は、前記言語選択部が選択した前記特定言語の一覧を、前記所望の画像上に表示する、ことを特徴とする画像処理システムであってもよい。また、前記言語抽出部は、前記所望の画像を複数の画像に分割し、分割した画像をバイナリデータに夫々変換し、変換した前記バイナリデータを前記記憶手段が記憶している言語に対応付けて、前記所望の画像から複数の言語を抽出し、前記言語選択部は、前記言語抽出部が抽出した複数の言語に基づいて、抽出頻度の高い前記特定言語を選択し、前記画像編集部は、前記抽出頻度の高い前記特定言語を前記所望の画像上に拡大して表示し、前記抽出頻度の低い前記特定言語を前記所望の画像上に縮小して表示する、ことを特徴とする画像処理システムであってもよい。また、前記制御手段は、前記記憶手段が記憶するベータベースを作成するデータ作成部を更に含み、前記データ作成部は、任意の画像を局所的に分割し、分割した複数の画像について局所特徴量を夫々算出し、算出した前記局所特徴量を用いて分割した複数の画像を部分集合に分類し、分類した前記部分集合の特徴を示す照合用バイナリデータを作成し、前記言語抽出部は、前記データ作成部が作成した前記照合用バイナリデータと変換した前記バイナリデータとを照合して、前記所望の画像から複数の言語を抽出する、ことを特徴とする画像処理システムであってもよい。
【０００７】
本発明の他の実施形態は、上記のいずれか一つの画像処理システムと、前記画像処理システムと有線及び／又は無線で接続された情報端末とを含む学習を支援する学習支援システムであって、前記情報端末は、情報を入力する入力手段と情報を表示する表示手段とを備え、前記入力手段を用いて入力された入力情報を前記画像処理システムに出力し、前記画像処理システムから出力情報を入力されたときに前記表示手段で前記出力情報を表示し、前記制御手段は、前記情報端末から入力された前記入力情報に基づいて前記所望の画像を編集し、編集した前記所望の画像を前記出力情報として前記情報端末に出力する、ことを特徴とする学習支援システムを提供する。また、前記情報端末は、タブレット、スマートフォン、携帯端末、ノートＰＣ、メガネ型端末、腕時計型端末、コンタクトレンズ型端末又は画像投影型端末である、ことを特徴とする学習支援システムであってもよい。
【０００８】
本発明の他の実施形態は、画像から言語を抽出し、抽出した前記言語を用いて前記画像を編集する画像処理方法であって、記憶手段を用いて、前記画像および前記言語を記憶する記憶ステップと、制御手段を用いて、前記記憶手段が記憶している前記画像および前記言語に基づいて、所望の画像を処理する制御ステップとを含み、前記制御ステップは、前記所望の画像から複数の言語を抽出する言語抽出ステップと、前記言語抽出ステップで抽出した複数の言語から前記所望の画像に対応する特定言語を選択する言語選択ステップと、前記言語選択ステップで選択した前記特定言語に基づいて前記所望の画像を編集する画像編集ステップとを含む、ことを特徴とする画像処理方法を提供する。また、前記言語選択ステップは、前記特定言語として、複数の言語を選択し、前記画像編集ステップは、前記言語選択ステップで選択した前記特定言語の一覧を、前記所望の画像上に表示する、ことを特徴とする画像処理方法であってもよい。また、前記言語抽出ステップは、前記所望の画像を複数の画像に分割し、分割した画像をバイナリデータに夫々変換し、変換した前記バイナリデータを前記記憶手段が記憶している言語に対応付けて、前記所望の画像から複数の言語を抽出し、前記言語選択ステップは、前記言語抽出ステップで抽出した複数の言語に基づいて、抽出頻度の高い前記特定言語を選択し、前記画像編集ステップは、前記抽出頻度の高い前記特定言語を前記所望の画像上に拡大して表示し、前記抽出頻度の低い前記特定言語を前記所望の画像上に縮小して表示する、ことを特徴とする画像処理方法であってもよい。また、前記制御ステップは、前記記憶手段が記憶するベータベースを作成するデータ作成ステップを更に含み、前記データ作成ステップは、任意の画像を局所的に分割し、分割した複数の画像について局所特徴量を夫々算出し、算出した前記局所特徴量を用いて分割した複数の画像を部分集合に分類し、分類した前記部分集合の特徴を示す照合用バイナリデータを作成し、前記言語抽出ステップは、前記データ作成ステップで作成した前記照合用バイナリデータと変換した前記バイナリデータとを照合して、前記所望の画像から複数の言語を抽出する、ことを特徴とする画像処理方法であってもよい。
【０００９】
また、本発明の他の実施形態は、上記のいずれか一つの画像処理方法を含み、前記制御手段と有線及び／又は無線で接続された情報端末を用いて学習を支援する学習支援方法であって、前記情報端末は、情報を入力する入力手段と情報を表示する表示手段とを備え、前記入力手段を用いて入力された入力情報を前記制御手段に入力する入力ステップと、前記制御手段を用いて、前記情報端末から入力された前記入力情報に基づいて前記所望の画像を編集し、編集した前記所望の画像を出力情報として前記情報端末に出力する出力ステップと、前記制御手段から前記出力情報を入力されたときに、前記表示手段で前記出力情報を表示する表示ステップとを含むことを特徴とする学習支援方法を提供する。
【００１０】
また、本発明の他の実施形態は、上記の画像処理方法又は上記の学習支援方法のいずれか一つをコンピュータに実行させるためのプログラムであってもよい。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。
【発明の効果】
【００１１】
本発明に係る画像処理システム又は画像処理方法によれば、画像から言語を抽出し、抽出した言語を用いて画像を編集することができる。また、本発明に係る学習支援システム又は学習支援方法によれば、画像を編集する画像処理システムを用いて、学習を支援することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る画像処理システムの一例を示す概略構成図である。
【図２】本発明の実施形態に係る画像処理システムの記憶手段が記憶するデータベースの一例を説明する説明図である。
【図３】本発明の実施形態に係る画像処理システムの言語抽出部（制御手段）が用いるバイナリデータの一例を説明する説明図である。
【図４】本発明の実施形態に係る画像処理システムの言語抽出部（制御手段）の抽出結果の一例を説明する説明図である。
【図５】本発明の実施形態に係る画像処理システムのデータ作成部（制御手段）の分割した複数の画像を部分集合に分類した一例を説明する説明図である。
【図６】本発明の実施形態に係る画像処理システムのデータ作成部（制御手段）が分類した部分集合の特徴の一例を説明する説明図である。
【図７】本発明の実施形態に係る画像処理システムの動作の一例を説明するフローチャート図である。
【図８】本発明の実施例１に係る学習支援システムの一例を示す概略構成図である。
【図９】本発明の実施例１に係る学習支援システムの一例を示す概略システム図である。
【図１０】本発明の実施例１に係る学習支援システムの動作の一例を説明するフローチャート図である。
【図１１】本発明の実施例１に係る学習支援システムの情報端末から入力された入力情報（画像データ）の一例を説明する説明図である。
【図１２】本発明の実施例１に係る学習支援システムの制御手段が出力する出力情報（照合データ）の一例を説明する説明図である。
【図１３】本発明の実施例１に係る学習支援システムの情報端末（表示手段）が表示する表示情報（照合結果）の一例を説明する説明図である。
【図１４】本発明の実施例１に係る学習支援システムの動作の他の例を説明するフローチャート図である。
【図１５】本発明の実施例１に係る学習支援システムの情報端末（表示手段）が表示する表示情報の他の例を説明する説明図である。
【発明を実施するための形態】
【００１３】
画像から言語を抽出し、抽出した言語を用いて画像を編集する実施形態に係る画像処理システムの例を用いて、本発明を説明する。なお、本発明は、以後に説明する画像処理システム以外でも、データ（画像データ、静止画データ、動画データなど）に基づいて選定（抽出、検出、選択など）した言語を用いて、データを変更（編集、改修、画像処理など）するもの（装置、機械、部品、システム、アプリケーションなど）であれば、いずれのものにも用いることができる。また、本発明は、例えば双方向にデータ通信することができる情報端末（携帯電話、スマートフォン、タブレット、パソコンなど）で取得したデータを利用して、画像処理又は学習支援するシステムに利用してもよい。
【００１４】
下記に示す順序で、本発明を説明する。
１．画像処理システムの構成
２．画像処理システムの動作
３．画像処理システムのプログラム、記録媒体
４．実施例
（１．画像処理システムの構成）
【００１５】
図１乃至図６を用いて、本発明の実施形態に係る画像処理システム１００の構成を説明する。ここで、図１は、本発明に係る画像処理システムの一例を示す概略構成図である。図２は、本実施形態に係る画像処理システム１００の記憶手段１１が記憶するデータベースの一例を説明する説明図である。図３は、本実施形態に係る画像処理システム１００の言語抽出部１２ａ（制御手段１２）が用いるバイナリデータの一例を説明する説明図である。図４は、本実施形態に係る画像処理システム１００の言語抽出部１２ａ（制御手段１２）の抽出結果の一例を説明する説明図である。図５は、本実施形態に係る画像処理システム１００のデータ作成部１２ｄ（制御手段１２）の分割した複数の画像を部分集合に分類した一例を説明する説明図である。図６は、本実施形態に係る画像処理システム１００のデータ作成部１２ｄ（制御手段１２）が分類した部分集合の特徴の一例を説明する説明図である。なお、図１に示す画像処理システムの構成および図２乃至図６の例は一例であり、本発明は図１に示す画像処理システム等に限定されるものではない。
【００１６】
図１に示すように、画像処理システム１００は、画像および言語に関する情報を記憶する記憶手段１１と、画像処理システム１００の全体の動作を制御する制御手段１２と、を有する。本発明に係る画像処理システム１００は、記憶手段１１を用いて画像および言語に関する情報を記憶し、制御手段１２を用いて画像から言語を抽出し、抽出した言語を用いて画像を編集するシステムである。
【００１７】
以下に、各構成を具体的に説明する。
【００１８】
記憶手段１１は、画像処理システム１００が画像を編集するために必要な情報を記憶する手段である。記憶手段１１は、電子情報をデータベースとして記憶する公知の技術（ハードディスク、メモリ、ＵＳＢメモリなど）を用いることができる。なお、記憶手段１１は、画像を編集するために必要な情報以外の情報も記憶する構成であってもよい。
【００１９】
図２に示すように、記憶手段１１は、本実施形態では、画像および言語に関する情報を記憶する。記憶手段１１は、例えば図２（ａ）に示すように、画像の種類に対応するカテゴリＩＤを記憶する。また、記憶手段１１は、例えば図２（ｂ）に示すように、画像の内容に対応するタグＩＤ及びカテゴリＩＤ並びに照合用バイナリデータを記憶する。更に、記憶手段１１は、制御手段１２の制御結果（後述する言語抽出部１２ａの抽出結果、言語選択部１２ｂの選択結果、画像編集部１２ｃの編集結果及びデータ生成部１２ｄの生成結果）を記憶する。
【００２０】
ここで、照合用バイナリデータとは、画像の特徴を示すデータであり、言語を抽出する画像に関するバイナリデータ（例えば後述する図３）と照合するデータである。画像および言語に関する情報及び制御結果とは、文字データ、画像データ、静止画データ、動画データ、又は、その他電子的に送受信可能な情報である。
【００２１】
制御手段１２は、画像処理システム１００の各構成に動作を指示し、画像処理システム１００の動作を制御する手段である。制御手段１２は、例えばＣＰＵ及びメモリで構成される演算装置を用いることができる。また、制御手段１２は、画像処理システム１００に予め搭載されている演算装置、コントローラ又はその他制御手段を利用する構成であってもよい。
【００２２】
制御手段１２は、本実施形態では、画像処理システム１００外部から入力される情報（以下、入力情報という。）を入力する動作と、画像処理システム１００外部に出力される情報（以下、出力情報という。）を出力する動作と、を制御する。なお、制御手段１２は、入力情報及び出力情報として、文字データ、画像データ、静止画データ、動画データ、音声データなどを用いることができる。
【００２３】
制御手段１２は、図１に示すように、画像から言語を抽出する言語抽出部１２ａと、言語抽出部１２ａが抽出した複数の言語から所望の画像に対応する言語（以下、特定言語という。）を選択する言語選択部１２ｂと、選択した特定言語に基づいて所望の画像を編集する画像編集部１２ｃと、を含む。
【００２４】
言語抽出部１２ａは、所望の画像から複数の言語を抽出するものである。言語抽出部１２ａは、例えばＣＰＵ及びメモリで構成される演算装置を用いることができる。なお、言語抽出部１２ａは、制御手段１２の演算装置を利用する構成であってもよい。
【００２５】
言語抽出部１２ａは、本実施形態では、入力された画像（入力情報）から複数の言語を抽出する。具体的には、言語抽出部１２ａは、先ず、所望の画像を複数の画像に分割し、分割した画像をバイナリデータに夫々変換する。言語抽出部１２ａは、例えば図３に示すように、所望の画像から複数のバイナリデータを取得する。次に、言語抽出部１２ａは、変換したバイナリデータを記憶手段１１が記憶している言語に対応付けて、所望の画像から複数の言語を抽出する。ここで、言語抽出部１２ａは、記憶手段１１が記憶している照合用バイナリデータ（例えば図２（ｂ））と変換した複数のバイナリデータとを順次比較することによって、例えば図４に示すように所望の画像に関連する複数の言語を順次抽出する。これにより、言語抽出部１２ａ（制御手段１２）は、所望の画像を分割した複数の画像に関連する複数の言語を抽出することによって、所望の画像の局所的な特徴に対応する言語を複数抽出することができる。なお、言語抽出部１２ａは、画像のメタデータを更に用いて、照合用バイナリデータを抽出してもよい。
【００２６】
言語選択部１２ｂは、言語抽出部１２ａが抽出した複数の言語から所望の画像に対応する特定言語を選択するものである。言語選択部１２ｂは、例えばＣＰＵ及びメモリで構成される演算装置を用いることができる。なお、言語選択部１２ｂは、制御手段１２の演算装置を利用する構成であってもよい。
【００２７】
言語選択部１２ｂは、本実施形態では、特定言語として、複数の言語を選択する。具体的には、言語選択部１２ｂは、言語抽出部１２ａが抽出した複数の言語（例えば図４）に基づいて、抽出頻度の高い（抽出された数が多い）特定言語を選択する。これにより、言語抽出部１２ａ（制御手段１２）は、所望の画像に対応する言語だけでなく、所望の画像に観念的に関連する言語を複数選択することができる。なお、言語選択部１２ｂは、画像のメタデータを更に用いて、特定言語を選択してもよい。
【００２８】
画像編集部１２ｃは、言語選択部１２ｂが選択した特定言語に基づいて所望の画像を編集するものである。画像編集部１２ｃは、例えばＣＰＵ及びメモリで構成される演算装置を用いることができる。なお、画像編集部１２ｃは、制御手段１２の演算装置を利用する構成であってもよい。
【００２９】
画像編集部１２ｃは、本実施形態では、言語選択部１２ｂが選択した特定言語の一覧を、所望の画像上に表示する。ここで、画像編集部１２ｃは、抽出頻度の高い特定言語を所望の画像上に拡大して表示し、抽出頻度の低い特定言語を所望の画像上に縮小して表示する。なお、画像編集部１２ｃは、例えばカテゴリＩＤ（図２（ａ））に基づいて特定言語のフォント、色などを更に変更して、所望の画像上に表示してもよい。また、画像編集部１２ｃは、画像のメタデータを更に用いて、画像を編集してもよい。これにより、画像編集部１２ｃ（制御手段１２）は、抽出頻度の高い特定言語を所望の画像上に優先的に表示することができる。また、画像編集部１２ｃ（制御手段１２）は、所望の画像に対応する言語だけでなく、所望の画像に観念的に関連する言語を複数表示することができる。
【００３０】
また、本実施形態に係る制御手段１２は、記憶手段１１が記憶するベータベースを作成するデータ作成部１２ｄを更に含む。なお、本発明に係る制御手段１２は、データ作成部１２ｄを含まない構成であってもよい。データ作成部１２ｄは、例えばＣＰＵ及びメモリで構成される演算装置を用いることができる。なお、データ作成部１２ｄは、制御手段１２の演算装置を利用する構成であってもよい。
【００３１】
データ作成部１２ｄは、記憶手段１１が記憶するベータベース（例えば図２）を作成するものである。具体的には、データ作成部１２ｄは、例えば図５（ａ）に示すように、先ず、同じ種類の複数の画像を局所的に夫々分割する。また、データ作成部１２ｄは、分割した複数の画像（以下、局所画像という。）について局所特徴量を夫々算出する。次に、データ作成部１２ｄは、算出した局所特徴量を用いて、例えば図５（ｂ）に示すように、複数の局所画像において類似する画像を部分集合に分類する。次いで、データ作成部１２ｄは、分類した部分集合において、例えば図５（ｃ）に示すように、セントロイド（代表画像、重心画像など）を選択する。ここで、データ作成部１２ｄは、分類した複数の部分集合について、セントロイドを夫々選択する。
【００３２】
次いで、データ作成部１２ｄは、例えば図６（ａ）に示すように、選択した複数のセントロイドについて、類似性の高いセントロイド（Ｃａ１乃至Ｃａ３）の局所画像を特徴的な画像として選択する。また、データ作成部１２ｄは、特徴的な画像のバイナリデータを照合用バイナリデータ（例えば図２（ｂ）のＢ−Ｄａｔａ１乃至Ｂ−Ｄａｔａ１１）として記憶する。
【００３３】
これにより、データ作成部１２ｄ（制御手段１２）は、記憶手段１１が記憶する画像を編集するために必要な情報（データベース）を作成することができる。なお、データ作成部１２ｄは、他の画像においても、同様に、例えば図５（ｄ）から（ｆ）に示すようにセントロイド（Ｃｂ１乃至Ｃｂ３）を選択し、図６（ｂ）に示すように選択した複数のセントロイドについて、照合用バイナリデータを記憶する。また、データ作成部１２ｄは、画像のメタデータを更に用いて、照合用バイナリデータを生成してもよい。
【００３４】
以上のとおり、本発明に係る画像処理システム１００は、画像から言語を抽出し、抽出した言語を用いて画像を編集することができる。また、本発明に係る画像処理システム１００は、画像内に文字がない場合でも、言語を判定（抽出）することができる。更に、本発明に係る画像処理システム１００は、画像に観念的に関連する言語を判定することができ、画像から抽出（判定）した言語を用いて画像を編集することができる。
（２．画像処理システムの動作）
【００３５】
図７を用いて、画像処理システム１００（図１）が画像を処理する動作（画像処理方法）を説明する。ここで、図７は、本発明の実施形態に係る画像処理システム１００の動作の例を説明するフローチャート図である。なお、図７に示す画像処理システムの動作は一例であり、本発明は図７に示す画像処理システムの動作に限定されるものではない。
【００３６】
図７に示すように、画像処理システム１００は、ステップＳ７０１において、先ず、制御手段１２（図１）を用いて、画像処理する動作を開始する。制御手段１２は、例えば画像処理システム１００の外部から入力された情報（画像、入力情報など）に応じて、動作を開始することができる。その後、画像処理システム１００は、ステップＳ７０２に進む。
【００３７】
なお、画像処理システム１００は、記憶手段１１（図１）を用いて、画像処理に関する情報を予め記憶している（記憶ステップ）。また、記憶手段１１は、画像および言語等（例えば図２）を予め記憶しているデータベースなどを利用する構成であってもよい。更に、画像処理システム１００は、データ作成部１２ｄ（制御手段１２）を用いて、照合用バイナリデータを作成してもよい（データ作成ステップ）。
【００３８】
次に、ステップＳ７０２（制御ステップ）において、画像処理システム１００は、言語抽出部１２ａ（制御手段１２）を用いて、ステップＳ７０１で入力された画像を複数の画像に分割し、分割した画像をバイナリデータ（例えば図３）に夫々変換する。なお、言語抽出部１２ａの動作は、前述の説明と同様のため、省略する。その後、画像処理システム１００は、ステップＳ７０３に進む。
【００３９】
次いで、ステップＳ７０３（制御ステップ）において、画像処理システム１００は、言語抽出部１２ａを用いて、記憶手段１１が記憶している画像および言語に基づいて、所望の画像から複数の言語を抽出する（言語抽出ステップ）。ここで、言語抽出部１２ａは、ステップＳ７０２で変換したバイナリデータを記憶手段１１が記憶している言語に対応付けて、複数の言語（例えば図４）を抽出する。なお、言語抽出部１２ａの動作は、前述の説明と同様のため、省略する。その後、画像処理システム１００は、ステップＳ７０４に進む。
【００４０】
ステップＳ７０４（制御ステップ）において、画像処理システム１００は、言語選択部１２ｂ（制御手段１２）を用いて、画像と言語との類似性を評価するスコア（以下、類似性スコアという。）を算出する。ここで、言語選択部１２ｂは、本実施形態では、ステップＳ７０３で抽出された複数の言語について、抽出された頻度（以下、抽出頻度という。）に応じて、スコアを設定する。言語選択部１２ｂは、例えば後述する図１２に示すように、抽出された言語に類似性スコアを設定することができる。その後、画像処理システム１００は、ステップＳ７０５に進む。
【００４１】
ステップＳ７０５（制御ステップ）において、画像処理システム１００は、言語選択部１２ｂを用いて、ステップＳ７０３で抽出した複数の言語から所望の画像に対応する特定言語を選択する（言語選択ステップ）。ここで、言語選択部１２ｂは、本実施形態では、ステップＳ７０４で設定した類似性スコアの高い順から所定の数を特定言語として選択する。その後、画像処理システム１００は、ステップＳ７０６に進む。
【００４２】
ステップＳ７０６（制御ステップ）において、画像処理システム１００は、画像編集部１２ｃ（制御手段１２）を用いて、ステップＳ７０５で選択した特定言語に基づいて、画像を編集する（画像編集ステップ）。ここで、画像編集部１２ｃは、本実施形態では、ステップＳ７０５で選択した特定言語の一覧を、所望の画像上に表示させる。また、画像編集部１２ｃは、ステップＳ７０４で設定した類似性スコアに応じて、類似性スコア（抽出頻度）の高い特定言語を所望の画像上に拡大して表示し、類似性スコア（抽出頻度）の低い特定言語を所望の画像上に縮小して表示する（例えば後述する図１３）。その後、画像処理システム１００は、ステップＳ７０７に進む。
【００４３】
ステップＳ７０７において、画像処理システム１００は、制御手段１２を用いて、画像処理する動作を繰り返すか否かを判断する。ここで、制御手段１２は、ステップ７０２で抽出した複数の言語の選定が終了するまで、動作を繰り返すことができる。また、制御手段１２は、例えば画像処理システム１００の外部から入力された情報に基づいて、動作を繰り返すか否かを判断してもよい。更に、画像処理システム１００は、記憶手段１１を用いて、ステップＳ７０２からステップＳ７０５の処理結果を記憶してもよい。これにより、画像処理システム１００は、所望の間、画像を処理する動作を繰り返すことができる。
【００４４】
その後、画像処理する動作を繰り返すと判断した場合には、画像処理システム１００は、ステップＳ７０３に戻る。画像処理する動作を終了すると判断した場合には、画像処理システム１００は、図中の「ＥＮＤ」に進み、動作を終了する。
【００４５】
以上のとおり、本発明に係る画像処理システム１００は、画像から言語を抽出し、抽出した言語を用いて画像を編集することができる。また、本発明に係る画像処理システム１００は、画像内に文字がない場合でも、言語を判定（抽出）することができる。更に、本発明に係る画像処理システム１００は、画像に観念的に関連する言語を判定することができ、画像から抽出（判定）した言語を用いて画像を編集することができる。
（３．画像処理方法のプログラム及び記録媒体）
【００４６】
本発明に係る画像処理方法のプログラムＰｒ１は、前述の実施形態に係る画像処理システム１００において、記憶手段を用いて、前記画像および前記言語を記憶する記憶ステップと、制御手段を用いて、前記記憶手段が記憶している前記画像および前記言語に基づいて、所望の画像を処理する制御ステップとを含み、前記制御ステップは、前記所望の画像から複数の言語を抽出する言語抽出ステップと、前記言語抽出ステップで抽出した複数の言語から前記所望の画像に対応する特定言語を選択する言語選択ステップと、前記言語選択ステップで選択した前記特定言語に基づいて前記所望の画像を編集する画像編集ステップと、を含む、ことを特徴とする画像処理方法を実行する。また、本発明に係る画像処理方法のプログラムＰｒ１において、前記言語選択ステップは、前記特定言語として、複数の言語を選択し、前記画像編集ステップは、前記言語選択ステップで選択した前記特定言語の一覧を、前記所望の画像上に表示する、ことを特徴とする画像処理方法を実行してもよい。また、本発明に係る画像処理方法のプログラムＰｒ１において、前記言語抽出ステップは、前記所望の画像を複数の画像に分割し、分割した画像をバイナリデータに夫々変換し、変換した前記バイナリデータを前記記憶手段が記憶している言語に対応付けて、前記所望の画像から複数の言語を抽出し、前記言語選択ステップは、前記言語抽出ステップで抽出した複数の言語に基づいて、抽出頻度の高い前記特定言語を選択し、前記画像編集ステップは、前記抽出頻度の高い前記特定言語を前記所望の画像上に拡大して表示し、前記抽出頻度の低い前記特定言語を前記所望の画像上に縮小して表示する、ことを特徴とする画像処理方法を実行してもよい。また、本発明に係る画像処理方法のプログラムＰｒ１において、前記制御ステップは、前記記憶手段が記憶するベータベースを作成するデータ作成ステップを更に含み、前記データ作成ステップは、任意の画像を局所的に分割し、分割した複数の画像について局所特徴量を夫々算出し、算出した前記局所特徴量を用いて分割した複数の画像を部分集合に分類し、分類した前記部分集合の特徴を示す照合用バイナリデータを作成し、前記言語抽出ステップは、前記データ作成ステップで作成した前記照合用バイナリデータと変換した前記バイナリデータとを照合して、前記所望の画像から複数の言語を抽出する、ことを特徴とする画像処理方法を実行してもよい。
【００４７】
上記のプログラムＰｒ１によれば、本発明に係る画像処理システム１００（前述）と同等の効果が得られる。
【００４８】
また、本発明は、プログラムＰｒ１を記録したコンピュータによって読み取り可能な記録媒体Ｍｄ１としてもよい。記録媒体Ｍｄ１には、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、及び、メモリーカード等、コンピュータ読み取り可能な媒体を利用することができる。更に、本発明は、プログラムＰｒ１をインターネット等のネットワークを介して送信することが可能な伝送可能媒体であってもよい。
【実施例】
【００４９】
実施形態に係る画像処理システム１００を含む学習支援システムの実施例を用いて、本発明を説明する。なお、本発明は、以後に説明する学習支援システム以外でも、画像から言語を抽出し、抽出した言語を用いて画像を編集し、編集した画像を利用（表示等）するものであれば、いずれのものにも用いることができる。
（１．学習支援システムの構成）
【００５０】
図８及び図９を用いて、本発明の実施例に係る学習支援システム１１０の構成を説明する。ここで、図８は、本実施例に係る学習支援システム１１０の一例を説明する概略構成図である。図９は、学習支援システム１１０の一例を説明する概略システム図である。なお、図８及び図９に示す学習支援システムは一例であり、本発明は図８及び図９に示す学習支援システムに限定されるものではない。
【００５１】
図８に示すように、本実施例に係る学習支援システム１１０は、実施形態に係る画像処理システム１００と、画像処理システム１００と有線及び／又は無線で接続された情報端末２０とを有する。学習支援システム１１０は、図９に示すように、インターネットを介して、情報端末２０（例えばモバイル機器）から画像処理システム１００（例えばサーバ）へ画像をアップロードし、画像処理システム１００（サーバ）から単語をダウンロードする構成としてもよい。
【００５２】
以後の説明では、前述の実施形態に係る画像処理システム１００と異なる部分を主に説明する。
【００５３】
図８に示すように、情報端末２０は、システム利用者（学習者、指導者、購入者など）が情報を入力する入力手段２１と、システム利用者に情報を表示する表示手段２２とを備える。なお、図９に示すように、情報端末２０は、通信装置（ＬＡＮ、無線ＬＡＮ、インターネットなど）を介して、画像処理システム１００と情報の入出力を行うものであってもよい。また、情報端末２０は、図９に示すように、例えばタブレット、スマートフォン２０ａ、携帯端末、ノートＰＣ、メガネ型端末２０ｂ、腕時計型端末２０ｃ、コンタクトレンズ型端末、画像投影型端末などであってもよい。入力手段２１は、情報端末（タブレットなど）に予め搭載されている機能（キーボード、タッチパネルなど）を利用する構成であってもよい。表示手段２２は、情報端末（タブレットなど）に予め搭載されている機能（液晶、有機ＥＬ、タッチパネルなど）を利用する構成であってもよい。
【００５４】
本実施例に係る学習支援システム１１０は、システム利用者によって入力手段２１を用いて入力された入力情報を画像処理システム１００に出力し、画像処理システム１００から情報端末２０に出力情報を入力されたときに表示手段２２で出力情報をシステム利用者に表示する。具体的には、情報端末２０は、入力手段２１を用いて入力された入力情報を画像処理システム１００に出力し、画像処理システム１００から出力情報を入力されたときに表示手段２２で出力情報を表示する。また、制御手段１２は、情報端末２０から入力された入力情報に基づいて所望の画像を編集し、編集した所望の画像を出力情報として情報端末２０に出力する。これにより、学習支援システム１１０は、システム利用者が選択した画像に言語を表示することによって、システム利用者の学習を支援することができる。
（２．学習支援システムの動作）
【００５５】
図１０乃至図１３を用いて、学習支援システム１１０（図８）が学習を支援する動作を説明する。ここで、図１０は、本実施例に係る学習支援システム１１０の動作（学習支援方法）の例を説明するフローチャート図である。図１１は、学習支援システム１１０の情報端末２０から入力された入力情報（画像データ）の一例を説明する説明図である。図１２は、学習支援システム１１０の制御手段１２が出力する出力情報（照合データ）の一例を説明する説明図である。図１３は、学習支援システム１１０の情報端末２０（表示手段２２）が表示する表示情報（照合結果）の一例を説明する説明図である。なお、図１０乃至図１３に示す学習支援システムの動作等は一例であり、本発明は図１０等に示すものに限定されるものではない。
【００５６】
図１０に示すように、学習支援システム１１０は、ステップＳ１００１において、先ず、制御手段１２（図８）を用いて、学習を支援する動作を開始する。制御手段１２は、例えば学習支援システム１１０の外部から入力された情報（システム利用者の入力した情報など）に応じて、動作を開始することができる。その後、学習支援システム１１０は、ステップＳ１００２に進む。
【００５７】
次に、ステップＳ１００２において、学習支援システム１１０は、情報端末２０を用いて、システム利用者によって学習に使用する画像（照合する画像）を入力される。このとき、学習支援システム１１０は、入力手段２１（情報端末２０）を用いて、入力された入力情報を制御手段１２（画像処理システム１００）に入力する（入力ステップ）。なお、学習支援システム１１０は、情報端末２０としてモバイル機器を用いる場合に、モバイル機器のカメラで撮影、アルバムから選択、手描き、検索結果の画像から選択などの方法で選定された画像を学習に使用する画像として用いてよい。その後、学習支援システム１１０は、ステップＳ１００３に進む。
【００５８】
次いで、ステップＳ１００３において、学習支援システム１１０は、画像処理システム１００を用いて、画像を編集（処理）する。なお、画像処理システム１００が画像を処理する動作は、実施形態に係る画像処理システム１００の動作（例えば図７）と同様のため、説明を省略する。その後、学習支援システム１１０は、ステップＳ１００４に進む。
【００５９】
ステップＳ１００４において、学習支援システム１１０は、制御手段１２（画像処理システム１００）を用いて、編集した画像に関する情報を出力情報として情報端末２０に出力する（出力ステップ）。ここで、学習支援システム１１０は、図１２に示すように、本実施例では、類似性スコアに対応付けて特定言語を情報端末２０に送信する。その後、学習支援システム１１０は、ステップＳ１００５に進む。
【００６０】
ステップＳ１００５において、学習支援システム１１０は、表示手段２２（情報端末２０）を用いて、制御手段１２から入力された出力情報（例えば図１３）を表示する（表示ステップ）。ここで、学習支援システム１１０は、図１３に示すように、類似性スコアが高い（抽出頻度の高い）特定言語を画像上に拡大して表示し、類似性スコアが低い（抽出頻度の低い）特定言語を画像上に縮小して表示する。その後、学習支援システム１１０は、ステップＳ１００６に進む。
【００６１】
ステップＳ１００６において、学習支援システム１１０は、学習を支援する動作を繰り返すか否かを判断する。学習支援システム１１０は、例えばシステム利用者から入力された情報に基づいて、学習を支援する動作を繰り返すか否かを判断することができる。これにより、学習支援システム１１０は、所望の間、学習を支援する動作を繰り返すことができる。その後、学習を支援する動作を繰り返すと判断した場合には、学習支援システム１１０は、ステップＳ１００２に戻る。学習を支援する動作を終了すると判断した場合には、学習支援システム１１０は、図中の「ＥＮＤ」に進み、動作を終了する。
【００６２】
図１４を用いて、学習支援システム１１０が学習を支援する動作の他の一例を説明する。ここで、図１４は、学習支援システム１１０の動作の他の例（データを生成する動作）を説明するフローチャート図である。
【００６３】
図１４に示すように、学習支援システム１１０は、ステップＳ１４０１において、先ず、制御手段１２（図８）を用いて、データを生成する動作を開始する。ここで、制御手段１２は、例えば学習支援システム１１０の外部から入力された情報（システム利用者の入力した情報など）に応じて、動作を開始することができる。その後、学習支援システム１１０は、ステップＳ１４０２に進む。
【００６４】
次に、ステップＳ１４０２において、学習支援システム１１０は、情報端末２０を用いて、システム利用者によってデータを生成するために必要な画像（例えば図５）を入力される。このとき、学習支援システム１１０は、入力手段２１（情報端末２０）を用いて、入力された入力情報を制御手段１２（画像処理システム１００）に入力する。その後、学習支援システム１１０は、ステップＳ１４０３に進む。
【００６５】
次いで、ステップＳ１４０３において、学習支援システム１１０は、制御手段１２のデータ生成部１２ｄ（図８）を用いて、入力された画像の特徴量を算出する。また、ステップＳ１４０４において、学習支援システム１１０は、データ生成部１２ｄを用いて、部分集合に分類する（例えば図５）。更に、ステップＳ１４０５において、学習支援システム１１０は、データ生成部１２ｄを用いて、照合用バイナリデータ（例えば図２（ｂ）、図６）を生成する。なお、データ生成部１２ｄの動作は前述の説明（実施形態）と同様のため、説明を省略する。その後、学習支援システム１１０は、ステップＳ１４０６に進む。
【００６６】
ステップＳ１４０６において、学習支援システム１１０は、データを生成する動作を繰り返すか否かを判断する。学習支援システム１１０は、例えばシステム利用者から入力された情報に基づいて、データを生成する動作を繰り返すか否かを判断することができる。その後、データを生成する動作を繰り返すと判断した場合には、学習支援システム１１０は、ステップＳ１４０２に戻る。データを生成する動作を終了すると判断した場合には、学習支援システム１１０は、図中の「ＥＮＤ」に進み、動作を終了する。
【００６７】
図１５を用いて、学習支援システム１１０が学習を支援する動作の他の一例を説明する。ここで、図１５は、学習支援システム１１０の情報端末（表示手段）が表示する表示情報の他の例を説明する説明図である。
【００６８】
図１５（ａ）に示すように、学習支援システム１１０は、情報端末２０を用いて、システム利用者によって照合する画像を入力される。このとき、学習支援システム１１０は、制御手段１２を用いて画像を照合し、情報端末２０（表示手段２１）を用いて照合後の画像（編集後の画像）を表示する（図１５（ｂ））。次に、学習支援システム１１０は、情報端末２０を用いて、システム利用者によって照合後の画像上の言語を選択される。このとき、学習支援システム１１０は、記憶手段１１に記憶されている画像において、選択された言語に対応する画像を表示する（図１５（ｃ））。
【００６９】
以上のとおり、本発明に係る学習支援システム１１０は、画像から単語（言語）を抽出し、抽出した単語を表示し、更にその後選択された単語に関する画像を表示すること（選択的な循環検索）ができる。また、利用者は、画像から単語の抽出と単語から画像の表示を繰り返すことによって、語学学習ツールとして、学習支援システム１１０を利用することができる。更に、学習支援システム１１０は、画像から複数の言語を抽出し、抽出した複数の言語を表示することができるので、画像だけでは表現し得ない言語（単語）を有為に引き出すことができる。学習支援システム１１０は、例えば画像のシーンを判断し、画像に対して関連性の高い単語を抽出できる。
（３．学習支援方法のプログラム及び記録媒体）
【００７０】
本発明の実施例に係る学習支援方法のプログラムＰｒ２は、前述の実施形態に係る画像処理方法を用いて画像処理を実施するステップを含み、前記制御手段と有線及び／又は無線で接続された情報端末を用いて学習を支援する学習支援方法であって、前記情報端末は、情報を入力する入力手段と情報を表示する表示手段とを備え、前記入力手段を用いて入力された入力情報を前記制御手段に入力する入力ステップと、前記制御手段を用いて、前記情報端末から入力された前記入力情報に基づいて前記所望の画像を編集し、編集した前記所望の画像を出力情報として前記情報端末に出力する出力ステップと、前記制御手段から前記出力情報を入力されたときに、前記表示手段で前記出力情報を表示する表示ステップとを含むことを特徴とする学習支援方法を実行する。
【００７１】
上記のプログラムＰｒ２によれば、本発明に係る画像処理システム１００（前述）と同等の効果が得られる。
【００７２】
また、本発明は、プログラムＰｒ２を記録したコンピュータによって読み取り可能な記録媒体Ｍｄ２としてもよい。記録媒体Ｍｄ２には、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、及び、メモリーカード等、コンピュータ読み取り可能な媒体を利用することができる。更に、本発明は、プログラムＰｒ２をインターネット等のネットワークを介して送信することが可能な伝送可能媒体であってもよい。
【００７３】
以上のとおり、本発明に係る実施形態及び実施例について説明したが、本発明は上記の実施形態及び実施例に限定されるものではない。すなわち、本発明は、特許請求の範囲に記載の内容に基づいて、様々に変形、変更又はその他任意に改変され得る。
【符号の説明】
【００７４】
１００  ：  画像処理システム
１１０  ：  学習支援システム
１１  ：  記憶手段
１２  ：  制御手段
１２ａ：  言語抽出部
１２ｂ：  言語選択部
１２ｃ：  画像編集部
１２ｄ：  データ生成部
２０  ：  情報端末
２１  ：  入力手段
２２  ：  表示手段
Ｐｒ１，Ｐｒ２  ：  プログラム
Ｍｄ１，Ｍｄ２  ：  記録媒体
【図１】
2016024744.tif 000003
【図２】
2016024744.tif 000004
【図３】
2016024744.tif 000005
【図４】
2016024744.tif 000006
【図５】
2016024744.tif 000007
【図６】
2016024744.tif 000008
【図７】
2016024744.tif 000009
【図８】
2016024744.tif 000010
【図９】
2016024744.tif 000011
【図１０】
2016024744.tif 000012
【図１１】
2016024744.tif 000013
【図１２】
2016024744.tif 000014
【図１３】
2016024744.tif 000015
【図１４】
2016024744.tif 000016
【図１５】
2016024744.tif 000017