(57)【要約】【課題】ユーザの操作の特徴が反映された情報を出力する。【解決手段】コンテンツ加工部２４は、ユーザの操作に応じて入力画像を加工し、その結果得られる出力画像を出力するのに必要な加工情報を生成する。加工情報記録部２８には、ユーザによる操作の回数に応じた複数の加工情報が蓄積される。学習部３０は、加工情報記録部２８蓄積されている複数の加工情報を生徒データとし、教師データ取得部２９が取得する教師データを用いた学習を行うことにより、ユーザの操作の特徴を表す予測係数を算出し、ユーザアルゴリズム記録部３１に記憶させる。また、学習部３０は、ユーザアルゴリズム記録部３１に記憶されている予測係数と、加工情報記録部２８に蓄積されている複数の加工情報とを用いて、所定の演算を行い、ユーザの操作の特徴が反映された加工情報を算出する。本発明は、例えば、画像処理装置に適用できる。【選択図】図２
2008292885.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによる複数回の操作の履歴に基づいて、前記ユーザの操作の特徴を学習する学習装置において、
前記ユーザの操作に応じて、所定の入力情報を加工する加工手段と、
前記加工手段により所定の入力情報が加工された結果得られる出力情報を出力するのに必要な加工情報を生成する生成手段と、
前記ユーザによる操作の回数に応じた複数の前記加工情報を蓄積する蓄積手段と、
前記蓄積手段に蓄積されている複数の加工情報を、学習の生徒となる生徒データとし、前記所定の入力情報に基づいて得られる所定の情報を、学習の教師となる教師データとした学習を行うことにより、前記ユーザの操作の特徴を表す予測係数を算出する学習手段と
を備える学習装置。
【請求項２】
前記蓄積手段に蓄積されている複数の前記加工情報の値に基づいて、前記加工情報を、所定のクラスに分類するクラス分類手段
をさらに備え、
前記学習手段は、前記クラス分類手段が分類したクラスごとに、前記生徒データと前記教師データと用いた学習を行う
請求項１に記載の学習装置。
【請求項３】
ユーザによる複数回の操作の履歴に基づいて、前記ユーザの操作の特徴を学習する学習方法において、
前記ユーザの操作に応じて、所定の入力情報を加工し、
前記所定の入力情報が加工された結果得られる出力情報を出力するのに必要な加工情報を生成し、
前記ユーザによる操作の回数に応じた複数の前記加工情報を、情報を蓄積する蓄積手段に蓄積し、
前記蓄積手段に蓄積されている複数の加工情報を、学習の生徒となる生徒データとし、前記所定の入力情報に基づいて得られる所定の情報を、学習の教師となる教師データとした学習を行うことにより、前記ユーザの操作の特徴を表す予測係数を算出する
ステップを含む学習方法。
【請求項４】
ユーザによる複数回の操作の履歴に基づいて、前記ユーザの操作の特徴を学習する学習装置のコンピュータに実行させるプログラムにおいて、
前記ユーザの操作に応じて、所定の入力情報を加工し、
前記所定の入力情報が加工された結果得られる出力情報を出力するのに必要な加工情報を生成し、
前記ユーザによる操作の回数に応じた複数の前記加工情報を、情報を蓄積する蓄積手段に蓄積し、
前記蓄積手段に蓄積されている複数の加工情報を、学習の生徒となる生徒データとし、前記所定の入力情報に基づいて得られる所定の情報を、学習の教師となる教師データとした学習を行うことにより、前記ユーザの操作の特徴を表す予測係数を算出する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項５】
所定の入力情報を加工し、その結果得られる出力情報を出力する情報加工装置において、
あらかじめ行われた学習により得られた予測係数を記憶する予測係数記憶手段と、
前記ユーザの操作に応じて、前記所定の入力情報を加工する加工手段と、
前記加工手段により所定の入力情報が加工された結果得られる前記出力情報を出力するのに必要な加工情報を生成する生成手段と、
前記ユーザによる操作の回数に応じた複数の前記加工情報を蓄積する蓄積手段と、
前記予測係数記憶手段に記憶されている予測係数と、前記蓄積手段に蓄積されている複数の加工情報とを用いて、所定の演算を行い、前記ユーザの操作の特徴が反映された加工情報を算出する演算手段と
を備え、
前記加工手段は、前記ユーザの操作の特徴が反映された加工情報に基づいて、前記所定の入力情報を加工する
情報加工装置。
【請求項６】
前記蓄積手段に蓄積されている複数の前記加工情報の値に基づいて、前記加工情報を、所定のクラスに分類するクラス分類手段
をさらに備え、
前記演算手段は、前記クラス分類手段により分類されたクラスごとに、前記予測係数と、前記加工情報とを用いた演算を行う
請求項５に記載の情報加工装置。
【請求項７】
所定の入力情報を加工し、その結果得られる出力情報を出力する情報加工装置の情報加工方法において、
前記情報加工装置は、
あらかじめ行われた学習により得られた予測係数を記憶する予測係数記憶手段と、
情報を蓄積する蓄積手段と
を備え、
前記ユーザの操作に応じて、前記所定の入力情報を加工し、
前記所定の入力情報が加工された結果得られる前記出力情報を出力するのに必要な加工情報を生成し、
前記ユーザによる操作の回数に応じた複数の前記加工情報を、前記蓄積手段に蓄積し、
前記予測係数記憶手段に記憶されている予測係数と、前記蓄積手段に蓄積されている複数の加工情報とを用いて、所定の演算を行い、前記ユーザの操作の特徴が反映された加工情報を算出し、
前記ユーザの操作の特徴が反映された加工情報に基づいて、前記所定の入力情報を加工する
ステップを含む情報加工方法。
【請求項８】
所定の入力情報を加工し、その結果得られる出力情報を出力する情報加工装置のコンピュータに実行させるプログラムにおいて、
前記情報加工装置は、
あらかじめ行われた学習により得られた予測係数を記憶する予測係数記憶手段と、
情報を蓄積する蓄積手段と
を備え、
前記ユーザの操作に応じて、前記所定の入力情報を加工し、
前記所定の入力情報が加工された結果得られる前記出力情報を出力するのに必要な加工情報を生成し、
前記ユーザによる操作の回数に応じた複数の前記加工情報を、前記蓄積手段に蓄積し、
前記予測係数記憶手段に記憶されている予測係数と、前記蓄積手段に蓄積されている複数の加工情報とを用いて、所定の演算を行い、前記ユーザの操作の特徴が反映された加工情報を算出し、
前記ユーザの操作の特徴が反映された加工情報に基づいて、前記所定の入力情報を加工する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習装置および学習方法、情報加工装置および情報加工方法、並びにプログラムに関し、特に、ユーザの操作の特徴が反映された情報を出力することができるようにした学習装置および学習方法、情報加工装置および情報加工方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、例えば、ユーザの操作に応じて入力画像を加工し、その結果得られる出力画像を出力する画像処理装置がある。画像処理装置は、ユーザの操作に応じて、入力画像を加工するのに必要な加工情報を記録する記録モードと、記録済みの加工情報に基づいて入力画像を加工し、その結果得られる出力画像を出力する再生モードとを備えている。
【０００３】
例えば、記録モードにおいて、ユーザが、入力画像の被写体を拡大して表示させる操作をすると、画像処理装置は、その操作に応じて、被写体が拡大された出力画像を出力するとともに、入力画像上の出力画像に対応する領域を示す情報を加工情報として記録する。そして、再生モードにおいて、画像処理装置は、記録済みの加工情報が示す領域を入力画像から抽出し、被写体が拡大された出力画像を出力する。
【０００４】
図１は、画像処理装置の一例の構成を示すブロック図である。
【０００５】
図１において、画像処理装置１１は、コンテンツ加工部１２、加工情報記録再生部１３、および表示部１４から構成されている。また、図１の上側には、記録モード時の画像処理装置１１が示されており、図１の下側には、再生モード時の画像処理装置１１が示されている。
【０００６】
コンテンツ加工部１２には、画像を記録しているDVD（Digital Versatile Disc）１５から、図示しないドライブにより読み出された入力画像が入力（供給）される。コンテンツ加工部１２は、その入力画像を加工し、その結果得られる出力画像を表示部１４に出力する。
【０００７】
例えば、記録モード時に、ユーザが、表示部１４に出力されている出力画像を視聴し、所望の出力画像が出力されるようにリモートコマンダ（図示せず）などを操作すると、コンテンツ加工部１２には、ユーザの操作に応じた操作信号が供給される。そして、コンテンツ加工部１２は、ユーザの操作に応じて、入力画像を加工し、出力画像を表示部１４に出力する。
【０００８】
また、コンテンツ加工部１２は、例えば、入力画像上の出力画像に対応する領域を示す情報を加工情報として生成し、その加工情報を加工情報記録再生部１３に供給する。さらに、コンテンツ加工部１２は、加工の対象となった入力画像のフレームを特定するための情報である特徴量を、加工情報記録再生部１３に供給する。加工情報記録再生部１３は、コンテンツ加工部１２から供給される加工情報と特徴量とを対応付けて記録する。
【０００９】
一方、再生モード時に、コンテンツ加工部１２は、再生の対象となる入力画像のフレームを特定する特徴量を加工情報記録再生部１３に供給し、加工情報記録再生部１３は、コンテンツ加工部１２から供給された特徴量に対応付けられている加工情報をコンテンツ加工部１２に供給する。そして、コンテンツ加工部１２は、加工情報記録再生部１３から供給される加工情報に基づいて、入力画像を加工し、出力画像を表示部１４に出力する。
【００１０】
このように、画像処理装置１１では、記録モードにおいて、ユーザの操作に応じた加工情報が記録され、再生モードにおいて、その加工情報に基づいて入力画像が加工されて、ユーザの操作に応じた出力画像が出力される。
【００１１】
そして、ユーザは、その出力画像を視聴し、その出力画像に満足しなければ、画像処理装置１１を記録モードにして、所望の出力画像が出力されるような操作を再度行い、これにより、加工情報が更新される。そして、再生モードにおいて、画像処理装置１１は、新たな加工情報に基づいて加工された出力画像を出力する。このように、ユーザは、所望の出力画像が出力されるような操作を繰り返して行い、その結果、画像処理装置１１は、ユーザが満足する出力画像を出力することができる。
【００１２】
また、例えば、特許文献１には、記録媒体に記録されている高精細画像を再生するにあたり、ユーザ操作に応じて生成されるパラメータに基づいて、高精細画像の一部を抽出する画像処理を施し、高精細画像から抽出した画像をディスプレイに出力する装置が開示されている。
【００１３】
【特許文献１】特開２００６−２７０１８７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
ところで、画像処理装置１１において、ユーザが満足する出力画像が出力されるまでには、ユーザが操作を繰り返して行う回数が多くなることがあり、少ない回数の操作で、ユーザの意図が反映され、ユーザが満足する出力画像、即ち、ユーザの操作の特徴が反映された出力画像を出力することが求められていた。
【００１５】
本発明は、このような状況に鑑みてなされたものであり、例えば、ユーザの操作の特徴が反映された出力画像を出力することができるようにするものである。
【課題を解決するための手段】
【００１６】
本発明の第１の側面の学習装置は、ユーザによる複数回の操作の履歴に基づいて、前記ユーザの操作の特徴を学習する学習装置であって、前記ユーザの操作に応じて、所定の入力情報を加工する加工手段と、前記加工手段により所定の入力情報が加工された結果得られる出力情報を出力するのに必要な加工情報を生成する生成手段と、前記ユーザによる操作の回数に応じた複数の前記加工情報を蓄積する蓄積手段と、前記蓄積手段に蓄積されている複数の加工情報を、学習の生徒となる生徒データとし、前記所定の入力情報に基づいて得られる所定の情報を、学習の教師となる教師データとした学習を行うことにより、前記ユーザの操作の特徴を表す予測係数を算出する学習手段とを備える。
【００１７】
本発明の第１の側面の学習方法またはプログラムは、ユーザによる複数回の操作の履歴に基づいて、前記ユーザの操作の特徴を学習する学習方法、または、ユーザによる複数回の操作の履歴に基づいて、前記ユーザの操作の特徴を学習する学習装置のコンピュータに実行させるプログラムであって、前記ユーザの操作に応じて、所定の入力情報を加工し、前記所定の入力情報が加工された結果得られる出力情報を出力するのに必要な加工情報を生成し、前記ユーザによる操作の回数に応じた複数の前記加工情報を、情報を蓄積する蓄積手段に蓄積し、前記蓄積手段に蓄積されている複数の加工情報を、学習の生徒となる生徒データとし、前記所定の入力情報に基づいて得られる所定の情報を、学習の教師となる教師データとした学習を行うことにより、前記ユーザの操作の特徴を表す予測係数を算出するステップを含む。
【００１８】
本発明の第１の側面においては、ユーザの操作に応じて、所定の入力情報が加工され、その結果得られる出力情報を出力するのに必要な加工情報が生成され、ユーザによる操作の回数に応じた複数の加工情報が蓄積手段に蓄積される。そして、蓄積手段に蓄積されている複数の加工情報を、学習の生徒となる生徒データとし、所定の入力情報に基づいて得られる所定の情報を、学習の教師となる教師データとした学習を行うことにより、ユーザの操作の特徴を表す予測係数が算出される。
【００１９】
本発明の第２の側面の情報加工装置は、所定の入力情報を加工し、その結果得られる出力情報を出力する情報加工装置であって、あらかじめ行われた学習により得られた予測係数を記憶する予測係数記憶手段と、前記ユーザの操作に応じて、前記所定の入力情報を加工する加工手段と、前記加工手段により所定の入力情報が加工された結果得られる前記出力情報を出力するのに必要な加工情報を生成する生成手段と、前記ユーザによる操作の回数に応じた複数の前記加工情報を蓄積する蓄積手段と、前記予測係数記憶手段に記憶されている予測係数と、前記蓄積手段に蓄積されている複数の加工情報とを用いて、所定の演算を行い、前記ユーザの操作の特徴が反映された加工情報を算出する演算手段とを備え、前記加工手段は、前記ユーザの操作の特徴が反映された加工情報に基づいて、前記所定の入力情報を加工する。
【００２０】
本発明の第２の側面の情報加工方法またはプログラムは、所定の入力情報を加工し、その結果得られる出力情報を出力する情報加工装置の情報加工方法、または、所定の入力情報を加工し、その結果得られる出力情報を出力する情報加工装置のコンピュータに実行させるプログラムであって、前記情報加工装置は、あらかじめ行われた学習により得られた予測係数を記憶する予測係数記憶手段と、情報を蓄積する蓄積手段とを備え、前記ユーザの操作に応じて、前記所定の入力情報を加工し、前記所定の入力情報が加工された結果得られる前記出力情報を出力するのに必要な加工情報を生成し、前記ユーザによる操作の回数に応じた複数の前記加工情報を、前記蓄積手段に蓄積し、前記予測係数記憶手段に記憶されている予測係数と、前記蓄積手段に蓄積されている複数の加工情報とを用いて、所定の演算を行い、前記ユーザの操作の特徴が反映された加工情報を算出し、前記ユーザの操作の特徴が反映された加工情報に基づいて、前記所定の入力情報を加工するステップを含む。
【００２１】
本発明の第２の側面においては、情報加工装置は、あらかじめ行われた学習により得られた予測係数を記憶する予測係数記憶手段と、情報を蓄積する蓄積手段とを備える。また、ユーザの操作に応じて、所定の入力情報を加工して出力情報を出力するのに必要な加工情報が生成され、ユーザによる操作の回数に応じた複数の加工情報が蓄積手段に蓄積される。そして、予測係数記憶手段に記憶されている予測係数と、蓄積手段に蓄積されている複数の加工情報とを用いて、所定の演算を行い、ユーザの操作の特徴が反映された加工情報が算出され、ユーザの操作の特徴が反映された加工情報に基づいて、所定の入力情報が加工される。
【発明の効果】
【００２２】
本発明の第１および第２の側面によれば、ユーザの操作の特徴が反映された情報を出力することができる。
【発明を実施するための最良の形態】
【００２３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２４】
本発明の第１の側面の学習装置は、ユーザによる複数回の操作の履歴に基づいて、前記ユーザの操作の特徴を学習する学習装置であって、
前記ユーザの操作に応じて、所定の入力情報を加工する加工手段（例えば、図２のコンテンツ加工部２４）と、
前記加工手段により所定の入力情報が加工された結果得られる出力情報を出力するのに必要な加工情報を生成する生成手段（例えば、図２のコンテンツ加工部２４）と、
前記ユーザによる操作の回数に応じた複数の前記加工情報を蓄積する蓄積手段（例えば、図２の加工情報記録部２８）と、
前記蓄積手段に蓄積されている複数の加工情報を、学習の生徒となる生徒データとし、前記所定の入力情報に基づいて得られる所定の情報を、学習の教師となる教師データとした学習を行うことにより、前記ユーザの操作の特徴を表す予測係数を算出する学習手段（例えば、図２の学習部３０）と
を備える。
【００２５】
また、本発明の第１の側面の学習装置は、
前記蓄積手段に蓄積されている複数の前記加工情報の値に基づいて、前記加工情報を、所定のクラスに分類するクラス分類手段（例えば、図７のクラス分類部４１）
をさらに備えることができ、
前記学習手段は、前記クラス分類手段が分類したクラスごとに、前記生徒データと前記教師データと用いた学習を行う。
【００２６】
本発明の第１の側面の学習方法またはプログラムは、ユーザによる複数回の操作の履歴に基づいて、前記ユーザの操作の特徴を学習する学習方法、または、ユーザによる複数回の操作の履歴に基づいて、前記ユーザの操作の特徴を学習する学習装置のコンピュータに実行させるプログラムであって、
前記ユーザの操作に応じて、所定の入力情報を加工し（例えば、図１０のステップＳ４３）、
前記所定の入力情報が加工された結果得られる出力情報を出力するのに必要な加工情報を生成し（例えば、図１０のステップＳ４４）、
前記ユーザによる操作の回数に応じた複数の前記加工情報を、情報を蓄積する蓄積手段に蓄積し（例えば、図１０のステップＳ４７）、
前記蓄積手段に蓄積されている複数の加工情報を、学習の生徒となる生徒データとし、前記所定の入力情報に基づいて得られる所定の情報を、学習の教師となる教師データとした学習を行うことにより、前記ユーザの操作の特徴を表す予測係数を算出する（例えば、図８のステップＳ２４）
ステップを含む。
【００２７】
本発明の第２の側面の情報加工装置は、所定の入力情報を加工し、その結果得られる出力情報を出力する情報加工装置であって、
あらかじめ行われた学習により得られた予測係数を記憶する予測係数記憶手段（例えば、図２のユーザアルゴリズム記録部３１）と、
前記ユーザの操作に応じて、前記所定の入力情報を加工する加工手段（例えば、図２のコンテンツ加工部２４）と、
前記加工手段により所定の入力情報が加工された結果得られる前記出力情報を出力するのに必要な加工情報を生成する生成手段（例えば、図２のコンテンツ加工部２４）と、
前記ユーザによる操作の回数に応じた複数の前記加工情報を蓄積する蓄積手段（例えば、図２の加工情報記録部２８）と、
前記予測係数記憶手段に記憶されている予測係数と、前記蓄積手段に蓄積されている複数の加工情報とを用いて、所定の演算を行い、前記ユーザの操作の特徴が反映された加工情報を算出する演算手段と（例えば、図２の学習部３０）
を備え、
前記加工手段は、前記ユーザの操作の特徴が反映された加工情報に基づいて、前記所定の入力情報を加工する。
【００２８】
また、本発明の第２の側面の学習装置は、
前記蓄積手段に蓄積されている複数の前記加工情報の値に基づいて、前記加工情報を、所定のクラスに分類するクラス分類手段（例えば、図７のクラス分類部４１）
をさらに備えることができ、
前記演算手段は、前記クラス分類手段により分類されたクラスごとに、前記予測係数と、前記加工情報とを用いた演算を行う。
【００２９】
本発明の第２の側面の情報加工方法またはプログラムは、所定の入力情報を加工し、その結果得られる出力情報を出力する情報加工装置の情報加工方法、または、所定の入力情報を加工し、その結果得られる出力情報を出力する情報加工装置のコンピュータに実行させるプログラムであって、
前記情報加工装置は、
あらかじめ行われた学習により得られた予測係数を記憶する予測係数記憶手段と、
情報を蓄積する蓄積手段と
を備え、
前記ユーザの操作に応じて、前記所定の入力情報を加工し（例えば、図１０のステップＳ４３）、
前記所定の入力情報が加工された結果得られる前記出力情報を出力するのに必要な加工情報を生成し（例えば、図１０のステップＳ４４）、
前記ユーザによる操作の回数に応じた複数の前記加工情報を、前記蓄積手段に蓄積し（例えば、図１０のステップＳ４７）、
前記予測係数記憶手段に記憶されている予測係数と、前記蓄積手段に蓄積されている複数の加工情報とを用いて、所定の演算を行い、前記ユーザの操作の特徴が反映された加工情報を算出し（例えば、図９のステップＳ３３）、
前記ユーザの操作の特徴が反映された加工情報に基づいて、前記所定の入力情報を加工する（例えば、図９のステップＳ３４）
ステップを含む。
【００３０】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００３１】
図２は、本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００３２】
図２において、画像処理装置２１は、入力部２２、特徴量抽出部２３、コンテンツ加工部２４、加工情報記録再生部２５、出力部２６、ユーザ操作入力部２７、加工情報記録部２８、教師データ取得部２９、学習部３０、およびユーザアルゴリズム記録部３１から構成される。
【００３３】
入力部２２には、映像や音声などからなるコンテンツが記録されているDVD（Digital Versatile Disc）などのメディア３２が装着される。そして、入力部２２は、メディア３２に記録されているコンテンツを読み出し、そのコンテンツの画像（以下、適宜、入力画像という）を、例えば、１フレームづつ、特徴量抽出部２３およびコンテンツ加工部２４に供給（入力）する。
【００３４】
特徴量抽出部２３は、入力部２２から供給される入力画像の各フレームを特定するための情報である特徴量を、入力画像から抽出する。
【００３５】
コンテンツ加工部２４は、入力部２２から供給される入力画像を加工し、その結果得られる出力画像を、出力部２６に供給する。
【００３６】
例えば、コンテンツ加工部２４には、ユーザの操作に応じた操作信号がユーザ操作入力部２７から供給され、コンテンツ加工部２４は、ユーザ操作入力部２７からの操作信号に応じて、入力部２２から供給される入力画像を加工し、出力画像を取得する。このとき、コンテンツ加工部２４は、入力画像に対するユーザの操作に応じた情報であって、出力画像を取得するのに必要な情報である加工情報、例えば、入力画像上の出力画像に対応する領域（図２の入力画像上の破線で囲われた領域）の中心位置と大きさを示す情報を、入力画像のフレームごとに生成し、加工情報記録再生部２５に供給する。
【００３７】
また、コンテンツ加工部２４は、再生対象の入力画像に対応する加工情報を加工情報記録再生部２５に要求し、その加工情報が加工情報記録再生部２５から供給されると、加工情報記録再生部２５からの加工情報に基づいて入力画像を加工し、その結果得られる出力画像を、出力部２６に供給する。
【００３８】
加工情報記録再生部２５は、入力画像の特徴量が特徴量抽出部２３から供給されるとともに、その入力画像に対するユーザの操作に応じた加工情報がコンテンツ加工部２４から供給されると、入力画像のフレームごとに、特徴量と加工情報とを対応付けて、加工情報記録部２８に供給する。
【００３９】
また、加工情報記録再生部２５は、入力画像の特徴量が特徴量抽出部２３から供給されるとともに、その入力画像に対応する加工情報が加工情報記録再生部２５から要求されると、特徴量抽出部２３からの特徴量に対応付けられて記憶されている加工情報を、加工情報記録部２８から読み出して、コンテンツ加工部２４に供給する。
【００４０】
出力部２６は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などのディスプレイで構成されており、コンテンツ加工部２４から供給される出力画像を表示する。
【００４１】
ユーザ操作入力部２７は、図示しないスイッチボタンなどで構成されており、ユーザによって操作され、ユーザの操作に対応した操作信号を、コンテンツ加工部２４に供給する。
【００４２】
加工情報記録部２８は、加工情報記録再生部２５から供給される特徴量と加工情報とを対応付けて記録する。なお、加工情報記録部２８は、自身に記録されている特徴量および加工情報を可搬メディア３３に出力し、記録させることができる。また、加工情報記録部２８は、他の装置において取得された特徴量と加工情報が対応付けられて記録された可搬メディア３３から、その特徴量および加工情報を読み出して記録することができる。
【００４３】
教師データ取得部２９は、後述の図４を参照して説明するように、学習用のコンテンツが記録されたメディア３２から学習用の教師データを読み出し、学習部３０に供給する。
【００４４】
学習部３０は、加工情報記録部２８に記憶されている加工情報を、学習用の生徒データとし、教師データ取得部２９から供給された学習用の教師データを用いて、所定の演算を行うことによって、ユーザの操作の特徴が反映された出力画像を出力するための加工情報（以下、適宜、ユーザに特化した加工情報という）を生成するための予測係数を算出する処理である学習処理を行う。学習部３０は、学習処理の結果得られる予測係数（ユーザアルゴリズム）を、ユーザアルゴリズム記録部３１に供給して記憶させる。
【００４５】
また、学習部３０は、加工情報記録部２８に記憶されている加工情報と、学習処理において取得した予測係数とを用いて、所定の演算を行うことによって、ユーザに特化した加工情報を生成する処理を行う。学習部３０は、ユーザに特化した加工情報を、加工情報記録部２８に供給して記憶させる。
【００４６】
ユーザアルゴリズム記録部３１は、学習部３０から供給される予測係数を記録する。なお、ユーザアルゴリズム記録部３１は、自身に記録されている予測係数を、可搬メディア３４に出力して記録させることができる。また、ユーザアルゴリズム記録部３１は、他の装置において学習処理が行われた結果得られる予測係数が記録された可搬メディア３４から、その予測係数を読み出して記録することができる。
【００４７】
以上のように構成される画像処理装置２１では、例えば、学習用のコンテンツを用いて学習が行われた結果得られる予測係数が、ユーザアルゴリズム記録部３１に記録される。また、任意のコンテンツの画像に対するユーザの操作に応じて得られる加工情報と、ユーザアルゴリズム記録部３１に記録されている予測係数とを用いて、ユーザに特化した加工情報が生成され、その加工情報に基づいて加工された出力画像が出力される。
【００４８】
次に、図３は、図２の画像処理装置２１において行われる処理を説明するフローチャートである。
【００４９】
例えば、ユーザが、画像処理装置２１を購入したときなどに、学習用のコンテンツを再生させる操作を行うと処理が開始され、ステップＳ１１において、学習処理が行われ、学習処理の処理後、ステップＳ１２において、学習結果適用処理が行われる。
【００５０】
学習処理において、画像処理装置２１は、学習用のコンテンツの画像に対するユーザの操作に基づいて、ユーザの操作が反映された加工情報を生成するための予測係数を、学習結果として取得する。なお、学習処理については、後述する図８のフローチャートを参照して説明する。
【００５１】
学習結果適用処理において、画像処理装置２１は、ユーザが任意のコンテンツの画像に対して行った操作に応じた加工情報と、ステップＳ１１での学習処理の結果得られた学習結果である予測係数とを用いて、ユーザに特化した加工情報を生成し、その加工情報に基づいて加工された出力画像を出力する。なお、学習結果適用処理については、後述する図９のフローチャートを参照して説明する。
【００５２】
ここで、図４を参照して、画像処理装置２１において行われる学習処理で用いられる生徒データと教師データとの関係について説明する。
【００５３】
なお、学習用のコンテンツの画像として、図２に示すような入力画像、例えば、水平方向に移動する被写体が撮影された画像が用いられる例について説明する。このような学習用のコンテンツの画像を用いた学習処理では、例えば、教師データとして、入力画像上の座標であって、移動する被写体の中心の座標が用いられる。また、生徒データとして、入力画像上の座標であって、ユーザの操作に応じて移動する出力画像に対応する領域（例えば、図２の入力画像上の破線で囲われている領域）の中心の座標が用いられる。
【００５４】
図４において、横軸は、左から右に向かって、時刻の経過を示しており、縦軸は、入力画面上の水平方向の位置（座標）を示している。
【００５５】
図４には、学習用のコンテンツから読み出される教師データと、ユーザが学習用のコンテンツの画像に対する操作を３回繰り返したときに得られる３つの生徒データとが示されている。
【００５６】
即ち、軌跡Ｌ０は、教師データに対応し、被写体の中心の座標が描く軌跡を表している。軌跡Ｌ１乃至Ｌ３は、生徒データに対応し、出力画像に対応する領域の中心の座標が描く軌跡を表している。また、軌跡Ｌ１は、ユーザの１回目の操作により得られる生徒データに対応し、軌跡Ｌ２は、ユーザの２回目の操作により得られる生徒データに対応し、軌跡Ｌ３は、ユーザの３回目の操作により得られる生徒データに対応する。
【００５７】
一般に、ユーザが操作を繰り返すたびに、出力画像は、ユーザが意図する画像に近づいていく。従って、例えば、図４に示すように、時刻Ｔ１乃至Ｔ２の区間では、軌跡Ｌ１とＬ２との間に軌跡Ｌ３が存在することより、ユーザが意図する出力画像の中心の位置は、軌跡Ｌ１とＬ２との間にあると考えられる。また、時刻Ｔ２乃至Ｔ３の区間では、軌跡Ｌ１より上にある軌跡Ｌ２よりも上に軌跡Ｌ３が存在することより、ユーザが意図する出力画像の中心の位置は、軌跡Ｌ３よりも上にあると考えられる。
【００５８】
即ち、図４に示すように、ユーザが意図する出力画像の中心の位置は、ユーザが操作を繰り返すに従い、軌跡Ｌ０に近づいている。従って、ユーザが操作を繰り返すことにより得られる学習データと、教師データとを用いた学習処理により、ユーザが意図する出力画像の中心の位置を求めることができる予測係数を算出することができる。
【００５９】
次に、図５は、図４で説明したような学習用のコンテンツを用いて行われた実験の結果得られた生徒データと、その学習用のコンテンツの教師データを示す図である。
【００６０】
図５では、ユーザが、学習用のコンテンツの画像に対する操作を６回繰り返したときに得られる６つの生徒データが示されている。また、図５において、縦軸の下側が、入力画面の左側に対応し、縦軸の上側が入力画面の右側に対応する。
【００６１】
次に、図６は、図５のある時刻（フレーム）における生徒データについての、水平方向の位置と、垂直方向の位置との関係を示す図である。
【００６２】
図６では、ユーザが、学習用のコンテンツの画像に対する操作を４回繰り返したときに得られる４つの生徒データが示されている。
【００６３】
図５および図６に示すように、ユーザが操作を繰り返すに従い、生徒データは、教師データに近づいていく傾向があることがわかる。
【００６４】
図２の学習部３０では、このような教師データと生徒データとを用いて、ユーザに特化した加工情報を生成するための予測係数が算出される。
【００６５】
次に、図７は、図２の学習部３０の構成例を示すブロック図である。
【００６６】
図７において、学習部３０は、クラス分類部４１および予測処理部４２から構成される。
【００６７】
クラス分類部４１は、加工情報記録部２８に記録されている加工情報を読み出し、加工情報を分類するためのクラス番号を算出して、予測処理部４２に供給する。
【００６８】
クラス分類部４１は、加工情報を、その値に応じてソートし、ソートされた順番で、所定の演算を行って、クラス番号を算出する。
【００６９】
例えば、加工情報として、図４を参照して説明したような、ユーザの操作に応じて移動する出力画像に対応する領域の中心の座標を用い、ユーザが操作を４回行ったときに得られる加工情報（例えば、ユーザが、操作を４回以上行ったときには、直近の４回の操作から得られる加工情報）を用いてクラス番号を算出する例について説明する。
【００７０】
ある時刻（フレーム）において、ユーザの１回目の操作により得られた座標がＡ0であり、ユーザの２回目の操作により得られた座標がＡ1であり、ユーザの３回目の操作により得られた座標がＡ2であり、ユーザの４回目の操作により得られた座標がＡ3であったとする。そして、これらの座標を、その大きさに応じてソートした結果、操作履歴の順番が、ａ0番目のデータ、ａ1番目のデータ、ａ2番目のデータ、ａ3番目のデータとなったとする。この場合、クラス番号Ｃは、次の式（１）に従って求められる。
【００７１】
【数１】
2008292885.tif 000003
・・・（１）
【００７２】
具体的には、ある時刻（フレーム）において、ユーザの１回目の操作により得られた座標が824であり、ユーザの２回目の操作により得られた座標が756であり、ユーザの３回目の操作により得られた座標が540であり、ユーザの４回目の操作により得られた座標が493であったとする。この場合、これらの座標を、その大きさに応じてソートした結果、操作履歴の順番は、ユーザの１回目の操作がａ0となり、ユーザの２回目の操作がａ1となり、ユーザの３回目の操作がａ2となり、ユーザの４回目の操作がａ3となるので、クラス番号Ｃは、次の式（２）に示す値となる。
【００７３】
【数２】
2008292885.tif 000004
・・・（２）
【００７４】
また、例えば、他の時刻（フレーム）において、ユーザの１回目の操作により得られた座標が685であり、ユーザの２回目の操作により得られた座標が852であり、ユーザの３回目の操作により得られた座標が346であり、ユーザの４回目の操作により得られた座標が523であったとする。この場合、これらの座標を、その大きさに応じてソートした結果、操作履歴の順番は、ユーザの２回目の操作がａ0となり、ユーザの１回目の操作がａ1となり、ユーザの４回目の操作がａ2となり、ユーザの３回目の操作がａ3となるので、クラス番号Ｃは、次の式（３）に示す値となる。
【００７５】
【数３】
2008292885.tif 000005
・・・（３）
【００７６】
クラス分類部４１は、このようにしてクラス番号を算出し、予測処理部４２に供給する。
【００７７】
予測処理部４２は、学習処理において、クラス分類部４１がクラス番号を求めるのに用いた加工情報と同一の加工情報を、加工情報記録部２８から読み出して学習データとし、クラス分類部４１から供給されるクラス番号ごとに、その学習データと、教師データ取得部２９から供給される教師データとを用いて、所定の予測演算を行って予測係数を算出し、ユーザアルゴリズム記録部３１に記憶させる。
【００７８】
また、予測処理部４２は、学習結果適用処理において、ユーザが任意のコンテンツの画像に対して行った操作に応じた加工情報を加工情報記録部２８から読み出し、その加工情報からクラス分類部４１が求めたクラス番号ごとに、その加工情報と、ユーザアルゴリズム記録部３１に記憶されている予測係数とを用いて、所定の予測演算を行ってユーザに特化した加工情報を生成し、加工情報記録部２８に記憶させる。
【００７９】
ここで、予測処理部４２が、ユーザに特化した加工情報（以下、適宜、予測値という）を算出するのに用いる所定の予測演算として、例えば、線形１次予測演算を採用することとすると、予測値ｙは、次の線形１次式によって求められることになる。
【００８０】
【数４】
2008292885.tif 000006
・・・（４）
【００８１】
但し、式（４）において、ｘnは、予測値ｙについての予測タップを構成する、ｎ番目（時刻）（フレーム）の加工情報を表し、ｗnは、ｎ番目の予測タップの値と乗算されるｎ番目の予測係数を表す。なお、式（４）では、予測タップが、Ｎ個の加工情報ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【００８２】
ここで、予測値ｙは、式（４）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００８３】
いま、予測値の第ｋ番目（時刻）（フレーム）の教師データをｙkと表すとともに、式（４）によって得られるその教師データｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
【００８４】
【数５】
2008292885.tif 000007
・・・（５）
【００８５】
いま、式（５）の予測値ｙk'は、式（４）にしたがって求められるため、式（５）のｙk'を、式（４）にしたがって置き換えると、次式が得られる。
【００８６】
【数６】
2008292885.tif 000008
・・・（６）
【００８７】
但し、式（６）において、ｘn,kは、第ｋ番目の予測値についての予測タップを構成するｎ番目の加工情報を表す。
【００８８】
式（６）（または式（５））の予測誤差ｅkを０とする予測係数ｗnが、予測値を予測するのに最適なものとなるが、予測値のすべての時刻について、そのような予測係数ｗnを求めることは、一般には困難である。
【００８９】
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００９０】
【数７】
2008292885.tif 000009
・・・（７）
【００９１】
但し、式（７）において、Ｋは、教師データｙkと、その教師データｙkについての予測タップを構成する加工情報ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（予測係数ｗnを求める学習に用いる学習用サンプルの数）を表す。
【００９２】
式（７）の自乗誤差の総和Ｅの最小値（極小値）は、式（８）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
【００９３】
【数８】
2008292885.tif 000010
・・・（８）
【００９４】
そこで、上述の式（６）を予測係数ｗnで偏微分すると、次式が得られる。
【００９５】
【数９】
2008292885.tif 000011
・・・（９）
【００９６】
式（８）と（９）から、次式が得られる。
【００９７】
【数１０】
2008292885.tif 000012
・・・（１０）
【００９８】
式（１０）のｅkに、式（６）を代入することにより、式（１０）は、式（１１）に示す正規方程式で表すことができる。
【００９９】
【数１１】
2008292885.tif 000013
・・・（１１）
【０１００】
式（１１）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。
【０１０１】
学習処理では、教師データｙkと、その教師データｙkについての予測タップを構成する加工情報ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットを、学習用サンプルとして多数用意し、その学習用サンプルを用いて、式（１１）の正規方程式をクラスごとにたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗnが、クラスごとに求められる。
【０１０２】
そして、学習結果適応処理では、その予測係数を用いた式（４）の予測演算を行うことによって、加工情報から予測値、即ち、ユーザに特化した加工情報が求められる。
【０１０３】
次に、図８は、図３のステップＳ１１における学習処理を説明するフローチャートである。
【０１０４】
ステップＳ２１において、画像処理装置２１では、学習用のコンテンツの画像に対するユーザの操作に応じた加工情報を記録する加工情報記録処理が行われる。加工情報記録処理では、ユーザの操作に応じて加工された出力画像が出力部２６に出力されるとともに、その出力画像を取得するのに必要な加工情報が加工情報記録部２８に記録される。
【０１０５】
ステップＳ２１の加工情報取得処理の処理後、処理はステップＳ２２に進み、画像処理装置２１では、ユーザの操作に応じて、ユーザが、ステップＳ２１の加工情報取得処理で得られた加工情報により加工された出力画像に満足したか否かが判定され、ユーザが出力画像に満足したと判定されるまで、ステップＳ２１の加工情報取得処理が繰り返して行われる。
【０１０６】
ステップＳ２２において、ユーザが出力画像に満足したと判定された場合、処理はステップＳ２３に進み、教師データ取得部２９は、学習用のコンテンツが記録されたメディア３２から学習用の教師データを読み出して、学習部３０に供給し、処理はステップＳ２４に進む。
【０１０７】
ステップＳ２４において、学習部３０は、ステップＳ２１の加工情報取得処理で加工情報記録部２８に記録された加工情報を読み出し、その加工情報を生徒データとし、ステップＳ２３で教師データ取得部２９から供給された教師データを用いて、上述したような予測演算を行って、予測係数を算出する。
【０１０８】
ステップＳ２４の処理後、処理はステップＳ２５に進み、学習部３０は、ステップＳ２１の加工情報取得処理で加工情報記録部２８に記録された加工情報と、ステップＳ２４で算出した予測係数とを用いて、上述したような予測演算を行って、ユーザに特化した加工情報を生成する。そして、学習部３０は、ユーザに特化した加工情報と、その加工情報により加工される入力画像を特定する特徴量と対応付けて、加工情報記録部２８に記録し、処理はステップＳ２６に進む。
【０１０９】
ステップＳ２６において、加工情報記録再生部２５は、ステップＳ２５で学習部３０が加工情報記録部２８に記録したユーザに特化した加工情報を読み出して、コンテンツ加工部２４に供給する。コンテンツ加工部２４は、加工情報記録再生部２５から供給されたユーザに特化した加工情報を用いて入力画像を加工し、その結果得られる出力画像を出力部２６に出力する。
【０１１０】
ステップＳ２６の処理後、処理はステップＳ２７に進み、画像処理装置２１では、ユーザの操作に応じて、ユーザが学習結果に満足したか否か、即ち、ステップＳ２５での予測演算の結果得られた加工情報により加工され、ステップＳ２６で出力される出力画像に、ユーザが満足したか否かを判定する。
【０１１１】
ステップＳ２７において、ユーザが学習結果に満足したと判定された場合、処理はステップＳ２８に進み、一方、ユーザが学習結果に満足したと判定されなかった場合、処理はステップＳ２１に戻り、以下、同様の処理が繰り返される。
【０１１２】
ステップＳ２８において、学習部３０は、ステップＳ２４で算出した予測係数をユーザアルゴリズム記録部３１に記憶させ、学習処理は終了される。
【０１１３】
次に、図９は、図３のステップＳ１２における学習結果適用処理を説明するフローチャートである。
【０１１４】
ステップＳ３１において、画像処理装置２１では、任意のコンテンツの画像に対するユーザの操作に応じた加工情報を記録する加工情報記録処理が行われる。加工情報記録処理では、ユーザの操作に応じて加工された出力画像が出力部２６に出力されるとともに、その出力画像を取得するのに必要な加工情報が加工情報記録部２８に記録される。
【０１１５】
ステップＳ３１の処理後、処理はステップＳ３２に進み、画像処理装置２１では、あらかじめ設定されている規定回数の加工情報が加工情報記録部２８に記録されたか否か、または、ユーザの操作に応じて、ユーザが、ステップＳ３１の加工情報取得処理で得られた加工情報により加工された出力画像に満足したか否かが判定され、規定回数の加工情報が加工情報記録部２８に記録されたと判定されるまで、または、ユーザが出力画像に満足したと判定されるまで、ステップＳ３１の加工情報記録処理が繰り返して行われる。
【０１１６】
ステップＳ３２において、規定回数の加工情報が加工情報記録部２８に記録されたと判定された場合、または、ユーザが出力画像に満足したと判定された場合、処理はステップＳ３３に進み、学習部３０は、ステップＳ３１の加工情報取得処理で加工情報記録部２８に記録された加工情報を読み出し、その加工情報と、ユーザアルゴリズム記録部３１に記憶されている予測係数とを用いて、上述したような予測演算を行って、ユーザに特化した加工情報を生成する。そして、学習部３０は、ユーザに特化した加工情報と、その加工情報により加工される入力画像を特定する特徴量と対応付けて、加工情報記録部２８に記録する。
【０１１７】
ステップＳ３３の処理後、処理はステップＳ３４に進み、加工情報記録再生部２５は、ステップＳ３３で学習部３０が加工情報記録部２８に記録したユーザに特化した加工情報を読み出して、コンテンツ加工部２４に供給する。コンテンツ加工部２４は、加工情報記録再生部２５から供給されたユーザに特化した加工情報を用いて入力画像を加工し、その結果得られる出力画像を出力部２６に出力して、処理はステップＳ３５に進む。
【０１１８】
ステップＳ３５において、画像処理装置２１では、ユーザの操作に応じて、ユーザが、ユーザに特化した加工情報に基づいて入力画像が加工されて得られた出力画像に満足したか否かが判定される。
【０１１９】
ステップＳ３５において、ユーザが、ユーザに特化した加工情報に基づいて入力画像が加工されて得られた出力画像に満足したと判定された場合、処理はステップＳ３６に進み、画像処理装置２１では、再生の対象となっているコンテンツと、ステップＳ３３でユーザ加工情報記録部２８に記録されたユーザに特化した加工情報との対応付けが行われる。これにより、ユーザが、このコンテンツを次回再生するときに、ユーザに特化した加工情報を用いて、入力画像の加工が行われる。
【０１２０】
一方、ステップＳ３５において、ユーザが、ユーザに特化した加工情報に基づいて入力画像が加工されて得られた出力画像に満足していないと判定された場合、処理はステップＳ３７に進み、画像処理装置２１では、ユーザの操作に応じて、ユーザが操作を再度行って加工情報をさらに蓄積させるか否か、即ち、加工情報記録処理を再度行うか否かが判定される。
【０１２１】
ステップＳ３７において、加工情報記録処理を再度行わないと判定された場合、処理はステップＳ３８に進み、一方、加工情報記録処理を再度行うと判定された場合、処理はステップＳ３１に戻り、以下、同様の処理が繰り返される。
【０１２２】
ステップＳ３８において、画像処理装置２１では、再生の対象となっているコンテンツと、加工情報記録部２８に記録されている加工情報のうち、例えば、ユーザの最後の操作に応じた加工情報との対応付けが行われる。これにより、ユーザが、このコンテンツを次回再生するときに、ユーザの最後の操作に応じた加工情報を用いて、入力画像の加工が行われる。
【０１２３】
ステップＳ３６またはＳ３８の処理後、学習結果適用処理は終了される。
【０１２４】
次に、図１０は、図８のステップＳ２１、または図９のステップＳ３１における加工情報記録処理を説明するフローチャートである。なお、図８のステップＳ２１においては、学習用のコンテンツの画像に対して加工情報記録処理が行われ、図９のステップＳ３２においては、任意のコンテンツの画像に対して加工情報記録処理が行われる。
【０１２５】
ステップＳ４１において、メディア３２に記録されている再生対象のコンテンツの再生が開始され、入力部２２は、メディア３２からコンテンツの画像を読み出して、コンテンツ加工部２４への入力画像の供給を開始する。
【０１２６】
ステップＳ４１の処理後、処理はステップＳ４２に進み、コンテンツ加工部２４は、ユーザの操作があったか否か、即ち、ユーザ操作入力部２７からユーザの操作に応じた操作信号が供給されたか否かを判定する。
【０１２７】
ステップＳ４２において、コンテンツ加工部２４が、ユーザの操作があったと判定した場合、処理はステップＳ４３に進み、コンテンツ加工部２４は、ユーザの操作に応じて、即ち、ユーザ操作入力部２７から供給される操作信号に応じて、入力部２２から供給される入力画像を加工し、出力画像を取得する。
【０１２８】
ステップＳ４３の処理後、処理はステップＳ４４に進み、コンテンツ加工部２４は、ステップＳ４３で取得した出力画像の加工情報を生成し、その加工情報を加工情報記録再生部２５に供給して、処理はステップＳ４５に進む。
【０１２９】
ステップＳ４５において、コンテンツ加工部２４は、ステップＳ４３で取得した出力画像を出力部２６に出力し、出力部２６は、その出力画像を表示して、処理はステップＳ４６に進む。
【０１３０】
ステップＳ４６において、特徴量抽出部２３は、ステップＳ４３でコンテンツ加工部２４が加工した入力画像を特定する特徴量を、その入力画像から抽出し、その特徴量を加工情報記録再生部２５に供給して、処理はステップＳ４７に進む。
【０１３１】
ステップＳ４７において、加工情報記録再生部２５は、ステップＳ４４でコンテンツ加工部２４から供給された加工情報と、ステップＳ４６で特徴量抽出部２３から供給された特徴量とを対応付けて加工情報記録部２８に供給して記憶させる。
【０１３２】
ステップＳ４７の処理後、処理はステップＳ４８に進み、コンテンツ加工部２４は、ステップＳ４１で再生が開始されたコンテンツの再生が終了したか否か、即ち、コンテンツの全ての画像が供給されたか否かを判定する。
【０１３３】
ステップＳ４８において、コンテンツ加工部２４が、コンテンツの再生が終了していないと判定した場合、処理はステップＳ４２に戻り、以下、同様の処理が繰り返される。
【０１３４】
一方、ステップＳ４２において、コンテンツ加工部２４が、ユーザの操作がなかったと判定した場合、処理はステップＳ４９に進む。
【０１３５】
ステップＳ４９において、コンテンツ加工部２４は、直前のステップＳ４４で生成した加工情報に基づいて、入力画像を加工し、出力画像を取得する。なお、ステップＳ４１でコンテンツの再生を開始してから、ユーザによる操作が行われるまでは、コンテンツ加工部２４は、デフォルトの加工情報、即ち、入力画像と同一の出力画像を取得するような加工情報に基づいて、出力画像を取得する。
【０１３６】
ステップＳ４９の処理後、処理はステップＳ４５に進み、以下、上述した処理が行われる。なお、この場合、ステップＳ４５乃至Ｓ４７では、ステップＳ４９でコンテンツ加工部２４が取得した出力画像、および、その出力画像の取得に用いられた加工情報が用いられる。
【０１３７】
一方、ステップＳ４８において、コンテンツ加工部２４が、コンテンツの再生が終了したと判定した場合、処理は終了される。
【０１３８】
以上のように、画像処理装置２１では、ユーザの操作に応じた加工情報と、教師データとを用いた学習により、ユーザの操作の特徴が反映された出力画像を出力するための加工情報を生成するための予測係数を取得することができる。
【０１３９】
そして、その予想係数と、ユーザの操作に応じた加工情報とを用いた演算により、ユーザに特化した加工情報を取得することができ、このユーザに特化した加工情報を用いて入力画像を加工することで、ユーザの操作の特徴が反映された出力画像、即ち、ユーザが意図する出力画像を出力することができる。
【０１４０】
即ち、ユーザの操作に応じた加工情報を用いてのみ、入力画像を加工していた場合には、ユーザが満足する出力画像を出力するまでには、ユーザは、操作を多数の回数繰り返さなければならなかったが、ユーザに特化した加工情報を用いることにより、ユーザは、従来よりも少ない回数の操作を繰り返すだけで、ユーザが満足する出力画像を得ることができる。さらに、ユーザに特化した加工情報を用いることで、ユーザの操作に応じた加工情報を用いただけでは得られないような、より高い精度の出力画像を得ることができる。
【０１４１】
また、ユーザに特化した加工情報を生成するための予測係数を、ユーザの複数回の操作（操作履歴）を用いた学習により求めることで、単に、ユーザにより選択または入力されたパラメータなどを用いて、予測係数を求める場合よりも、ユーザの意図をより正確に推測することができる。また、このように、学習により予測係数を求めることにより、全自動処理を全体に配布することなく、より精度の高い予測係数を得ることができる。また、全自動処理が搭載された装置より、安価な装置で、予測係数を求めることができるとともに、処理に対するロバスト性が高い予測係数を求めることができる。
【０１４２】
なお、本発明は、画像処理装置２１の他、例えば、ユーザの操作に応じて、例えば、所定の動作を繰り返して行うクレーンなどの機器を制御する制御情報を加工する情報処理装置に適用することができる。
【０１４３】
即ち、図１１乃至１３は、本発明を適用した情報処理装置の一実施の形態の構成例を示すブロック図である。
【０１４４】
図１１乃至１３において、情報処理装置５１は、加工情報記録部２８、ユーザアルゴリズム記録部３１、クラス分類部４１、予測処理部４２、機器制御部５２、および制御対象機器５３から構成される。なお、図１１乃至１３では、図２の画像処理装置２１と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１４５】
即ち、図１１乃至１３の情報処理装置５１は、加工情報記録部２８、ユーザアルゴリズム記録部３１、クラス分類部４１、および予測処理部４２を備える点で、図２の画像処理装置２１と共通する。但し、情報処理装置５１は、機器制御部５２および制御対象機器５３を備える点で、画像処理装置２１と異なっている。
【０１４６】
機器制御部５２には、ユーザの操作に応じた加工情報が供給され、機器制御部５２は、ユーザの操作に応じた加工情報に基づいて、制御対象機器５３を制御する制御情報を生成し、制御対象機器５３に供給する。
【０１４７】
また、機器制御部５２には、学習により得られた予測係数と、ユーザの操作に応じた加工情報とを用いた演算により求められるユーザに特化した加工情報が、予測処理部４２から供給される。機器制御部５２は、ユーザに特化した加工情報に基づいて、制御対象機器５３を制御する制御情報を生成し、制御対象機器５３に供給する。
【０１４８】
制御対象機器５３は、例えば、クレーンを用いたゲーム機器や、実物のクレーン重機などであり、機器制御部５２から供給される制御情報に従って動作する。
【０１４９】
このように構成されている情報処理装置５１では、図１１に示すように、ユーザの操作に応じた加工情報が、機器制御部５２と加工情報記録部２８に供給される。加工情報記録部２８は、その加工情報を蓄積し、機器制御部５２は、その加工情報に基づいて、制御対象機器５３を制御する制御情報を生成して制御対象機器５３に供給し、制御対象機器５３は、機器制御部５２からの制御情報に従って動作する。
【０１５０】
そして、加工情報記録部２８に、所定の回数の加工情報が蓄積されると、図１２に示すように、あらかじめ用意された教師データ（例えば、熟練した操作者の操作に応じた加工情報）と、加工情報記録部２８に蓄積された加工情報と、クラス分類部４１が加工情報記録部２８に蓄積された加工情報から求めたクラス番号とが、予測処理部４２に供給される。予測処理部４２は、上述したような予測演算を行って、ユーザに特化した加工情報を生成するための予測係数を生成し、ユーザアルゴリズム記録部３１に記憶させる。
【０１５１】
その後、予測処理部４２は、ユーザアルゴリズム記録部３１に記録されている予測係数と、加工情報記録部２８に記録されている加工情報とを用いて、上述したような予測演算を行って、ユーザに特化した加工情報を生成する。そして、図１３に示すように、予測処理部４２は、ユーザに特化した加工情報を機器制御部５２に供給する。機器制御部５２は、ユーザに特化した加工情報に基づいて、制御対象機器５３を制御する制御情報を生成して、制御対象機器５３に供給し、制御対象機器５３は、制御情報に従って動作する。
【０１５２】
また、ユーザの操作に従って、機器制御部５２に供給される加工情報を切り替えることができ、加工情報記録部２８に記憶されている加工情報を機器制御部５２に供給することもできる。
【０１５３】
さらに、本発明は、画像処理装置２１や情報処理装置５１の他、例えば、自動車や、飛行機、無線コントロール玩具（いわゆる、ラジコン）、家電など、ユーザの操作に応じた加工情報を蓄積することができる装置に適用することができる。
【０１５４】
なお、学習処理において用いられる教師データとしては、学習用のコンテンツから読み出す他、例えば、教師データ取得部２９が、入力画像の被写体をトラッキングすることにより求められる座標を用いてもよい。
【０１５５】
また、本実施の形態においては、最小自乗法を利用した学習についての説明をしたが、最小自乗法を利用した学習の他、例えば、ニューラルネットワークを利用した学習を用いることができる。
【０１５６】
例えば、ニューラルネットワークを利用した学習では、ユーザの操作に応じた加工情報と、学習用の教師データとを用いて、非線形の伝達関数を利用した演算を行うことにより、ニューラルネットワークの各ノードの結合の強度を表す結合係数が求められる。そして、この結合係数と、ユーザの操作に応じた加工情報とを用いて、非線形の伝達関数を利用した演算を行うことで、ユーザに特化した加工情報が求められる。
【０１５７】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１５８】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１５９】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１６０】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１６１】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１６２】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１６３】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１６４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１６５】
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【０１６６】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１６７】
【図１】従来の画像処理装置の一例の構成を示すブロック図である。
【図２】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図３】画像処理装置２１において行われる処理を説明するフローチャートである。
【図４】画像処理装置２１において行われる学習処理で用いられる生徒データと教師データとの関係を説明する図である。
【図５】実験の結果得られた生徒データと、その学習用のコンテンツの教師データを示す図である。
【図６】ある時刻における生徒データについての、水平方向の位置と、垂直方向の位置との関係を示す図である。
【図７】学習部３０の構成例を示すブロック図である。
【図８】学習処理を説明するフローチャートである。
【図９】学習結果適用処理を説明するフローチャートである。
【図１０】加工情報記録処理を説明するフローチャートである。
【図１１】本発明を適用した情報処理装置の一実施の形態の構成例を示すブロック図である。
【図１２】本発明を適用した情報処理装置の一実施の形態の構成例を示すブロック図である。
【図１３】本発明を適用した情報処理装置の一実施の形態の構成例を示すブロック図である。
【図１４】パーソナルコンピュータの構成の例を示すブロック図である。
【符号の説明】
【０１６８】
２１  画像処理装置，  ２２  入力部，  ２３  特徴量抽出部，  ２４  コンテンツ加工部，  ２５  加工情報記録再生部，  ２６  出力部，  ２７  ユーザ操作入力部，  ２８  加工情報記録部，  ２９  教師データ取得部，  ３０  学習部，  ３１  ユーザアルゴリズム記録部，  ３２  メディア，  ３３および３４  可搬メディア，  ４１  クラス分類部４１，  ４２  予測処理部，  ５１  情報処理装置，  ５２  機器制御部，  ５３  制御対象機器
【図１】
2008292885.tif 000014
【図２】
2008292885.tif 000015
【図３】
2008292885.tif 000016
【図４】
2008292885.tif 000017
【図５】
2008292885.tif 000018
【図６】
2008292885.tif 000019
【図７】
2008292885.tif 000020
【図８】
2008292885.tif 000021
【図９】
2008292885.tif 000022
【図１０】
2008292885.tif 000023
【図１１】
2008292885.tif 000024
【図１２】
2008292885.tif 000025
【図１３】
2008292885.tif 000026
【図１４】
2008292885.tif 000027