(57)【特許請求の範囲】
【請求項１】
被写体を撮影した動画像の画像データを表示デバイスに表示させる画像表示制御装置であって、
被写体を撮影するカメラを基準とした直交座標系によって記述された被写体の位置情報を生成する位置生成部と、
前記位置生成部が生成した被写体の位置情報を動画像のフレーム単位で記憶するコンテンツ管理部と、
前記座標系での奥行き方向の被写体の座標を表示デバイスの縦軸の座標に対応付け、前記座標系での横軸方向の被写体の座標を表示デバイスの横軸の座標に対応付け、動画像の各フレームの表示位置を決定する表示位置決定部と、
前記表示位置決定部が決定した表示位置に動画像を表示する信号を表示デバイスに送信する表示デバイス制御部とを備える画像表示制御装置。
【請求項２】
前記画像表示制御装置は、さらに、
表示デバイスから表示可能領域のサイズを取得する表示画面領域サイズ取得部と、
動画像の各フレームにおける被写体の位置を特定する画像解析部と、を備え、
前記コンテンツ管理部は、前記被写体の位置情報と、画像解析部が解析した動画像の各フレームにおける被写体の画像内位置情報とを、前記動画像のフレーム単位で対応付けて記憶し、
前記表示位置決定部は、前記表示画面領域サイズ取得部から取得した表示可能領域のサイズと、前記直交座標系における前記被写体の位置の最大値、最小値を用いて、表示位置が表示可能領域の外に出ないように、位置情報と表示位置の対応関係を決定した上で、前記被写体の画像内位置情報を用いて、前記動画像の表示位置を補正することを特徴とする請求項１記載の画像表示制御装置。
【請求項３】
前記画像解析部は、前記動画像の各フレームにおける被写体の大きさを特定し、
前記コンテンツ管理部は、前記動画像の画像データと、前記被写体の位置情報と、前記被写体の画像内位置情報と、前記画像解析部が解析した前記被写体の大きさ情報とをフレーム単位で対応付けて記憶し、
前記表示位置決定部は、前記画像解析部が出力した被写体の大きさを用いて、表示される被写体の大きさが一定になるよう前記動画像の各フレームの拡大縮小率を算出し、
前記表示デバイス制御部は、前記表示位置決定部が決定した表示位置に、前記表示位置決定部が決定した拡大縮小率で拡大縮小した動画像を表示する信号を表示デバイスに送信することを特徴とする請求項２記載の画像表示制御装置。
【請求項４】
前記画像解析部は、前記動画像の各フレームにおける被写体の大きさを特定し、
前記コンテンツ管理部は、前記動画像の画像データと、前記被写体の位置情報と、前記被写体の画像内位置情報と、前記画像解析部が解析した前記被写体の大きさ情報と、前記動画像のズーム値をフレーム単位で対応付けて記憶し、
前記表示位置決定部は、前記画像解析部が出力した被写体の大きさとズーム値を用いて、表示される被写体の大きさが被写体を撮影するカメラからの距離に応じて変化するよう前記動画像の各フレームの拡大縮小率を算出し、
前記表示デバイス制御部は、前記表示位置決定部が決定した表示位置に、前記表示位置決定部が決定した拡大縮小率で拡大縮小した動画像を表示する信号を表示デバイスに送信することを特徴とする請求項２記載の画像表示制御装置。
【請求項５】
前記位置生成部は、さらに、被写体を撮影するカメラの撮影範囲と被写体の位置関係を検出する位置関係検出部を備え、
前記画像解析部は、前記動画像内に被写体を検出できなかった場合、位置関係検出部から取得した位置関係情報をもとに、動画像データ領域外で、前記位置関係に対応する座標を被写体位置情報とすることを特徴とする請求項２、３、４のいずれかに記載の画像表示制御装置。
【請求項６】
前記表示デバイス制御部は、さらに、前記被写体の位置情報の示す位置にアイコンを表示する信号を表示デバイスに送信するアイコン表示制御部を備え、
アイコン表示制御部は、前記画像解析部が動画像の各フレーム内に被写体を検出できなかった場合に、アイコンを表示する信号を送信することを特徴とする請求項５記載の画像表示制御装置。
【請求項７】
被写体を撮影した動画像の画像データを表示デバイスに表示させる画像表示方法であって、
動画像の各フレームと、被写体を撮影するカメラを基準とした直交座標系により記述された位置情報とをフレーム単位で対応付けて記憶する記憶ステップと、
前記座標系での奥行き方向の被写体の座標を表示デバイスの縦軸の座標に対応付け、前記座標系での横軸方向の被写体の座標を表示デバイスの横軸の座標に対応付け、動画像の各フレームの表示位置を決定する表示位置決定ステップと、
前記表示位置決定ステップが決定した表示位置に動画像を表示する信号を表示デバイスに送信する表示デバイス制御ステップと、を含むことを特徴とする画像表示方法。
【請求項８】
被写体を撮影した動画像の画像データを表示デバイスに表示させる集積回路であって、
動画像の各フレームと、被写体を撮影するカメラを基準とした直交座標系により記述された位置情報とをフレーム単位で対応付けて記憶するコンテンツ管理手段と、
前記座標系での奥行き方向の被写体の座標を表示デバイスの縦軸の座標に対応付け、前記座標系での横軸方向の被写体の座標を表示デバイスの横軸の座標に対応付け、動画像の各フレームの表示位置を決定する表示位置決定手段と、
前記表示位置決定手段が決定した表示位置に動画像を表示する信号を表示デバイスに送信する表示デバイス制御手段と、を備えることを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示デバイスを駆動する画像表示制御装置、画像表示制御方法、及び、画像表示制御装置で用いられる集積回路に関するものである。
【背景技術】
【０００２】
従来、テレビジョン放送番組、デジタルスチルカメラやデジタルムービーなどで撮影された画像を表示する画像表示制御装置においては、映像を画面全体に表示するのが通常の使用態様であった。ところが、近年、画像表示制御装置が高解像度の大画面を有するようになるに伴い、撮影された画像よりも大きい表示可能領域内で、画像を移動させて表示する技術が提案されている。
【０００３】
例えば、特許文献１では、表示される画像から動きベクトルを画像処理により抽出し、動きベクトルの重み付け加算と平均化により、画像毎の主な動き情報を抽出する。或いは表示される画像がＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）など動き情報を内部に格納した動画像フォーマットで記述されている場合、その動画像データから動きベクトルを抽出し、上述した手法により画像毎の主な動き情報を抽出する。そして、その動き情報に応じて表示画像の位置を表示可能領域内で移動させる技術が開示されている。ところが、この技術は、被写体の動きに合わせて画像の表示位置を移動させてしまうため、表示中に画像が画像表示領域から外れてしまい、画像を正しく表示することができなくなる課題があった。
【０００４】
特許文献２では、以上の課題を解決する技術が開示されている。具体的には、画像のシーンチェンジを検出し、シーンにおける移動の振れ幅の中心にある画像が表示可能領域の中心に表示されるように、そして、画像が表示可能領域内に表示されるように、表示可能領域内での移動量を縮小して移動させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−３０１５５６号公報
【特許文献２】特開２００３−２５６８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来の技術では、表示画像の動きベクトルに応じて、表示位置を移動させるため、画像表示制御装置が表示する画像を撮影するカメラの撮像面に対して平行な方向への被写体の動きは再現できるが、そのカメラの光軸方向（奥行き方向）に関する被写体の動きは再現しづらい。この理由を図２３〜２５の具体例により詳細に説明する。
【０００７】
図２３は、画像表示制御装置が表示する画像を撮影するカメラの座標系と、その座標系において被写体が移動する例を示す。図中のＸ軸はカメラの撮像面の右方向、Ｙ軸は撮像面の下方向、Ｚ軸はカメラの光軸方向（つまり、奥行き方向）を示し、カメラはＸ軸が水平方向にＹ軸が鉛直下向きに固定されているものとする。また、点線で示したように被写体がカメラに向かって近づいて移動しており、点線上に黒丸で表示した各時点において、吹出しで示された画像が撮影されているものとする。なお、画像の左上隅にはそれぞれの画像を識別するための番号を付しており、後述する図２４、図２５において、同じ番号の画像はそれぞれ対応する画像であることを示す。
【０００８】
図２４は、このように取得した画像を従来技術で表示した画像である。図２３の例では画像上で被写体が拡大されることによる動きベクトルも生じるが、この動きベクトルの成分は多方向に分散されるので、特許文献１のように動きベクトルを重み付け加算し、平均をとると多くが相殺される。ゆえに、被写体のＸＹ方向への移動による動きベクトルが主に検出される。さらに、図２３の例では、被写体は飛び上がるなどの上下方向の動きを行っていないので、Ｙ方向の動き情報は画像から殆ど検出されない。
【０００９】
したがって、従来技術では、被写体はカメラに近づく移動もしているにもかかわらず、図２４に示すように、主に大画面の横方向（Ｘ方向）に画像が移動しているようにしか表示されない。ゆえに、従来技術では、被写体の動きを一部しか再現しておらず、表示のダイナミックさに欠ける問題があった。
【００１０】
それ故に、本発明の目的は、表示画像よりも大きい表示可能領域に対して、被写体の空間中の位置に応じた表示位置で画像の表示を行うことで、被写体の空間中の移動、特に奥行き方向への移動を再現することを目的とする。より具体的には、図２５に示すように、奥行き方向への移動を表示画像の上下方向への移動で表現することによって、被写体をダイナミックに表示することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の画像表示制御装置は、表示デバイスを駆動する画像表示制御装置であって、動画像の画像データと、被写体を撮影するカメラを基準とした直交座標系により記述された被写体の位置情報をフレーム単位で対応付けて記憶するコンテンツ管理部と、前記座標系での奥行き方向の被写体の座標を表示デバイスの縦軸の座標に対応付け、前記座標系での横軸方向の被写体の座標を表示デバイスの横軸の座標に対応付け、動画像の表示位置を決定する表示位置決定部と、前記表示位置決定部が決定した表示位置に動画像を表示する信号を表示デバイスに送信する表示デバイス制御部とを備える。
【発明の効果】
【００１２】
上記構成により、本発明は、被写体を撮影するカメラの撮像面に平行な被写体の動きだけでなく、カメラの撮像面に対し垂直な奥行き方向の動きも再現して表示することが可能になる。したがって、ユーザは、カメラの撮像面に対し垂直な奥行き方向の被写体の移動を認識することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態における画像表示制御装置の構成を示すブロック図
【図２】入力画像における被写体の画像内位置の一例
【図３】表示デバイスの基準座標の一例
【図４】第１の実施形態における表示位置決定部１０６のフローチャート
【図５】表示画像における被写体の画像内位置と、表示画面上における表示画像の表示位置の一例
【図６】本発明の第１の実施形態における画像表示制御装置で図５の表示位置を修正して表示した画像の一例
【図７】被写体の位置を検出するために、測定した情報の一例
【図８】位置生成部１０３が生成した距離センサと角度センサから得られた被写体位置情報の一例
【図９】位置生成部１０３が生成したカメラ座標における被写体位置情報の一例
【図１０】画像解析部１０２が検出した被写体の画像内位置情報の一例
【図１１】仮表示位置２の一例
【図１２】表示位置の一例
【図１３】被写体が一部入力画像に含まれていない場合、画像の変わりにアイコンで被写体を表示した例
【図１４】手ブなどにより画像中の被写体位置が急激に変化された状態で被写体が撮影された際の被写体の移動軌跡と入力画像の一例
【図１５】画像中の被写体位置を考慮せず、空間中の被写体位置に合わせて図１４の入力画像を表示した例
【図１６】画像中の被写体位置を考慮して、画像を表示した例
【図１７】本発明の第２の実施形態における画像表示制御装置の構成を示すブロック図
【図１８】第２の実施形態における表示位置決定部１０６１のフローチャート
【図１９】第２の実施形態における表示位置決定部１０６１が別の動作を行う場合のフローチャート
【図２０】シーンの一部でズームされ、被写体が撮影された際の被写体の移動軌跡と入力画像の一例
【図２１】本発明の第１の実施形態における画像表示制御装置で図２０の入力画像を表示した画像の一例
【図２２】本発明の第２の実施形態における画像表示制御装置で図２０の入力画像を表示した画像の一例
【図２３】被写体が撮影された際の被写体の移動軌跡と入力画像の一例
【図２４】従来の発明における画像表示制御装置で図２３の入力画像を表示した画像の一例
【図２５】本発明の第１の実施形態における画像表示制御装置で図２３の入力画像を表示した画像の一例
【発明を実施するための形態】
【００１４】
（第１の実施形態）
以下、本発明の第１の実施形態における画像表示制御装置について、図面を参照しながら説明する。図１は本実施形態における画像表示制御装置の構成について説明するブロック図である。
【００１５】
本実施の形態における画像表示制御装置１００は、画像入力部１０１と、画像解析部１０２と、位置生成部１０３と、コンテンツ管理部１０４と、表示画面領域サイズ取得部１０５と、表示位置決定部１０６と、表示デバイス制御部１０７を備える。
【００１６】
画像入力部１０１は、動画像のストリームを入力し、符号化する。画像入力部１０１は、例えば、カメラなどを用いることができる。
【００１７】
画像解析部１０２は、画像入力部１０１の画像データを解析し、被写体の画像中の位置を検出する。この被写体は、人物、動物、車など動くものを指す。画像解析部１０２が画像データを解析するタイミングは、画像データの入力時でもよいし、中央処理装置がある一定時間以上アイドル状態であることを検知したときに、画像記憶部１０４１に記憶されている画像データを読み出して、画像データを解析してもよい。検出方法としては、例えば、被写体の顔パタンを予め学習することで、顔認識処理により画像データから被写体を検出する方法などが用いられる。また、ユーザに被写体のオブジェクトを指定させた後、他の画像においても同じオブジェクトを画像解析により抽出し、被写体の位置を特定する方法でもよい。このとき、被写体の顔だけでなく、被写体の服装の色や柄で、被写体を特定してもよい。このとき、画像解析部１０２が検出する被写体の位置は、顔を表示する領域の重心や、被写体のオブジェクトを表示する領域の重心の座標となる。
【００１８】
図２は、入力画像２００における被写体２０１の画像内位置を示す。画像の横方向をＵi軸、縦方向をＶi軸とする直交座標系で入力画像２００を表すと、画像サイズは、(Ｗi，Ｈi)と表される。ここで入力画像がＶＧＡサイズの場合、（６４０，４８０）となる。また、この例では、顔を表示する領域の重心を被写体２０１の位置としており、画像内位置は(Ｕ1，Ｖ1)のように表される。
【００１９】
位置生成部１０３は、後述する位置検出方法により検出された被写体の地理上の位置を入力し、被写体を撮影するカメラを基準とした座標系（以降、カメラ座標系と呼ぶ）での位置を生成する。そして、生成したカメラ座標系での被写体位置を被写体位置記憶部１０４３（後述）に出力する。被写体の地理上の位置を検出する位置検出方法は、例えば、距離センサと角度センサを利用し、被写体と画像表示制御装置の距離と角度を取得して位置を決定する方法、ＧＰＳを利用して位置を検出する方法、空間中にＲＦＩＤタグのリーダを予め配置しておいた上でＲＦＩＤタグにより位置を検出する手法などがある。
【００２０】
次に、カメラ座標系について説明する。この座標系は、図２３でも示したとおり、Ｘ軸をカメラの撮像面の右方向、Ｙ軸を撮像面の下方向、Ｚ軸をカメラの視線方向（つまり、奥行き方向）とする。ユーザは、カメラを通常水平方向に向けて撮影するので、Ｘ軸、Ｚ軸はほぼ水平面上にあると考えてよい。したがって、本実施の形態では、以降、Ｘ軸、Ｚ軸は水平面上にあるものとして説明する。また、ユーザは１つのシーンを撮影する場合、カメラをパンすることもある。この場合、ある基準方位をＺ軸の正方向と定め、それに垂直な水平面上の軸をＸ軸と定める。この基準方位とは例えば、北の方角でもよいし、記録開始時、記録終了時のカメラの光軸方向でもよい。
【００２１】
位置生成部１０３は、上述する位置検出手法により検出された被写体の位置情報が緯度経度などの異なる座標系での位置情報の場合、その座標系でのカメラの位置情報、カメラの光軸方向も別途求め、平行移動、回転を行って、カメラ座標系での被写体の位置情報を生成する。また、入力された被写体の位置情報がカメラを基準とした座標系であっても極座標系の場合、直交座標系であるカメラ座標系での被写体の位置情報を生成する。
【００２２】
コンテンツ管理部１０４は、画像記憶部１０４１と、画像内位置記憶部１０４２と、被写体位置記憶部１０４３を備える。画像記憶部１０４１は、画像入力部１０１により符号化された画像データを記憶する。画像内位置記憶部１０４２は、画像解析部１０２で検出された画像領域内における被写体の位置情報を画像データとフレーム単位で対応付けて記憶する。被写体位置記憶部１０４３は、位置生成部１０３により生成されたカメラ座標系での位置情報を画像データとフレーム単位で対応付けて記憶する。被写体位置記憶部１０４３は、後述する例にあるように、Ｘ座標、Ｚ座標の２次元の値で保存するとよい。
【００２３】
表示画面領域サイズ取得部１０５は、表示デバイスの画面サイズを取得する。この取得方法は、予め画像表示制御装置１００にプリセットされたデータを読み込むのでもよいし、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）などの各種インタフェースを通して、表示デバイス１０８（後述）から画面サイズを取得するのでもよい。この表示画面領域サイズは、図３に示すように、表示デバイスから表示される画像の横方向をＵd軸、縦方向をＶd軸とする直交座標系において(Ｗd，Ｈd)のように表される。例えば、スーパーハイビジョン規格の表示デバイスの場合、（７６８０，４３２０）となる。
【００２４】
表示位置決定部１０６は、画像内位置記憶部１０４２に記憶されている画像領域内における画像内位置情報と、被写体位置記憶部１０４３に記憶されている被写体のカメラ座標系での位置情報と、表示画面領域サイズ取得部１０５から取得した表示デバイスの画面サイズ情報とを利用して、表示デバイス１０８上での表示位置を決定する。表示位置決定部１０６の処理の詳細は後述する。
【００２５】
表示デバイス制御部１０７は、表示位置決定部１０６で決定した表示位置に、画像記憶部１０４１で記憶した画像データを表示する信号を表示デバイス１０８に送信する。表示デバイス１０８は、液晶、プラズマ、ブラウン管、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）などの各種表示デバイスを指す。なお、本実施例では、表示デバイス１０８を画像表示制御装置１００の外に持つ構成としたが、表示デバイス１０８を画像表示制御装置１００の構成要素に加えてもよい。
【００２６】
次に、本発明の表示位置決定部１０６の詳細な処理の流れについて説明する。図４は表示位置決定部１０６の表示位置を決定する処理のフローチャートを示す。
【００２７】
まず、表示位置決定部１０６は、被写体位置記憶部１０４３に記憶されている被写体位置のＸ座標、Ｚ座標の最大差分を算出する（Ｓａ１）。このＸ座標の最大差分、Ｚ座標の最大差分を以降Ｄx、Ｄzと表すこととする。また、この差分を算出する際に求まるＸ座標の最大値、最小値をそれぞれＸmax、Ｘmin、Ｚ座標の最大値、最小値をそれぞれＺmax、Ｚminと表すことにする。
【００２８】
次に、表示位置決定部１０６は、表示画面領域サイズ取得部１０５が取得した表示画面の領域サイズ(Ｗd，Ｈd)と画像内位置記憶部１０４２に記憶されている画像内位置情報を取得する。そして、表示画面の有効領域サイズを算出する（Ｓａ２）。図５は、領域サイズが(Ｗd，Ｈd)である表示画面３００全体で、カメラ座標系における全ての被写体位置を表示できるように、被写体位置に該当するＵd、Ｖd座標を求め、その座標が被写体２０１の画像内位置となるように、各被写体の画像を表示した例である。図５では、入力画像２０３、２０４、２０５、２０６に対応する各被写体位置が、カメラ座標系において、Ｘ座標最小、Ｚ座標最大、Ｘ座標最大、Ｚ座標最小となる。これらの入力画像は、図５のように、表示画面３００の左隅、上端、右隅、下端に配置される。このように表示画面の領域全体に対して被写体の表示位置を決めると、表示画像２０３、２０４、２０５、２０６の左半分、上半分、右半分、下半分が欠けて表示されることになる。そこで、表示画面の領域サイズと画像内位置情報から、表示画面の有効領域を縮小することで、表示画像が欠ける問題を解決する。
【００２９】
具体的には、表示画像２０３の場合、図６に示すように、Ｕd軸の正方向にＵ3だけ領域サイズを縮小し、開始位置のＵd座標をＵ3とすることで、表示画像の左半分が欠けないようにできる。表示画像２０４の場合、Ｖd軸の正方向にＶ4だけ領域サイズを縮小し、開始位置のＶd座標をＶ4とすることで、表示画像の上半分が欠けないようにできる。表示画像２０５の場合、Ｕd軸の負方向に（Ｗi−Ｕ5）だけ領域サイズを縮小することで、表示画像の右半分が欠けないようにできる。表示画像２０６の場合、Ｖd軸の負方向に（Ｈi−Ｖ6）だけ領域サイズを縮小することで、表示画像の下半分が欠けないようにできる。
【００３０】
以上を一般化して考えると、以下のようになる。全ての入力画像Ｉj（ｊ＝１‥Ｎ）（Ｎはシーン中のフレーム数）について、カメラ座標系における被写体位置のＸ座標、Ｚ座標を（Ｘj，Ｚj）（ｊ＝１‥Ｎ）とし、画像内位置情報を(Ｕj，Ｖj) （ｊ＝１‥Ｎ）とする。有効領域サイズを算出する際には、まず、
｛Ｕj−Ｗd・（Ｘj−Ｘmin）/Ｄx｝、｛Ｗi−Ｕj−Ｗd・（Ｘmax−Ｘj）/Ｄx｝、
｛Ｖj−Ｈd・（Ｚmax−Ｚj）/Ｄz｝、｛Ｈi−Ｖj−Ｈd・（Ｚj−Ｚmin）/Ｄz｝
（ｊ＝１‥Ｎ）の最大値を算出する。これらの最大値をそれぞれ、
ＭＡＸ｛Ｕj−Ｗd・（Ｘj−Ｘmin）/Ｄx｝、
ＭＡＸ｛Ｗi−Ｕj−Ｗd・（Ｘmax−Ｘj）/Ｄx｝、
ＭＡＸ｛Ｖj−Ｈd・（Ｚmax−Ｚj）/Ｄz｝、
ＭＡＸ｛Ｈi−Ｖj−Ｈd・（Ｚj−Ｚmin）/Ｄz｝、
とすると、有効領域サイズ（Ｗe，Ｈe）は以下の式により算出される。
【００３１】
【数１】
0005439474.tif 000002
【数２】
0005439474.tif 000003
【００３２】
また、Ｕj、（Ｗi−Ｕj）、Ｖj、（Ｈi−Ｖj）（ｊ＝１‥Ｎ）の最大値をそれぞれＭＡＸ｛Ｕj｝、ＭＡＸ｛Ｗi−Ｕj｝、ＭＡＸ｛Ｖj｝、ＭＡＸ｛Ｈi−Ｖj｝とすると、有効領域サイズ（Ｗe，Ｈe）は以下の式によっても簡易的に算出される。
【００３３】
【数３】
0005439474.tif 000004
【数４】
0005439474.tif 000005
【００３４】
次に、表示位置決定部１０６は、ステップＳａ１で算出したＤx、Ｄzと、ステップＳａ２で算出した有効領域サイズ（Ｗe，Ｈe）から、Ｘ方向の縮小率Ｒx、Ｚ方向の縮小率Ｒzを以下の式により算出する（Ｓａ３）。
【００３５】
【数５】
0005439474.tif 000006
【数６】
0005439474.tif 000007
【００３６】
次に、表示位置決定部１０６は、ステップＳａ３で算出した縮小率と被写体位置情報４００を利用し、表示画面サイズに換算した仮表示位置１を求める（Ｓａ４）。この仮表示１（Ｕj1，Ｖj1）（ｊ＝１‥Ｎ）は以下の式により求められる。
【００３７】
【数７】
0005439474.tif 000008
【数８】
0005439474.tif 000009
【００３８】
次に、表示位置決定部１０６は、被写体位置のＸ座標、Ｚ座標の値から算出した表示位置に被写体の顔を配置するように、ステップＳａ４で算出した仮表示位置１（Ｕj1，Ｖj1）から、画像内位置情報の値を減算し、仮表示位置２（Ｕj2，Ｖj2）（ｊ＝１‥Ｎ）を以下の式により算出する（Ｓａ５）。
【００３９】
【数９】
0005439474.tif 000010
【数１０】
0005439474.tif 000011
【００４０】
次に、表示位置決定部１０６は、表示位置が表示画面領域内に収まるように、仮表示位置２（Ｕj2，Ｖj2）のＵd座標、Ｖd座標の最小値が０になるように、全ての仮表示位置２について、Ｕd座標、Ｖd座標それぞれに同じ値を加算もしくは減算し、表示位置（Ｕjf，Ｖjf）（ｊ＝１‥Ｎ）を算出する（Ｓａ６）。この表示位置（Ｕjf，Ｖjf）とは、図６中の入力画像２０３〜２０６の原点（左上隅の画素）の位置をＵd座標、Ｖd座標で示した値である。
【００４１】
次に、本発明の第１の実施形態に係る実施例を詳細に説明する。図７は、距離センサと角度センサを利用し、被写体の位置を検出する際に、測定する情報の構成例７００を示す。画像表示制御装置１００と被写体の距離をｄ、ある基準方位に対して被写体の位置が存在する角度をθとして計測する。基準方位は、北の方角でもよいし、記録開始時、終了時におけるカメラの光軸方向を基準としてもよい。図８は、構成例７００で計測した被写体との距離ｄと、角度θを示した計測データ８００を示す。
【００４２】
図９は、計測データ８００を利用し、カメラ座標系へ変換した被写体位置情報９００を示す。画像表示制御装置１００と被写体の距離がｄ、角度がθであるので、被写体位置情報４００は、（ｄｓｉｎθ，ｄｃｏｓθ）と求めることができる。例えば、図８の基準時刻からの経過時間が１の場合、ｄ＝８．３、θ＝１４であるため、（８．３ｓｉｎ１４°，８．３ｃｏｓ１４°）＝（２．０１，８．０５）が被写体の位置情報となる。
【００４３】
図１０は、ＶＧＡサイズ（６４０ｘ４８０）の画像データを顔認識処理で解析し、画像内における被写体の位置を導き出した画像内位置情報５００の一例を示す。例えば、基準時刻からの経過時間が１の場合、画像データの（２８０，３６０）の位置に被写体の顔が存在することを意味する。
【００４４】
画像内位置記憶部１０４２が図１０のデータを、被写体位置記憶部１０４３が図９のデータを格納しているとき、表示位置決定部１０６は以下のように動作する。まず、図４のステップＳａ１において、Ｘ座標の最小値が２．０１、最大値が１０．９６となるため、Ｘ座標の最大差分Ｄxは８．９５となる。また、Ｚ座標の最小値が５．９７、最大値が１０．９６となるため、Ｚ座標の最大差分Ｄzは４．９９となる。
【００４５】
次に、表示画面の領域サイズを（７６８０，４３２０）とすると、ステップＳａ２において、[数３][数４]の簡易的な方式で有効領域サイズ（Ｗe，Ｈe）は以下のように算出される。
Ｗe＝７６８０−３００−(６４０−１１４)＝６８５４
Ｈe＝４３２０−３７２−（４８０−３５７）＝３８２５
【００４６】
次に、ステップＳａ３において、Ｘ方向の縮小率Ｒx、Ｚ方向の縮小率Ｒzが[数５][数６]により以下のように算出される。
Ｒx＝６８５４÷８．９５＝７６５．８
Ｒz＝３８２５÷４．９９＝７６６．５
【００４７】
次に、ステップＳａ４において、ステップＳａ３で算出した縮小率と被写体位置情報９００を利用し、表示画面サイズに換算した仮表示位置１（Ｕj1，Ｖj1）が求められる。例えば、基準時刻からの経過時間が１の場合、被写体位置情報は（２．０１，８．０５）であることから、仮表示位置１（Ｕ11，Ｖ11）は、［数７］［数８］により、以下のように算出される。
Ｕ11＝（２．０１−２．０１）×７６５．８＝０．０
Ｖ11＝（１０．９６−８．０５）×７６６．５＝２２３０．５
【００４８】
次に、ステップＳａ５において、仮表示位置２（Ｕj2，Ｖj2）が以下のように算出される。例えば、基準時刻からの経過時間が１の場合、画像内位置情報は（２８０，１２０）であることから、仮表示位置２（Ｕ12，Ｖ12）は［数９］［数１０］により、以下のようになる。
Ｕ12＝０．０−２８０＝−２８０．０
Ｖ12＝２２３０．５−３６０＝１８７０．５
図１１は、基準時刻からの経過時間が１から１０までの仮表示位置２を算出した結果を示す。
【００４９】
次に、ステップＳａ６において、表示位置（Ｕjf，Ｖjf）が以下のように算出される。例えば、基準時刻からの経過時間が１の場合、仮表示位置２のＵd座標、Ｖd座標の最小値はそれぞれ−２８０．０、−３７２．０であることから、表示位置（Ｕ1f，Ｖ1f）は以下のようになる。
Ｕ1f＝−２８０．０＋２８０．０＝０
Ｖ1f＝１８７０．５＋３７２．０＝２２４２．５
図１２は、基準時刻からの経過時間が１から１０までの表示位置を算出した結果を示す。
【００５０】
本発明の第１の実施形態の説明は以上であるが、カメラ座標系での被写体位置を直接検出する手段を画像表示制御装置１００が有する場合、その手段が位置生成部１０３に該当する。また、カメラ座標系での被写体位置を直接検出する手段が画像表示制御装置１００の外部にあり、画像表示制御装置１００と接続している場合は、外部の位置検出手段から位置情報を入力し、被写体位置記憶部１０４３に被写体の位置を書き込む手段が、位置生成部１０３に該当する。
【００５１】
さらに、被写体の動きが激しく、撮影中の一部においてカメラで被写体を捉えることができなかった場合、すなわち、被写体を撮影するカメラの撮影範囲外に被写体が存在する場合は、被写体とカメラの撮影範囲の位置関係が分かるように画像内位置情報として適当な値を割り当ててもよい。例えば、被写体がカメラの撮影範囲外の右側に存在する場合は（Ｗi，０）を、左側に存在する場合は（−１，０）を、上側に存在する場合は（０，−１）を、下側に存在する場合は（０，Ｈi）を設定することで、表示画像の位置と被写体が存在する位置関係を再現する。これにより、被写体が画像領域内外から画像領域内に入ってくるまでのシーンで、画像の表示位置が大きく変わるという状況を低減することができ、画像位置を滑らかに遷移させることができる。
【００５２】
被写体がカメラの撮影範囲外のどこに存在するのかを検出する方法としては、カメラの光軸方向を求め、鉛直方向に平行で光軸を含む面とカメラから被写体に向かう直線とのなす角θと、水平方向に平行で光軸を含む面とカメラから被写体に向かう直線とのなす角φを算出し、角度θ、φをもとにカメラの画角からどの方向に外れているか判定することで、検出することが可能である。或いは、被写体が画像から消滅する直前のフレーム中の被写体位置が画像のどちら側にあるかに基づき、検出してもよい。すなわち、この直前のフレームの被写体位置を（Ｕk，Ｖk）とすると、Ｕk、Ｗi−Ｕk、Ｖk、Ｈi−Ｖkの値のうち、いずれが最小になるかを求め、Ｕk最小のとき左側、Ｗi−Ｕk最小のとき右側、Ｖk最小のとき上側、Ｈi−Ｖk最小のとき下側に被写体が存在すると検出する。
【００５３】
また、前述の画像領域外に被写体が存在する場合、表示する画像には被写体が含まれていないため、撮影時の被写体の動きを再現することができない。そこで、被写体位置情報に該当する表示位置に、被写体を示すアイコンやキャラクターや顔画像などを表示し、被写体から見たカメラの撮影範囲の方向に撮影された画像を表示してもよい。この表示例を図１３に示す。図１３では、画像（５）が撮影された際に被写体が急に左方向に移動することにより、被写体の右側に画像（５）の撮影範囲が存在するためにアイコン１３００の右側に画像（５）を表示している。
【００５４】
この場合、[数９]及び[数１０]に使用される画像内位置情報は上述される（Ｗi，０）、（−１，０）などといった値を使用しない。図１３のように、アイコン等を表示する画像の大きさを横方向Ｕc（但し、Ｕc＜Ｗi）、縦方向Ｖc（但し、Ｖc＜Ｈi）とすると、（Ｕc/２，Ｖc/２）を画像内位置情報として用いる。また、[数１]から[数４]までの有効領域サイズを算出する際には、画面内情報の位置に応じて、以下のように処理を変更する。
画像内位置情報が（Ｗi，０）のとき、[数１]のＭＡＸ｛Ｕj−Ｗd・（Ｘj−Ｘmin）/Ｄx｝もしくは[数３]のＭＡＸ｛Ｕj｝を算出するときに、アイコンを使用するフレームについてはＵjの代わりにＵj＋Ｗiを用いる。
画像内位置情報が（−１，０）のとき、[数１]のＭＡＸ｛Ｗi−Ｕj−Ｗd・（Ｘmax−Ｘj）/Ｄx｝もしくは[数３]のＭＡＸ｛Ｗi−Ｕj｝を算出するときに、アイコンを使用するフレームについてはＷiの代わりにＷi＋Ｕcを用いる。
画像内位置情報が（０，−１）のとき、[数２]の ＭＡＸ｛Ｈi−Ｖj−Ｈd・（Ｚj−Ｚmin）/Ｄz｝もしくは[数４]のＭＡＸ｛Ｈi−Ｖj｝を算出するときに、アイコンを使用するフレームについては、Ｈiの代わりにＨi＋Ｖcを用いる。
画像内位置情報が（０，Ｈi）のとき、[数２]のＭＡＸ｛Ｖj−Ｈd・（Ｚmax−Ｚj）/Ｄz｝もしくは[数４]のＭＡＸ｛Ｖj｝を算出するときに、アイコンを使用するフレームについてはＶjの代わりに，Ｖj＋Ｈiを用いる。
さらに、被写体が撮影されてない時刻についての被写体位置の（Ｘj，Ｚj）も含めて[数１]から[数８]までの演算を行えば、被写体を示すアイコン等が表示画面から欠けることはない。
【００５５】
本実施形態によれば、上記の構成により、従来の画像表示制御装置では、被写体を撮影するカメラの撮像面に平行な動きしか被写体の動きを再現できなかったのに対し、カメラの撮像面に対し垂直な奥行き方向の動きを再現することが可能になる。例えば、正面方向から手前側に走ってくる被写体を表示した場合、従来の画像表示制御装置では、おおよそ固定位置に表示されるのに対し、上記の構成では、表示画面領域の上部から下部の方向へ移動しながら表示されることになる。
【００５６】
さらに、本実施形態によれば、画像領域内による被写体の位置を考慮して表示位置を決定しているので、被写体の動きを忠実に再現して被写体を表示することができる。例えば、図１４のように正面方向から手前側に走ってくる被写体を手ブレ等により表示位置がバラバラで撮影された場合、画像領域内による被写体の位置を考慮しないと、図１５のように被写体がジグザグに表示され、ユーザが画像を非常に見づらくなる。これに対し、本実施の形態では、図１６のように、被写体位置が実際の移動にあった形で滑らかに表示され、ユーザが画像を見やすくなる。
【００５７】
（第２の実施形態）
第１の実施形態では、被写体を撮影するカメラがズームを行わないことが前提の処理となっていた。ところが、被写体を撮影中にズームを行った動画像を、従来技術もしくは第１の実施形態の方法により表示すると、被写体が表示中に急に大きくなったり小さくなったりするため、それを視聴するユーザは違和感を覚える可能性がある。そこで、第２の実施形態では、被写体の大きさを固定、もしくはユーザが違和感を覚えない程度に拡大縮小し、表示する。
【００５８】
図１７は本発明の第２の実施形態における画像表示制御装置の構成について説明するブロック図である。図１７では、コンテンツ管理部１０４に新たにズーム値記憶部１０４４を有し、画像内位置記憶部１０４２に代えて画像内位置大きさ記憶部１０４５を有する。また、画像解析部１０２１、表示位置決定部１０６１と表示デバイス制御部１０７１は第１の実施形態と動作が一部異なるため、異なる符号を付している。残りの構成については第１の実施の形態と同じであるため、説明を省略する。
【００５９】
画像解析部１０２１は、画像入力部１０１の画像データを解析し、画像領域内における被写体を検出する。画像解析部１０２１が画像データを解析するタイミング、及び被写体の検出方法は第１の実施形態と同じでよい。画像解析部１０２１は、顔を表示する領域の重心や、被写体のオブジェクトを表示する領域の重心の座標を被写体位置として検出するばかりでなく、被写体の大きさも検出する。ここで、被写体の大きさとは、被写体の顔の高さ（縦の長さ）、被写体の顔の幅（横の長さ）、もしくは被写体のオブジェクトの高さ（縦の長さ）、被写体のオブジェクトの幅（横の長さ）のいずれかである。
【００６０】
ズーム値記憶部１０４４は、画像記憶部１０４１の各画像に対応して、それぞれの画像のズーム値を記憶する。画像内位置大きさ記憶部１０４５は、画像解析部１０２１で検出された画像領域内における被写体の位置情報及びその大きさを画像データとフレーム単位で対応付けて記憶する。
【００６１】
表示位置決定部１０６１は、ズーム値記憶部１０４４に記憶されている各画像のズーム値と、画像内位置大きさ記憶部１０４５に記憶されている画像領域内における画像内位置情報及び被写体の大きさと、被写体位置記憶部１０４３に記憶されている被写体のカメラ座標系での位置情報と、表示画面領域サイズ取得部１０５から取得した表示デバイスの画面サイズ情報を利用して、ズーム値記憶部１０４４に記憶されている各画像のズーム値を修正した修正ズーム値と、表示デバイス上での表示位置とを決定する。表示位置決定部１０６の処理の詳細は後述する。
【００６２】
表示デバイス制御部１０７１は、画像記憶部１０４１で記憶した画像データを修正ズーム値に合わせて拡大縮小し、表示位置決定部１０６で決定した表示位置に、拡大縮小した画像データを表示する信号を表示デバイス１０８に送信する。
【００６３】
次に、本発明の表示位置決定部１０６１の詳細な処理の流れについて説明する。図１８は表示位置決定部１０６１の処理のフローチャートを示す。
【００６４】
まず、表示位置決定部１０６１は、画像内位置大きさ記憶部１０４５に記憶されている被写体の大きさを抽出する（Ｓｂ１）。次に、被写体の大きさをもとに、各画像の修正ズーム値を算出する（Ｓｂ２）。ここで、各入力画像Ｉj（ｊ＝１‥Ｎ）（Ｎはシーン中のフレーム数）に写っている被写体の大きさをＬj（ｊ＝１‥Ｎ）とすると、修正ズーム値ＭＳj（ｊ＝１‥Ｎ）は以下の式で算出される。
【００６５】
【数１１】
0005439474.tif 000012
但し、Ｌbは、被写体の大きさの基準値であり、予め決められた値が画像表示制御装置に格納されていてもよいし、シーン毎に、Ｌjの平均値を算出し、その平均値をＬbとするのでもよい。
【００６６】
次に、表示位置決定部１０６１は、第１の実施形態と同様に、被写体位置記憶部１０４３に記憶されている被写体位置のＸ座標の最大差分Ｄx、Ｚ座標の最大差分Ｄzを算出する（Ｓａ１）。また、この差分を算出する際に求まるＸ座標の最大値、最小値をそれぞれＸmax、Ｘmin、Ｚ座標の最大値、最小値をそれぞれＺmax、Ｚminと表すことにする。
【００６７】
そして、表示位置決定部１０６１は、第１の実施形態に利用した値に加えて、修正ズーム値を利用して、有効領域サイズ（Ｗe，Ｈe）を算出する。全ての入力画像Ｉj（ｊ＝１‥Ｎ）について、カメラ座標系における被写体位置のＸ座標、Ｚ座標を（Ｘj，Ｚj）（ｊ＝１‥Ｎ）とし、画像内位置情報を(Ｕj，Ｖj) （ｊ＝１‥Ｎ）、修正ズーム値をＭＳj（ｊ＝１‥Ｎ）とする。有効領域サイズを算出する際には、まず、
｛Ｕj/ＭＳj−Ｗd・（Ｘj−Ｘmin）/Ｄx｝、
｛（Ｗi−Ｕj）/ＭＳj−Ｗd・（Ｘmax−Ｘj）/Ｄx｝、
｛Ｖj/ＭＳj−Ｈd・（Ｚmax−Ｚj）/Ｄz｝、
｛（Ｈi−Ｖj）/ＭＳj−Ｈd・（Ｚj−Ｚmin）/Ｄz｝
（ｊ＝１‥Ｎ）の最大値を算出する。これらの最大値をそれぞれ、
ＭＡＸ｛Ｕj/ＭＳj−Ｗd・（Ｘj−Ｘmin）/Ｄx｝、
ＭＡＸ｛（Ｗi−Ｕj）/ＭＳj−Ｗd・（Ｘmax−Ｘj）/Ｄx｝、
ＭＡＸ｛Ｖj/ＭＳj−Ｈd・（Ｚmax−Ｚj）/Ｄz｝、
ＭＡＸ｛（Ｈi−Ｖj）/ＭＳj−Ｈd・（Ｚj−Ｚmin）/Ｄz｝、
とすると、有効領域サイズ（Ｗe，Ｈe）は以下の式により算出される（Ｓｂ３）。
【００６８】
【数１２】
0005439474.tif 000013
【数１３】
0005439474.tif 000014
【００６９】
また、Ｕj/ＭＳj、（Ｗi−Ｕj）/ＭＳj、Ｖj/ＭＳj、（Ｈi−Ｖj）/ＭＳj（ｊ＝１‥Ｎ）の最大値をそれぞれＭＡＸ｛Ｕj/ＭＳj｝、ＭＡＸ｛（Ｗi−Ｕj）/ＭＳj｝、ＭＡＸ｛Ｖj/ＭＳj｝、ＭＡＸ｛（Ｈi−Ｖj）/ＭＳj｝とすると、有効領域サイズ（Ｗe，Ｈe）は以下の式によっても簡易的に算出される。
【００７０】
【数１４】
0005439474.tif 000015
【数１５】
0005439474.tif 000016
【００７１】
次に、表示位置決定部１０６１は、第１の実施形態と同じ方法で、Ｘ方向の縮小率Ｒx、Ｚ方向の縮小率Ｒz、仮表示位置１（Ｕj1，Ｖj1）（ｊ＝１‥Ｎ）を求める（Ｓａ３、Ｓａ４）。
【００７２】
次に、表示位置決定部１０６１は、被写体位置のＸ座標、Ｚ座標の値から算出した表示位置に被写体の顔を配置するように、ステップＳａ４で算出した仮表示位置１（Ｕj1，Ｖj1）から、画像内位置情報の値を減算し、仮表示位置２（Ｕj2，Ｖj2）（ｊ＝１‥Ｎ）を以下の式により算出する（Ｓｂ４）。
【００７３】
【数１６】
0005439474.tif 000017
【数１７】
0005439474.tif 000018
【００７４】
最後に、表示位置決定部１０６１は、第１の実施形態と同じ方法で、表示位置（Ｕjf，Ｖjf）（ｊ＝１‥Ｎ）を算出する（Ｓａ６）。
【００７５】
また、本発明の表示位置決定部１０６１は、ユーザが表示画像に対して違和感を覚えない程度に、入力画像を拡大縮小する処理を行うことも可能である。図１９は、この場合における表示位置決定部１０６１の処理のフローチャートを示す。この処理は、図１８のステップＳｂ１、Ｓｂ２に代えて、ステップＳｃ１、Ｓｃ２を実行する点のみが相違するので、相違する処理についてのみ詳細に説明する。
【００７６】
まず、表示位置決定部１０６１は、シーン中のフレームのうち、修正ズーム値を算出する基準とするフレームを２つ選択する（Ｓｃ１）。ここで、各入力画像Ｉj（ｊ＝１‥Ｎ）（Ｎはシーン中のフレーム数）のうち、選択した２つのフレームをＩb1、Ｉb2（但し、ｂ１＜ｂ２）とする。なお、入力画像Ｉjに対応する被写体位置のＺ座標をＺj（ｊ＝１‥Ｎ）とすると、Ｚjが最小となるｊの値、最大となるｊの値を、ｂ１もしくはｂ２に割り当てると、誤差が小さくなるので好ましい。
【００７７】
次に、各画像の修正ズーム値を算出する（Ｓｃ２）。ここで、各入力画像Ｉj（ｊ＝１‥Ｎ）に写っている被写体の大きさをＬj（ｊ＝１‥Ｎ）、被写体を撮影するカメラのズーム値をＳj（ｊ＝１‥Ｎ）、カメラ座標系における被写体位置のＺ座標をＺj（ｊ＝１‥Ｎ）、修正ズーム値ＭＳj（ｊ＝１‥Ｎ）とする。このとき、ズーム無しの被写体の大きさは被写体の大きさからズーム値を割った値となるので、入力画像Ｉb1、Ｉb2、Ｉjにおけるズーム無しの被写体の大きさは、それぞれＬb1/Ｓb1、Ｌb2/Ｓb2、Ｌj/ＭＳjとなる。さらに、ユーザが違和感を覚えない程度に拡大縮小するために、ズーム無しの顔の大きさはカメラと被写体との距離に比例して小さくなるとする。このとき、Ｉb1からＩb2へのズーム無しの顔の大きさの増加分（Ｌb2/Ｓb2−Ｌb1/Ｓb1）とＩb1からＩjへのズーム無しの顔の大きさの増加分（Ｌj/ＭＳj−Ｌb1/Ｓb1）との比と、Ｉb1からＩb2へのＺ座標の増加分（Ｚb2−Ｚb1）とＩb1からＩjへのＺ座標の増加分（Ｚj−Ｚb1）との比が等しくなるので、以下の関係式が成り立つ。
【００７８】
【数１８】
0005439474.tif 000019
【００７９】
これより、修正ズーム値ＭＳj（ｊ＝１‥Ｎ）は以下のように求められる。
【００８０】
【数１９】
0005439474.tif 000020
【００８１】
以上のように、修正ズーム値ＭＳj（ｊ＝１‥Ｎ）を算出すると、上述した方法で、表示位置（Ｕjf，Ｖjf）（ｊ＝１‥Ｎ）を算出する。
【００８２】
次に、本発明の第２の実施形態に係る実施例を詳細に説明する。図２０は、画像表示制御装置が表示する画像を撮影するカメラの座標系と、その座標系において被写体が移動する例を示す。図中のＸＹＺ軸はカメラ座標系でのＸＹＺ軸を示し、点線で示したように被写体がカメラに向かって近づいて移動しているものとする。そして、点線上に黒丸で表示した各時点において、吹出しで示された画像が撮影されているものとする。なお、画像の左上隅にはそれぞれの画像を識別するための番号を付しており、後述する図２１、２２の同じ番号の画像はそれぞれ対応する画像であることを示す。
【００８３】
図２０の例では、被写体の大きさを顔の高さ（縦の長さ）としており、画像中にＬj（ｊ＝１‥９）と表している。また、画像（２）は１．４倍ズーム、画像（３）は１．３倍ズームで撮影されているので、被写体の大きさが他の画像に比べて大きく表示されている。
【００８４】
図２１は、このように取得した画像を第１の実施形態の方法で表示した画像である。図２１で被写体が移動する際に画像（２）、（３）において被写体が急に拡大し、また画像（４）で被写体が急に縮小するため、これを視聴するユーザは違和感を覚える可能性がある。
【００８５】
図２２は、図２０のように取得した画像に対して、表示位置決定部１０６１が図１８の処理を実行して画像を拡大縮小して表示したものである。図２２の例では、被写体の大きさが全てＬbに統一されるように各画像を拡大縮小している。このため、各画像における被写体の大きさはほぼ同じになっている。したがって、これを視聴するユーザは、図２１の例ほど違和感を覚えないと考えられる。
【００８６】
本第２の実施形態によれば、上記の構成により、被写体を撮影中にズームを行っても、被写体の大きさを固定、もしくはユーザが違和感を覚えない程度に拡大縮小し、表示する。このため、ユーザは違和感を覚えずに画像を視聴することができる。
【００８７】
以上、本発明の実施の形態における画像表示制御装置を示したが、画像表示方法としてもよいし、画像表示プログラムを記録した記録媒体としてもよい。さらに、図１に示す画像入力部１０１、画像解析部１０２、位置生成部１０３、表示画面領域サイズ取得部１０５、表示位置決定部１０６、表示デバイス制御部１０７の各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８８】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【００８９】
本発明は、テレビやテレビに画像を出力するための信号を発生する各種レコーダ、パーソナルコンピュータ、携帯電話、ＰＤＡなど、デジタルデータを扱う情報機器において適用可能である。特に、これらの機器の画面内で、撮影した映像を移動させて表示させる場合に有用である。
【符号の説明】
【００９０】
１００                画像表示制御装置
１０１                画像入力部
１０２                画像解析部
１０３                位置生成部
１０４                コンテンツ管理部
１０４１              画像記憶部
１０４２              画像内位置記憶部
１０４３              被写体位置記憶部
１０４４              ズーム値記憶部
１０４５              画像内位置大きさ記憶部
１０５                表示画面領域サイズ取得部
１０６、１０６１      表示位置決定部
１０７、１０７１      表示デバイス制御部
１０８                表示デバイス
２００、２０３、２０４、２０５、２０６      入力画像
２０１                入力画像内の被写体
３００                表示画面
７００                被写体位置検出時の構成例
８００                被写体位置算出のための計測データ
９００                被写体位置情報
１０００              画像内位置情報
１１００              仮表示位置２の算出結果
１２００              表示位置の算出結果
１３００              アイコン
【図１】
0005439474.tif 000021
【図２】
0005439474.tif 000022
【図３】
0005439474.tif 000023
【図４】
0005439474.tif 000024
【図５】
0005439474.tif 000025
【図６】
0005439474.tif 000026
【図７】
0005439474.tif 000027
【図８】
0005439474.tif 000028
【図９】
0005439474.tif 000029
【図１０】
0005439474.tif 000030
【図１１】
0005439474.tif 000031
【図１２】
0005439474.tif 000032
【図１３】
0005439474.tif 000033
【図１４】
0005439474.tif 000034
【図１５】
0005439474.tif 000035
【図１６】
0005439474.tif 000036
【図１７】
0005439474.tif 000037
【図１８】
0005439474.tif 000038
【図１９】
0005439474.tif 000039
【図２０】
0005439474.tif 000040
【図２１】
0005439474.tif 000041
【図２２】
0005439474.tif 000042
【図２３】
0005439474.tif 000043
【図２４】
0005439474.tif 000044
【図２５】
0005439474.tif 000045