(57)【要約】【課題】  暈けた撮像画像に重畳する仮想物体画像を暈かす場合に、より少ない演算量で該仮想物体画像を暈かすための技術を提供すること。【解決手段】  頭部装着型表示装置の位置姿勢に応じて仮想物体の画像を生成する。頭部装着型表示装置の動きベクトルと、頭部装着型表示装置が有する撮像部に設定されている撮像パラメータ及び撮像部と仮想物体を配置する実空間上の位置との距離のうち少なくとも一方と、の組み合わせに応じた暈かし方向及び暈かし幅のフィルタを取得する。該取得したフィルタを用いて該画像を暈かし、該暈かした画像と撮像画像との合成画像を生成する。【選択図】  図１
2018028572.tif 000002
【特許請求の範囲】
【請求項１】
頭部装着型表示装置の位置姿勢に応じて仮想物体の画像を生成する手段と、
前記頭部装着型表示装置の動きベクトルと、前記頭部装着型表示装置が有する撮像部に設定されている撮像パラメータ及び前記撮像部と前記仮想物体を配置する実空間上の位置との距離のうち少なくとも一方と、の組み合わせに応じた暈かし方向及び暈かし幅のフィルタを取得する取得手段と、
前記取得手段が取得したフィルタを用いて前記画像を暈かす暈かし処理を行う処理手段と、
前記処理手段によって暈かした前記画像と、前記撮像部による撮像画像と、の合成画像を生成する生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記取得手段は、
前記動きベクトルが示す動き方向に暈かすフィルタを取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段は、
前記動きベクトルが示す動き量が大きいほどより広く暈かし、該動き量が小さいほどより狭く暈かすフィルタを取得することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記取得手段は、
前記撮像パラメータに含まれる露光時間が長いほどより広く暈かし、該露光時間が短いほどより狭く暈かすフィルタを取得することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記撮像パラメータが前記撮像部の手ぶれ補正機能が有効になっていることを示す場合に前記取得手段が取得するフィルタの暈かし幅は、前記撮像パラメータが前記撮像部の手ぶれ補正機能が無効になっていることを示す場合に前記取得手段が取得するフィルタの暈かし幅よりも狭いことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記取得手段は、
前記距離が小さいほどより広く暈かし、前記距離が大きいほどより狭く暈かすフィルタを取得することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記処理手段は、前記撮像画像に対する前記画像の比率が閾値以上の場合には前記暈かし処理を行わず、該比率が該閾値未満の場合には前記暈かし処理を行うことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記処理手段は、前記撮像パラメータに含まれている前記撮像部のフレームレートが閾値以下の場合には前記暈かし処理を行わず、該フレームレートが該閾値より高い場合には前記暈かし処理を行うことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記処理手段は、前記画像が文字／記号の画像である場合には前記暈かし処理を行わず、前記画像が文字／記号以外の画像である場合には前記暈かし処理を行うことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記生成手段は、前記合成画像を前記頭部装着型表示装置に対して出力することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
【請求項１１】
前記頭部装着型表示装置は、前記合成画像に重畳する情報が常時表示する第１の情報である場合には、該第１の情報を、前記頭部装着型表示装置の動きベクトルと前記頭部装着型表示装置が有する撮像部に設定されている撮像パラメータとの組み合わせに応じた暈かし方向及び暈かし幅のフィルタを用いて暈かし、該暈かした第１の情報を前記合成画像に合成し、該情報が常時表示しない第２の情報である場合には、該第２の情報を暈かさずに前記合成画像に合成することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の画像の生成手段が、頭部装着型表示装置の位置姿勢に応じて仮想物体の画像を生成する生成工程と、
前記画像処理装置の取得手段が、前記頭部装着型表示装置の動きベクトルと、前記頭部装着型表示装置が有する撮像部に設定されている撮像パラメータ及び前記撮像部と前記仮想物体を配置する実空間上の位置との距離のうち少なくとも一方と、の組み合わせに応じた暈かし方向及び暈かし幅のフィルタを取得する取得工程と、
前記画像処理装置の処理手段が、前記取得工程で取得したフィルタを用いて前記画像を暈かす暈かし処理を行う処理工程と、
前記画像処理装置の生成手段が、前記処理手段によって暈かした前記画像と、前記撮像部による撮像画像と、の合成画像を生成する生成工程と
を備えることを特徴とする画像処理方法。
【請求項１３】
コンピュータを、請求項１乃至１１の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想物体画像と撮像画像との合成画像を生成するための技術に関するものである。
【背景技術】
【０００２】
近年、現実世界と仮想世界とをリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、次のような技術が知られている。ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用して、ＨＭＤ使用者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像する。そして、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像をＨＭＤ使用者に提供する。
【０００３】
ビデオシースルー型ＨＭＤではＣＣＤ等の電荷結合素子により被写体を撮像して該被写体のデジタル画像を取得し、該デジタル画像にＣＧ画像を重畳したＭＲ画像（複合現実画像）を液晶や有機ＥＬ等の表示デバイスを介して装着者に提示する構成になっている。ＨＭＤから外部装置にＨＭＤで撮像した撮像画像を送信する。外部装置では、ＨＭＤから受信した撮像画像からＨＭＤの位置姿勢を計算し、この計算結果を元に撮像画像に重畳するＣＧ画像を生成して該撮像画像に重畳し、撮像画像にＣＧ画像を重畳した重畳画像をＨＭＤへ送信する。ＨＭＤでは外部装置から受信した重畳画像を表示する。ＨＭＤ使用者はＨＭＤを用いることでＭＲ空間を体験することが可能となる。
【０００４】
ＨＭＤ使用者が首を振っている時、ＨＭＤに搭載されているカメラで撮像した撮像画像には暈けが生じる。これは、カメラが露光している間にＨＭＤが動いたために発生する現象である。図２２は、このような例を示した図である。図２２（ａ）はＨＭＤが止まっている時にカメラで撮像した画像を示しており、この画像には現実物体としてのテーブル３７０１が含まれている。図２２（ｂ）はＨＭＤ使用者が首を左右に振った時にカメラで撮像した画像を示している。首を左右に振っているため、テーブル３７０１の垂直方向のエッジが暈けている。
【０００５】
ＨＭＤ使用者が首を振っている時にカメラにより撮像された撮像画像にＣＧ画像を重畳した場合、図２２（ｃ）のような画像になる。図２２（ｃ）の画像では、図２２（ｂ）の撮像画像上にＣＧ画像３７０２が重畳されている。図２２（ｃ）の画像では、カメラで撮像したテーブル３７０１は垂直方向のエッジが暈けている一方で、ＣＧ画像３７０２は垂直方向のエッジが暈けていない。従来から、複数の画像から暈けを推定する方法が提案されている（非特許文献１）。また、カメラの焦点位置を元にＣＧ画像を暈す方法が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２５１６３４号公報
【非特許文献】
【０００７】
【非特許文献１】MIRU2006  講演論文集, pp. 255-260, July 2006
【発明の概要】
【発明が解決しようとする課題】
【０００８】
非特許文献１に開示の技術では、複数の画像から暈けを推定する必要があり、多くの演算処理が必要であった。本発明は、このような問題などに鑑みてなされたものであり、暈けた撮像画像に重畳する仮想物体画像を暈かす場合に、より少ない演算量で該仮想物体画像を暈かすための技術を提供する。
【課題を解決するための手段】
【０００９】
本発明の一様態は、頭部装着型表示装置の位置姿勢に応じて仮想物体の画像を生成する手段と、前記頭部装着型表示装置の動きベクトルと、前記頭部装着型表示装置が有する撮像部に設定されている撮像パラメータ及び前記撮像部と前記仮想物体を配置する実空間上の位置との距離のうち少なくとも一方と、の組み合わせに応じた暈かし方向及び暈かし幅のフィルタを取得する取得手段と、前記取得手段が取得したフィルタを用いて前記画像を暈かす暈かし処理を行う処理手段と、前記処理手段によって暈かした前記画像と、前記撮像部による撮像画像と、の合成画像を生成する生成手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明の構成によれば、暈けた撮像画像に重畳する仮想物体画像を暈かす場合に、より少ない演算量で該仮想物体画像を暈かすことができる。
【図面の簡単な説明】
【００１１】
【図１】システムの構成例を示すブロック図。
【図２】ステップＳ３３０３における処理の詳細を示すフローチャート。
【図３】ＣＧ描画部１２１２の構成例を示すブロック図。
【図４】ステップＳ１９０７を説明する図。
【図５】暈かす前後の仮想物体画像の一例を示す図。
【図６】画像処理装置１１０４が行う処理のフローチャート。
【図７】平滑化フィルタの一例を示す図。
【図８】仮想物体画像と撮像画像との境界部を説明する図。
【図９】ステップＳ１６０１における処理の詳細を示すフローチャート。
【図１０】フィルタ選択のためのテーブルの構成例を示す図。
【図１１】ステップＳ２４０２を説明する図。
【図１２】ステップＳ３５０６を説明する図。
【図１３】ステップＳ２４０２を説明する図。
【図１４】画像処理装置１１０４が行う処理のフローチャート。
【図１５】第３の実施形態を説明する図。
【図１６】ＣＧ描画部１２１２の構成例を示すブロック図。
【図１７】コンピュータ装置のハードウェア構成例を示すブロック図。
【図１８】画像処理装置１１０４が行う処理を説明する図。
【図１９】第４の実施形態の概要を説明する図。
【図２０】システムの構成例を示すブロック図。
【図２１】ＯＳＤ重畳部３００１の構成例及びＯＳＤ判定部３１０１の動作を説明する図。
【図２２】背景技術を説明する図。
【図２３】ＯＳＤ重畳部３００１が行う処理のフローチャート。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。
【００１３】
［第１の実施形態］
本実施形態では、次のような構成を有する画像処理装置の一例について説明する。この画像処理装置は、頭部装着型表示装置の位置姿勢に応じて仮想物体の画像を生成する。そして、頭部装着型表示装置の動きベクトルと、頭部装着型表示装置が有する撮像部に設定されている撮像パラメータ及び撮像部と仮想物体を配置する実空間上の位置との距離のうち少なくとも一方と、の組み合わせに応じた暈かし方向及び暈かし幅のフィルタを取得する。そして、該取得したフィルタを用いて上記仮想物体の画像を暈かす暈かし処理を行い、該暈かした画像と、撮像部による撮像画像と、の合成画像を生成する。
【００１４】
先ず、本実施形態に係るシステムの構成例について、図１（ａ）のブロック図を用いて説明する。図１（ａ）に示す如く本実施形態に係るシステムは、頭部装着型表示装置の一例であるＨＭＤ１１０１、画像処理装置１１０４、表示装置１１０３、画像処理装置１１０４とＨＭＤ１１０１との間のデータ通信を仲介するコントローラ１１０２、を有する。
【００１５】
ＨＭＤ１１０１とコントローラ１１０２との間のデータ通信はＷＬＡＮ（Ｗｉｒｅｌｅｓｓ  Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やＷＰＡＮ（Ｗｉｒｅｌｅｓｓ  Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の小規模ネットワークを介して行われる。なお、ＨＭＤ１１０１とコントローラ１１０２との間のデータ通信は特定の通信携帯に限らず、無線通信であっても良いし、有線通信であっても良いし、これらの組み合わせであっても良い。また、図１（ａ）では、コントローラ１１０２は画像処理装置１１０４と別個の装置として示しているが、コントローラ１１０２は画像処理装置１１０４に組み込んで一体化させても良い。
【００１６】
次に、画像処理装置１１０４及びＨＭＤ１１０１のそれぞれの機能構成例について、図１（ｂ）のブロック図を用いて説明する。なお、実際には、上記の如く、画像処理装置１１０４とＨＭＤ１１０１とはコントローラ１１０２を介してデータ通信を行うのであるが、図１（ｂ）ではコントローラ１１０２の図示は省略している。
【００１７】
先ず、ＨＭＤ１１０１について説明する。撮像部１２０２は、ＨＭＤ１１０１を頭部に装着するユーザ（以下、単にユーザと称する）の視界と略一致する視界の現実空間の動画像を撮像し、該撮像した動画像を構成する各フレームの画像（撮像画像）は順次、画像補正部１２０６に対して送出される。
【００１８】
画像補正部１２０６は、撮像部１２０２から送出された撮像画像に対して周知の手ぶれ補正処理を行う。画像補正部１２０６は、手ぶれ補正機能が有効（ＯＮ）に設定されている場合には、撮像画像に対して手ぶれ補正処理を行い、該手ぶれ補正処理を施した撮像画像をＩ／Ｆ（インターフェース）１２０７を介して画像処理装置１１０４に対して出力する。一方、画像補正部１２０６は、手ぶれ補正機能が無効（ＯＦＦ）に設定されている場合には、撮像部１２０２から送出された撮像画像をそのまま（手ぶれ補正処理以外の画像処理は行っても良い）Ｉ／Ｆ１２０７を介して画像処理装置１１０４に対して出力する。なお、手ぶれ補正機能の有効（ＯＮ）／無効（ＯＦＦ）は、ＨＭＤ１１０１に備わっているスイッチや画像処理装置１１０４からの指示によって設定することができる。
【００１９】
なお、撮像部１２０２の撮像パラメータもまた、Ｉ／Ｆ１２０７を介して画像処理装置１１０４に対して出力される。撮像パラメータには、撮像部１２０２の露光時間、手ぶれ補正機能の有効（ＯＮ）／無効（ＯＦＦ）等が含まれる。
【００２０】
動き検出部１２０３は、ＨＭＤ１１０１の動き方向や動き量を検出するためのセンサであり、例えば、ジャイロセンサや加速度センサである。動き検出部１２０３は、検出した動き方向及び動き量を示すデータを動きベクトルデータとして、Ｉ／Ｆ１２０７を介して画像処理装置１１０４に対して出力する。
【００２１】
表示部１２０４は、ユーザの眼前に位置するようにＨＭＤ１１０１に取り付けられたものであり、画像処理装置１１０４からＩ／Ｆ１２０７を介して受信した画像や文字を表示する。これによりユーザの眼前には、画像処理装置１１０４から受信した画像や文字が表示されることになる。制御部１２０５は、ＨＭＤ１１０１全体の動作制御を行う。
【００２２】
次に、画像処理装置１１０４について説明する。位置姿勢算出部１２１４は、撮像部１２０２の位置姿勢を算出する。撮像部１２０２の位置姿勢を算出する方法には従来から様々な方法が提案されており、本実施形態では何れの方法を採用しても良い。例えば、Ｉ／Ｆ１２１１を介してＨＭＤ１１０１から受信した動きベクトルデータと撮像画像とに基づいて撮像部１２０２の位置姿勢を算出しても良い。また、ＨＭＤ１１０１に位置姿勢センサを取り付け、該位置姿勢センサによる計測結果に基づいて撮像部１２０２の位置姿勢を算出しても良い。また、現実空間中に配置位置が既知のマーカを配置し、撮像部１２０２による撮像画像中のマーカの画像座標と該マーカの配置位置とに基づいて撮像部１２０２の位置姿勢を算出しても良い。マーカの代わりに自然特徴を採用しても良い。
【００２３】
コンテンツＤＢ１２１３には、仮想物体を描画するために必要なデータが登録されている。例えば、仮想物体の形状を規定するデータ、仮想物体の色や質感を規定するデータ、仮想物体を配置する実空間上の位置に関するデータ、テクスチャマップデータなどがコンテンツＤＢ１２１３に登録されている。
【００２４】
ＣＧ描画部１２１２は、コンテンツＤＢ１２１３に登録されているデータを用いて仮想物体を構築し、該仮想物体を位置姿勢算出部１２１４が求めた位置姿勢を有する視点から見た画像を、仮想物体画像として生成する。ここで、ＣＧ描画部１２１２は、Ｉ／Ｆ１２１１を介してＨＭＤ１１０１から受信した様々な情報に基づいて適宜、仮想物体画像を暈かす処理を行う。そしてＣＧ描画部１２１２は、Ｉ／Ｆ１２１１を介してＨＭＤ１１０１から受信した撮像画像上に仮想空間画像を重畳させた重畳画像を生成し、該生成した重畳画像を出力する。重畳画像の出力先については特定の出力先に限らない。例えば、表示装置１１０３に重畳画像を出力しても良いし、Ｉ／Ｆ１２１１を介してＨＭＤ１１０１（表示部１２０４）に対して出力しても良い。ＨＭＤ１１０１（表示部１２０４）に重畳画像を出力した場合、ユーザの眼前には、この重畳画像が提示されることになる。
【００２５】
次に、ＣＧ描画部１２１２の構成例について、図３（ａ）のブロック図を用いて説明する。描画部１３０５は、コンテンツＤＢ１２１３に登録されているデータに基づいて仮想空間を構築して仮想空間中に配置する。そして描画部１３０５は、該配置した仮想物体を、位置姿勢算出部１２１４が算出した位置姿勢を有する視点から見た画像を仮想物体画像として生成する。規定の位置姿勢を有する視点から見た仮想物体の画像を生成する技術については周知であるために、これに係る説明は省略する。また、描画部１３０５は、位置姿勢算出部１２１４が求めた撮像部１２０２の位置と仮想物体を配置する位置のデータとに基づいて、視点と仮想物体との間の距離を求める。
【００２６】
暈かし決定部１３０３は、ＨＭＤ１１０１からＩ／Ｆ１２１１を介して受信した動きベクトルデータと、撮像パラメータ及び描画部１３０５が求めた距離のうち少なくとも一方と、の組み合わせに応じて、仮想物体画像を暈かすためのフィルタを決定する。暈かし決定部１３０３によるフィルタ決定処理についての詳細は後述する。
【００２７】
ＣＧ画像処理部１３０２は、暈かし決定部１３０３から暈かし処理を行う旨の指示を受けた場合には、描画部１３０５が生成した仮想物体画像を、暈かし決定部１３０３が決定したフィルタを用いて暈かす処理を行う。そしてＣＧ画像処理部１３０２は、暈かし処理を行った仮想物体画像を、後段の重畳部１３０４に対して出力する。一方、ＣＧ画像処理部１３０２は、暈かし決定部１３０３から暈かし処理を行わない旨の指示を受けた場合には、描画部１３０５が生成した仮想物体画像をそのまま（暈かし処理以外の画像処理は行っても良い）重畳部１３０４に対して出力する。
【００２８】
重畳部１３０４は、ＨＭＤ１１０１からＩ／Ｆ１２１１を介して受信した撮像画像上に、ＣＧ画像処理部１３０２から受けた仮想物体画像を重畳させた重畳画像を生成する。そして重畳部１３０４は、該生成した重畳画像を、Ｉ／Ｆ１２１１を介してＨＭＤ１１０１（表示部１２０４）に出力する。
【００２９】
次に、画像処理装置１１０４が重畳画像を生成してＨＭＤ１１０１（表示部１２０４）に出力するために行う処理について、同処理のフローチャートを示す図６を用いて説明する。なお、図６のフローチャートに従った処理の開始前には、描画部１３０５は仮想物体画像の生成及び視点と仮想物体との間の距離の算出は完了しているものとする。
【００３０】
ステップＳ１６０１では、暈かし決定部１３０３は、仮想物体画像を暈かすためのフィルタを決定する。ステップＳ１６０１における処理の詳細について、図９のフローチャートを用いて説明する。
【００３１】
ステップＳ１９０１では、暈かし決定部１３０３は、ＨＭＤ１１０１からＩ／Ｆ１２１１を介して受信した動きベクトルデータが表す動き量を取得する。そしてステップＳ１９０２では、暈かし決定部１３０３は、動きベクトルデータが表す動き量が閾値以下であるか否かを判断する。この判断の結果、動きベクトルデータが表す動き量が閾値以下であれば、ＨＭＤ１１０１はあまり動いておらず、従って撮像画像にもボケは生じていないものと思われるので、仮想物体画像についても暈かし処理は不必要と判断する。すなわち、暈かし処理用にフィルタを取得する処理は不必要と判断し、フィルタは取得せずに、処理は図６のステップＳ１６０２に進む。一方、動きベクトルデータが表す動き量が閾値よりも大きい場合、ＨＭＤ１１０１の動き量は大きく、従って撮像画像にはボケが生じているものと思われるので、仮想物体画像には暈かし処理は必要と判断する。その結果、暈かし処理用にフィルタの取得処理を行うべく処理はステップＳ１９０３に進む。
【００３２】
ステップＳ１９０３では、暈かし決定部１３０３は、ＨＭＤ１１０１からＩ／Ｆ１２１１を介して受信した動きベクトルデータが表す動き方向を取得する。ステップＳ１９０４では、暈かし決定部１３０３は、ＨＭＤ１１０１からＩ／Ｆ１２１１を介して受信した撮像パラメータに含まれている露光時間を取得する。ステップＳ１９０５では、暈かし決定部１３０３は、ＨＭＤ１１０１からＩ／Ｆ１２１１を介して受信した撮像パラメータに含まれている「ＨＭＤ１１０１の撮像部１２０２の手ぶれ補正機能がＯＮ／ＯＦＦの何れであるのか」を取得する。ステップＳ１９０６では、暈かし決定部１３０３は、描画部１３０５が算出した視点と仮想物体との間の距離を取得する。
【００３３】
ステップＳ１９０７では、暈かし決定部１３０３は、ステップＳ１９０１，Ｓ１９０３〜Ｓ１９０６にて取得した情報の組み合わせに対応する、暈かし処理用のフィルタを決定する。ここで、ステップＳ１９０１，Ｓ１９０３〜Ｓ１９０６にて取得した情報と、暈かし処理用のフィルタと、の関係について、図４を用いて説明する。
【００３４】
図４（ａ）は、動きベクトルデータと、対応するフィルタと、の関係を示すテーブルである。動きベクトルデータが示す動き方向が水平方向（例えば動きベクトルデータが示すベクトルの水平方向からの角度（９０度未満）の絶対値が３０度未満）であれば、水平方向に画像を暈かすフィルタを選択する。また、動きベクトルデータが示す動き方向が垂直方向（例えば動きベクトルデータが示すベクトルの鉛直方向からの角度（９０度未満）の絶対値が３０度未満）であれば、垂直方向に画像を暈かすフィルタを選択する。動きベクトルデータが示す動き方向が水平方向でも垂直方向でもない（例えば動きベクトルデータが示すベクトルの水平方向からの角度（９０度未満）の絶対値が３０度〜６０度の間）であれば、水平方向に対して４５度の方向に画像を暈かすフィルタを選択する。また、動きベクトルデータが示す動き量がθ１以上（動きが速い）であれば、画像を幅Ｗ１で暈かすフィルタを選択する。動きベクトルデータが示す動き量がθ２（＜θ１）以上且つθ１未満（動きが遅い）であれば、画像を幅Ｗ２（＜Ｗ１）で暈かすフィルタを選択する。動きベクトルデータが示す動き量がθ２未満であれば、フィルタは選択しない。
【００３５】
図４（ｂ）は、撮像パラメータと、対応するフィルタと、の関係を示すテーブルである。撮像パラメータに含まれている露光時間が規定の露光時間以上（露光時間が長い）であれば、画像を幅Ｗ１で暈かすフィルタを選択する。撮像パラメータに含まれている露光時間が規定の露光時間未満（露光時間が短い）であれば、画像を幅Ｗ２（＜Ｗ１）で暈かすフィルタを選択する。このようなフィルタ選択は、露光時間が長い場合は、露光時間が短い場合と比べて撮像画像の暈けが大きくなることに起因する。撮像パラメータに含まれている「ＨＭＤ１１０１の撮像部１２０２の手ぶれ補正機能がＯＮ／ＯＦＦの何れであるのか」が「手ぶれ補正機能がＯＮである」ことを示す場合には、画像を幅Ｗ２（＜Ｗ１）で暈かすフィルタを選択する。撮像パラメータに含まれている「ＨＭＤ１１０１の撮像部１２０２の手ぶれ補正機能がＯＮ／ＯＦＦの何れであるのか」が「手ぶれ補正機能がＯＦＦである」ことを示す場合には、画像を幅Ｗ１で暈かすフィルタを選択する。このようなフィルタ選択は、画像補正部１２０６で手ぶれ補正を行っていない場合、手ぶれ補正を行っている場合と比べて撮像画像の暈けが大きくなることに起因する。
【００３６】
図４（ｃ）は、描画部１３０５が算出した視点と仮想物体との間の距離と、対応するフィルタと、の関係を示すテーブルである。描画部１３０５が算出した視点と仮想物体との間の距離が閾値未満（近い）であれば、画像を幅Ｗ１で暈かすフィルタを選択する。描画部１３０５が算出した視点と仮想物体との間の距離が閾値以上（遠い）であれば、画像を幅Ｗ２（＜Ｗ１）で暈かすフィルタを選択する。このようなフィルタ選択は、視点と仮想物体との間の距離が大きい場合は暈け範囲は小さく、該距離が小さい場合は暈け範囲は広くなることに起因する。
【００３７】
このように、様々な要素に対応するフィルタの性質を踏まえて、予め図１０に例示するテーブルを作成し、該作成したテーブルを画像処理装置１１０４に登録しておく。図１０に例示するテーブルは、動きベクトルデータが示す動き量、露光時間、手ぶれ補正機能のＯＮ／ＯＦＦ、視点と仮想物体との間の距離、の組み合わせに応じた暈け範囲を規定するテーブルである。例えば、動きベクトルデータが示す動き量が閾値θ１以上（動きが早い）、露光時間が規定の露光時間以上（露光時間が長い）、手ぶれ補正機能がＯＦＦ、視点と仮想物体との間の距離が閾値未満（短い）、であるとする。この場合、対応する暈かし幅は、図１０のテーブルによると２０ｐｉｘｃｅｌとなる。
【００３８】
なお、図１０のテーブルでは、動きベクトルデータが示す動き量については「早い」「遅い」の何れか一方、露光時間については「長い」「短い」の何れか一方、視点と仮想物体との間の距離については「長い」「短い」の何れか一方、に分けている。しかし、動きベクトルデータが示す動き量、露光時間、視点と仮想物体との間の距離、をより多段階に分けて、より多くの組み合わせに対応する暈け範囲を登録するようにしても良い。例えば、動きベクトルが示す動き量が大きいほどより広く暈かし、該動き量が小さいほどより狭く暈かし、露光時間が長いほどより広く暈かし、該露光時間が短いほどより狭く暈かし、上記距離が小さいほどより広く暈かし、該距離が大きいほどより狭く暈かす。また、動きベクトルデータが示す動き量、露光時間、視点と仮想物体との間の距離、の組み合わせに対応する暈け範囲を規定する関数を図１０のテーブルの代わりに使用しても構わない。
【００３９】
然るにステップＳ１９０７では、ステップＳ１９０３にて取得した動き方向に、ステップＳ１９０１，Ｓ１９０４〜Ｓ１９０６にて取得した情報の組み合わせに対応する暈け範囲で画像を暈かすフィルタを選択することで、使用するフィルタを決定する。
【００４０】
水平方向に画像を暈かす一般的な平滑化フィルタの一例を図７（ａ）、（ｂ）に示す。図７（ａ）は５×５のフィルタを示しており、図７（ｂ）は３×３のフィルタを示している。広い暈し範囲を暈かす場合には図７（ａ）のような広い範囲に渡って画像を暈かすフィルタを用い、狭い暈かし範囲を暈かす場合には図７（ｂ）のような狭い範囲に渡って画像を暈かすフィルタを用いる。なお、フィルタは平滑化フィルタに限らない。
【００４１】
図６に戻って、次にステップＳ１６０２では、ＣＧ画像処理部１３０２は、暈かし決定部１３０３がフィルタを決定した場合には、描画部１３０５が生成した仮想物体画像を、該決定したフィルタを用いて暈かす暈かし処理を行う。図５（ａ）は、暈かす前の仮想物体画像である。図５（ａ）の画像物体画像を水平方向に幅Ｗ２で暈かした結果を図５（ｂ）に示す。図５（ａ）の画像物体画像を水平方向に幅Ｗ１で暈かした結果を図５（ｃ）に示す。そしてＣＧ画像処理部１３０２は、暈かし処理を行った仮想物体画像を、重畳部１３０４に対して出力する。
【００４２】
なお、暈かし決定部１３０３がフィルタを決定しなかった（ステップＳ１９０２で動きベクトルデータが表す動き量が閾値以下であると判断した）場合、ＣＧ画像処理部１３０２は、描画部１３０５が生成した仮想物体画像をそのまま重畳部１３０４に出力する。
【００４３】
ステップＳ１６０３において重畳部１３０４は、ＨＭＤ１１０１からＩ／Ｆ１２１１を介して受信した撮像画像上に、ＣＧ画像処理部１３０２から受けた仮想物体画像を重畳させた重畳画像を生成する。そして重畳部１３０４は、該生成した重畳画像を表示部１２０４に出力する。
【００４４】
なお、暈かし処理を行った仮想物体画像を撮像画像上に重畳する場合における、該仮想物体画像と撮像画像との境界部について図８を用いて説明する。図８（ａ）、（ｂ）は何れも水平方向に暈かした仮想物体画像１８０３と撮像画像１８０１の境界部１８０２を示したものである。図８（ａ）は、水平方向に暈かし範囲Ｗ１で暈かした仮想物体画像１８０３と撮像画像１８０１の境界部１８０２、図８（ｂ）は、水平方向に暈かし範囲Ｗ２で暈かした仮想物体画像１８０３と撮像画像１８０１の境界部１８０２、を示している。境界部１８０２については半透明の画素値（α値）を有する画素で描画すると良い。なお、境界部１８０２内でα値は一定値でも良いし、仮想物体画像１８０３側から撮像画像１８０１側に向けて徐々に透明度が増すようにα値を変化させても良い。
【００４５】
［第２の実施形態］
本実施形態を含め、以下の各実施形態では第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。本実施形態では、仮想物体画像を暈かす処理を行うのか否かの判断を、重畳画像（撮像画像）の画像サイズ（総画素数）に対する仮想物体画像の画像サイズの比率や、仮想物体画像が文字画像であるのか否かの判断結果に応じて行う。
【００４６】
本実施形態では、ＣＧ描画部１２１２は図３（ｂ）に例示する構成を有する。図３（ｂ）に示す構成は、図３（ａ）に示す構成に判定部２２０１を加えたものとなっている。判定部２２０１は、重畳画像の画像サイズ（規定）に対する描画部１３０５が生成した仮想物体画像の画像サイズの比率を求める。また判定部２２０１は、ＨＭＤ１１０１からＩ／Ｆ１２１１を介して受信した撮像パラメータに含まれている撮像部１２０２のフレームレートを取得し、該フレームレートと、求めた上記比率とに基づいて仮想物体画像に対する暈かし処理を行うか否かを判断する。
【００４７】
次に、画像処理装置１１０４が重畳画像を生成してＨＭＤ１１０１（表示部１２０４）に出力するために行う処理について、同処理のフローチャートを示す図１４を用いて説明する。なお、図１４のフローチャートに従った処理の開始前には、描画部１３０５は仮想物体画像の生成及び視点と仮想物体との間の距離の算出は完了しているものとする。また、図１４において図６に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。
【００４８】
ステップＳ２４０１において判定部２２０１は、重畳画像の画像サイズ（規定）に対する描画部１３０５が生成した仮想物体画像の画像サイズの比率を求める。また判定部２２０１は、ＨＭＤ１１０１からＩ／Ｆ１２１１を介して受信した撮像パラメータに含まれている撮像部１２０２のフレームレートを取得する。
【００４９】
ステップＳ２４０２では、判定部２２０１は、上記比率と上記フレームレートとに基づいて、仮想物体画像に対する暈かし処理を行うのか否かを判断する。ここで、重畳画像に占める仮想物体画像の比率と、仮想物体画像に対する暈かし処理の必要性と、の関係について図１１を用いて説明する。
【００５０】
図１１（ａ）、（ｂ）は何れも、現実物体２１０１が配された空間の撮像画像に仮想物体画像２１０２を重畳させた重畳画像を示している。しかし、図１１（ｂ）の重畳画像に占める仮想物体画像２１０２の割合は、図１１（ａ）の重畳画像に占める仮想物体画像２１０２の割合よりも大きい。重畳画像に占める仮想物体画像２１０２の割合が比較的大きいと、現実空間の画像領域が比較的小さくなるため、仮にユーザが首を振って撮像画像が暈けても、撮像画像における暈けは目立たない。然るに、図１１（ｂ）のような重畳画像の場合、暈かさない仮想物体画像を撮像画像に重畳させても、撮像画像は暈けており仮想物体画像は暈けていない、という違和感は感じがたい。そこで本実施形態では、重畳画像に占める仮想物体画像２１０２の割合が規定値以上であれば、仮想物体画像は暈かさないようにする。
【００５１】
例えば、図１３（ａ）に示す如く、重畳画像に占める仮想物体画像の割合が７０％以上であれば、仮想物体画像に対する暈かし処理は行わない（非実施）ようにする。一方、重畳画像に占める仮想物体画像の割合が７０％未満であれば、仮想物体画像に対する暈かし処理は行う（実施）ようにする。
【００５２】
また、図１３（ｂ）に示す如く、撮像部１２０２のフレームレートが３０ｆｐｓ以下の場合には、仮想物体画像に対する暈かし処理は行わない（非実施）ようにする。一方、撮像部１２０２のフレームレートが３０ｆｐｓより高い場合には、仮想物体画像に対する暈かし処理は行う（実施）ようにする。フレームレートが低い場合、ユーザが首を振って撮像画像が暈けていても、該ユーザにとって撮像画像における暈けはあまり気にならない。なお、３０ｆｐｓは閾値の一例であり、この値に限らない。
【００５３】
ステップＳ２４０２における判断の結果、仮想物体画像に対する暈かし処理を行うと判断した場合には、処理はステップＳ１６０１に進み、仮想物体画像に対する暈かし処理は行わないと判断した場合には、処理はステップＳ１６０３に進む。
【００５４】
［第３の実施形態］
本実施形態では、仮想物体画像を暈かす処理を行うのか否かの判断を、第２の実施形態とは異なる基準でもって行う。より具体的には、ＣＧ描画部１２１２にて描画する仮想物体画像が表すものが文字／記号であるのか、文字／記号以外の仮想物体であるのかに応じて、仮想物体画像を暈かす処理を行うのか否かを判断する。
【００５５】
本実施形態では、ＣＧ描画部１２１２は図１６に例示する構成を有する。図１６に示す構成は、図３（ａ）に示す構成に判定部２６０１を加えたものとなっている。判定部２６０１は、描画部１３０５が生成した仮想物体画像が文字／記号であるのか否かに応じて、仮想物体画像に対する暈かし処理を行うか否かを判断する。
【００５６】
次に、画像処理装置１１０４が重畳画像を生成してＨＭＤ１１０１（表示部１２０４）に出力するために行う処理について、同処理のフローチャートを示す図１８（ａ）を用いて説明する。なお、図１８（ａ）のフローチャートに従った処理の開始前には、描画部１３０５は仮想物体画像の生成及び視点と仮想物体との間の距離の算出は完了しているものとする。また、図１８（ａ）において図６に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。
【００５７】
ステップＳ２８０１では、判定部２６０１は、描画部１３０５が生成したそれぞれの仮想物体画像について、該仮想物体画像が文字／記号の画像であるのか否かを判断する。この判断の結果、文字／記号を表す仮想物体画像については、図１８（ｂ）に示す如く、暈かし処理は行わない（非実施）ため、処理はステップＳ２８０２を介してステップＳ１６０３に進む。一方、文字／記号以外の仮想物体画像については、図１８（ｂ）に示す如く、暈かし処理を行う（実施）ため、処理はステップＳ２８０２を介してステップＳ１６０１に進む。これにより、文字／記号以外の仮想物体画像については暈けた画像となり、文字／記号の仮想物体画像については暈けていない画像となる。
【００５８】
例えば、図１５（ａ）に示す如く、撮像画像上に、文字／記号以外の仮想物体の画像２５０２と文字の仮想物体の画像２５０１とが重畳される場合、画像２５０２については暈かしても構わない。しかし、画像２５０１については文字を表しているため、暈かしてしまうと文字が見えづらくなる。そこで、文字の画像２５０１については暈かし処理の対象外とする。
【００５９】
なお、図１５（ｂ）のように、画像２５０２上に画像２５０１を重ねる場合、つまり、文字／記号以外の仮想物体に文字／記号の仮想物体を重ねる（若しくは一体化する）ような場合であっても同じである。すなわち、文字／記号以外の仮想物体の画像については暈かし処理の対象となり、文字／記号の仮想物体の画像については暈かし処理の対象外とする。
【００６０】
［第４の実施形態］
本実施形態では、ＨＭＤはＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）機能を有している。そして本実施形態では、ＨＭＤは、ＯＳＤ機能によって表示するオブジェクト（ＯＳＤオブジェクト）のうち、常時表示するＯＳＤオブジェクトについては適宜暈かすものの、常時表示しないＯＳＤオブジェクトについては暈かさずに表示する。
【００６１】
本実施形態に係るシステムは図２０に例示する構成を有する。図２０に示す構成は、図１（ｂ）に示す構成においてＨＭＤ１１０１にＯＳＤ重畳部３００１を加えたものとなっている。ＯＳＤ重畳部３００１は、画像処理装置１１０４からＩ／Ｆ１２０７を介して受信した重畳画像にＯＳＤオブジェクトを重畳して表示部１２０４に出力する。このＯＳＤオブジェクトには、例えば現在日時を表す文字列、ＨＭＤ１１０１のバッテリー状態（残量など）を表す文字やオブジェクト、ＨＭＤ１１０１の各種の設定情報、ユーザへの各種のメッセージなどが含まれる。
【００６２】
次に、本実施形態の概要について、図１９を用いて説明する。図１９には、ＯＳＤ機能によって重畳画像２９００上に現在日時を表すＯＳＤオブジェクト２９０１及びメッセージを表すＯＳＤオブジェクト２９０２が重畳された状態を示している。ここで、ＯＳＤオブジェクト２９０１は常にユーザに通知するメッセージを表すものであるから、例えばユーザが首を振って撮像画像が暈けた場合、ＯＳＤオブジェクト２９０１も同様に暈かした方が違和感がない。これはＨＭＤ１１０１のバッテリー状態でも同様である。一方、ＯＳＤオブジェクト２９０２は、何かのイベント発生時にユーザに通知するメッセージを表すものであって、このメッセージは確実にユーザに視認させる必要のあるメッセージを含むものである。然るに、例えばユーザが首を振って撮像画像が暈けても、このメッセージは暈かさない方がよい。このように、ＯＳＤオブジェクトでも、その属性に応じて暈かす必要のあるＯＳＤオブジェクトと暈かさない方がよいＯＳＤオブジェクトとがある。
【００６３】
上記のＯＳＤ重畳部３００１の構成例について、図２１（ａ）のブロック図を用いて説明する。ＯＳＤ描画部３１０２は、制御部１２０５から表示対象として指示されたＯＳＤオブジェクトを生成する。
【００６４】
ＯＳＤ判定部３１０１は、ＯＳＤ描画部３１０２が生成したＯＳＤオブジェクトのそれぞれについて、暈かし処理の必要／不必要を判定する。上記の如く、図２１（ｂ）に示すように、常時表示が必要なＯＳＤオブジェクトについては暈かし処理は実施すると判断し、イベント発生時に表示するなど常時表示しないＯＳＤオブジェクトについては暈かし処理は実施しないと判断する。
【００６５】
ＯＳＤ処理部３１０３は、ＯＳＤ描画部３１０２が生成したＯＳＤオブジェクトのうち、ＯＳＤ判定部３１０１が暈かし処理が必要と判断したＯＳＤオブジェクトに対して暈かし処理を行い、暈かし処理済みのＯＳＤオブジェクトを重畳部３１０４に出力する。なお、暈かし処理に用いるフィルタは、暈かし決定部１３０３と同様の方法でもって決定する。つまり、動き検出部１２０３が検出した動きベクトルデータと、ＨＭＤ１１０１に設定されている撮像パラメータと、の組み合わせに応じて、ＯＳＤオブジェクトを暈かすためのフィルタを決定する。ＯＳＤ処理部３１０３によるフィルタ決定処理についての詳細は後述する。一方、ＯＳＤ処理部３１０３は、ＯＳＤ描画部３１０２が生成したＯＳＤオブジェクトのうち、ＯＳＤ判定部３１０１が暈かし処理が不必要と判断したＯＳＤオブジェクトについては、該ＯＳＤオブジェクトを暈かさずに重畳部３１０４に出力する。
【００６６】
重畳部３１０４は、画像処理装置１１０４からＩ／Ｆ１２０７を介して受信した重畳画像上に、ＯＳＤ処理部３１０３から出力されたＯＳＤオブジェクトを、ＯＳＤ機能によって重畳し、ＯＳＤオブジェクトが重畳された重畳画像を表示部１２０４に出力する。
【００６７】
次に、ＯＳＤ重畳部３００１が行う処理について、図２３のフローチャートを用いて説明する。なお、図２３のフローチャートに従った処理の開始時点では既にＯＳＤ描画部３１０２によって、制御部１２０５から表示対象として指示されたＯＳＤオブジェクトが生成済みであるものとする。
【００６８】
ステップＳ３３０１においてＯＳＤ判定部３１０１は、ＯＳＤ描画部３１０２が生成したＯＳＤオブジェクトのそれぞれについて、暈かし処理の必要／不必要を判定する。暈かし処理が必要と判断されたＯＳＤオブジェクトについては処理はステップＳ３３０２を介してステップＳ３３０３に進み、暈かし処理が不必要と判断されたＯＳＤオブジェクトについては処理はステップＳ３３０２を介してステップＳ３３０５に進む。
【００６９】
ステップＳ３３０３では、ＯＳＤ処理部３１０３は、ＯＳＤオブジェクトを暈かすためのフィルタを決定する。ステップＳ３３０３における処理の詳細について、図２のフローチャートを用いて説明する。
【００７０】
ステップＳ３５０１では、ＯＳＤ処理部３１０３は、動き検出部１２０３が検出した動きベクトルデータが表す動き量を取得する。そしてステップＳ３５０２では、ＯＳＤ処理部３１０３は、動きベクトルデータが表す動き量が閾値以下であるか否かを判断する。この判断の結果、動きベクトルデータが表す動き量が閾値以下であれば、暈かし処理用にフィルタを取得する処理は不必要と判断し、フィルタは取得せずに、処理は図２３のステップＳ３３０５に進む。一方、動きベクトルデータが表す動き量が閾値よりも大きい場合、暈かし処理用にフィルタの取得処理を行うべく処理はステップＳ３５０３に進む。
【００７１】
ステップＳ３５０３では、ＯＳＤ処理部３１０３は、動き検出部１２０３が検出した動きベクトルデータが表す動き方向を取得する。ステップＳ３５０４では、ＯＳＤ処理部３１０３は、ＨＭＤ１１０１に設定されている撮像パラメータに含まれている露光時間を取得する。ステップＳ３５０５では、ＯＳＤ処理部３１０３は、ＨＭＤ１１０１に設定されている撮像パラメータに含まれている「ＨＭＤ１１０１の撮像部１２０２の手ぶれ補正機能がＯＮ／ＯＦＦの何れであるのか」を取得する。
【００７２】
ステップＳ３５０６では、ＯＳＤ処理部３１０３は、ステップＳ３５０１，Ｓ３５０３〜Ｓ３５０５にて取得した情報の組み合わせに対応する、暈かし処理用のフィルタを決定する。ここで、ステップＳ３５０１，Ｓ３５０３〜Ｓ３５０５にて取得した情報と、暈かし処理用のフィルタと、の関係について、図１２を用いて説明する。
【００７３】
図１２（ａ）は、動きベクトルデータと、対応するフィルタと、の関係を示すテーブルである。動きベクトルデータと、対応するフィルタと、の関係については、フィルタの適用対象がＯＳＤオブジェクトであること以外は、図４（ａ）に示した関係と同じである。
【００７４】
図１２（ｂ）は、撮像パラメータと、対応するフィルタと、の関係を示すテーブルである。撮像パラメータと、対応するフィルタと、の関係については、フィルタの適用対象がＯＳＤオブジェクトであること以外は、図４（ｂ）に示した関係と同じである。
【００７５】
このように、様々な要素に対応するフィルタの性質を踏まえて、本実施形態においても、予め図１０に例示するテーブルを作成し、該作成したテーブルをＨＭＤ１１０１に登録しておく（ただし視点と仮想物体との間の距離の欄は不要）。テーブルの使用方法については第１の実施形態で説明したとおりであり、動きベクトルデータが示す動き量、露光時間、手ぶれ補正機能のＯＮ／ＯＦＦ、の組み合わせに応じた暈け範囲を取得する。
【００７６】
然るにステップＳ３５０６では、ステップＳ３５０３にて取得した動き方向に、ステップＳ３５０１，Ｓ３５０４〜Ｓ３５０５にて取得した情報の組み合わせに対応する暈け範囲で画像を暈かすフィルタを選択することで、使用するフィルタを決定する。
【００７７】
図２３に戻って、次にステップＳ３３０４では、ＯＳＤ処理部３１０３は、フィルタを決定した場合には、ＯＳＤ描画部３１０２が生成したＯＳＤオブジェクトを、該決定したフィルタを用いて暈かす暈かし処理を行う。そしてＯＳＤ処理部３１０３は、暈かし処理を行ったＯＳＤオブジェクトを、重畳部３１０４に対して出力する。
【００７８】
なお、ＯＳＤ処理部３１０３がフィルタを決定しなかった（ステップＳ３５０２で動きベクトルデータが表す動き量が閾値以下であると判断した）場合、ＯＳＤ処理部３１０３は、ＯＳＤ描画部３１０２が生成したＯＳＤオブジェクトをそのまま重畳部３１０４に出力する。
【００７９】
ステップＳ３３０５において重畳部３１０４は、画像処理装置１１０４からＩ／Ｆ１２０７を介して受信した重畳画像上に、ＯＳＤ処理部３１０３から受けたＯＳＤオブジェクトを重畳させた画像を生成し、該生成した画像を表示部１２０４に出力する。
【００８０】
なお、ＯＳＤ重畳部３００１を画像処理装置１１０４側に組み込んでも良い。この場合、ＨＭＤ１１０１はＯＳＤオブジェクトが重畳済みの重畳画像を画像処理装置１１０４から受信して表示することになる。
【００８１】
［第５の実施形態］
図１（ｂ），３（ａ）、（ｂ），１６，２０，２１（ａ）に示した各機能部は全てハードウェアで実装しても良いし、１以上をソフトウェア（コンピュータプログラム）で実装しても良い。例えば、画像処理装置１１０４の場合、コンテンツＤＢ１２１３及びＩ／Ｆ１２１１をハードウェアで構成し、それ以外の機能部をソフトウェアで構成しても良い。この場合、このようなハードウェアを有し且つこのソフトウェアを実行可能なコンピュータ装置は画像処理装置１１０４に適用可能である。このような、画像処理装置１１０４に適用可能なコンピュータ装置のハードウェア構成例について、図１７のブロック図を用いて説明する。
【００８２】
ＣＰＵ１０１はＲＡＭ１０２やＲＯＭ１０３に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりＣＰＵ１０１は、コンピュータ装置全体の動作制御を行うと共に、画像処理装置１１０４が行うものとして上述した各処理を実行若しくは制御する。
【００８３】
ＲＡＭ１０２は、外部記憶装置１０５からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ１０６を介して外部（ＨＭＤ１１０１）から受信したデータ、を格納するためのエリアを有する。更にＲＡＭ１０２は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０２は各種のエリアを適宜提供することができる。ＲＯＭ１０３には、書き換え不要のコンピュータ装置の設定データやブートプログラムなどが格納されている。
【００８４】
操作部１０４は、マウスやキーボードなどのユーザインターフェースにより構成されており、コンピュータ装置のユーザが操作することで、各種の指示をＣＰＵ１０１に対して入力することができる。
【００８５】
外部記憶装置１０５は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１０５には、ＯＳ（オペレーティングシステム）や、位置姿勢算出部１２１４、ＣＧ描画部１２１２の機能をＣＰＵ１０１に実行させるためのコンピュータプログラムやデータが保存されている。このデータには、コンテンツＤＢ１２１３や、上記の説明において既知の情報として説明したもの、予め画像処理装置１１０４に登録しておくものとして説明したものも含まれている。外部記憶装置１０５に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０２にロードされ、ＣＰＵ１０１による処理対象となる。
【００８６】
Ｉ／Ｆ１０６には、図１（ａ）の場合、コントローラ１１０２や表示装置１１０３が接続される。もちろん、Ｉ／Ｆ１０６はＨＭＤ１１０１と直接通信を行うようにしても良い。Ｉ／Ｆ１０６は図１（ｂ）の場合、Ｉ／Ｆ１２１１として機能する。
【００８７】
ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、操作部１０４、外部記憶装置１０５、Ｉ／Ｆ１０６は何れもバス１０７に接続されている。なお、図１７に示した構成は画像処理装置１１０４に適用可能なコンピュータ装置の構成の一例に過ぎない。
【００８８】
＜変形例＞
暈かし処理の可否は、ユーザが設定しても良い。また、画像処理装置１１０４が行うものとして説明した処理、ＨＭＤ１１０１が行うものとして説明した処理は、その一部を他の装置に行わせるようにしても良い。
【００８９】
また、暈け範囲の決定においては、上記の各実施形態において説明した全ての情報を用いることに限らない。例えば第１の実施形態では、動きベクトルデータ、撮像パラメータ、描画部１３０５が求めた距離、の組み合わせに対応する暈け範囲を決定していた。しかし、例えば、動きベクトルデータと露光時間との組み合わせや、動きベクトルデータと描画部１３０５が求めた距離との組み合わせに対応する暈け範囲を決定するようにしても良い。また、上記の実施形態や変形例は、その一部若しくは全部を適宜組み合わせて使用しても構わないし、その一部若しくは全部を選択的に使用しても構わない。
【００９０】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９１】
１１０１：ＨＭＤ  １２１４：位置姿勢算出部  １２１２：ＣＧ描画部
【図１】
2018028572.tif 000003
【図２】
2018028572.tif 000004
【図３】
2018028572.tif 000005
【図４】
2018028572.tif 000006
【図５】
2018028572.tif 000007
【図６】
2018028572.tif 000008
【図７】
2018028572.tif 000009
【図８】
2018028572.tif 000010
【図９】
2018028572.tif 000011
【図１０】
2018028572.tif 000012
【図１１】
2018028572.tif 000013
【図１２】
2018028572.tif 000014
【図１３】
2018028572.tif 000015
【図１４】
2018028572.tif 000016
【図１５】
2018028572.tif 000017
【図１６】
2018028572.tif 000018
【図１７】
2018028572.tif 000019
【図１８】
2018028572.tif 000020
【図１９】
2018028572.tif 000021
【図２０】
2018028572.tif 000022
【図２１】
2018028572.tif 000023
【図２２】
2018028572.tif 000024
【図２３】
2018028572.tif 000025