(57)【要約】【課題】撮影画像に合わせてグラフィクス画像を調整しながら合成後の画像を確認することを可能にする。【解決手段】撮影装置により撮影された撮影画像及びグラフィクス画像を入力する画像入力手段と、前記撮影画像における前記第１オブジェクトの奥行き方向の情報を取得する第１取得手段と、前記グラフィクス画像における前記第２オブジェクトの奥行き方向の情報を取得する第２取得手段と、前記第１オブジェクトの奥行き方向の情報に基づき、前記第２オブジェクトの奥行き方向の情報を調整する調整手段と、前記調整手段により調整された前記第２オブジェクトの奥行き方向の情報に基づき、前記撮影画像と前記グラフィクス画像とを合成する合成手段と、を備える画像処理装置。【選択図】図３
2017227958.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置により撮影された撮影画像及びグラフィクス画像を入力する画像入力手段と、
前記撮影画像における第１オブジェクトの奥行き方向の情報を取得する第１取得手段と、
前記グラフィクス画像における第２オブジェクトの奥行き方向の情報を取得する第２取得手段と、
前記第１オブジェクトの奥行き方向の情報に基づき、前記第２オブジェクトの奥行き方向の情報を調整する調整手段と、
前記調整手段により調整された前記第２オブジェクトの奥行き方向の情報に基づき、前記撮影画像と前記グラフィクス画像とを合成する合成手段と、
を備える画像処理装置。
【請求項２】
前記調整手段は、前記第１オブジェクトの奥行きを表す特徴量と前記第２オブジェクトの奥行きを表す特徴量との差を小さくするように前記調整を行う請求項１に記載の画像処理装置。
【請求項３】
ユーザから前記第２オブジェクトの奥行き方向の情報の調整に関する指示の入力を受け付ける指示入力手段と、
前記調整手段は、ユーザから前記指示が入力された場合、前記ユーザの指示に基づき前記第２オブジェクトの奥行き方向の情報を調整する請求項１に記載の画像処理装置。
【請求項４】
前記ユーザの指示は、前記第２オブジェクトの奥行き方向の特徴量を調整する指示である請求項３に記載の画像処理装置。
【請求項５】
前記ユーザの指示が入力されるたびに前記ユーザの指示に基づき前記調整手段は前記調整を改めて行うとともに、前記合成手段は前記調整された第２オブジェクトの奥行き方向の情報に基づき改めて前記合成を行う請求項３又は４に記載の画像処理装置。
【請求項６】
前記奥行きを表す特徴量は、オブジェクトの奥行き方向の位置、オブジェクトの画像を構成する画素の輝度、オブジェクトの輪郭を表す特徴量、オブジェクトの背景のぼけを表す特徴量、の少なくともいずれかである請求項２、４及び５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第１取得手段は、前記撮影画像の特徴量に基づき、前記第１オブジェクトの奥行き方向の情報を算出する請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記第２取得手段は、前記グラフィクス画像に前記第２オブジェクトの奥行き方向の情報を示すデータが関連付けられていない場合、前記グラフィクス画像の特徴量に基づき、前記第２オブジェクトの奥行き方向の情報を算出する請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第２取得手段は、前記グラフィクス画像に前記第２オブジェクトの奥行き方向の情報を示すデータが関連付けられている場合、当該データに基づき前記第２オブジェクトの奥行き方向の情報を取得する請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項１０】
画像におけるオブジェクトの奥行き方向の情報は、画像における他のオブジェクトの位置、オブジェクトにおける各画素の奥行き方向の位置及び輝度、オブジェクトの輪郭の少なくともいずれかである請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記第１取得手段は、前記撮影画像の特徴量として、前記撮影画像の周波数、前記第１オブジェクトの輪郭、各画素の輝度に基づき、前記第１オブジェクトの奥行き方向の情報を算出する請求項７に記載の画像処理装置。
【請求項１２】
前記第２取得手段は、前記グラフィクス画像の特徴量として、前記グラフィクス画像の周波数、前記第２オブジェクトの輪郭、各画素の輝度に基づき、前記第２オブジェクトの奥行き方向の情報を算出する請求項８に記載の画像処理装置。
【請求項１３】
記憶手段をさらに備え、
前記調整手段は、調整後の第２オブジェクトの奥行き方向の情報を前記記憶手段に保存する請求項１〜１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記調整手段は、調整後の第２オブジェクトの奥行き方向の情報とともに、前記調整を行ったときの前記撮影画像、第１オブジェクトの情報、前記第１オブジェクトの奥行き方向の情報の少なくともいずれかを前記記憶手段に保存する請求項１３に記載の画像処理装置。
【請求項１５】
前記第１オブジェクトは、前記撮影画像においてフォーカスが合っているオブジェクトのうちのいずれかである請求項１〜１４のいずれか１項に記載の画像処理装置。
【請求項１６】
請求項１〜１５のいずれか１項に記載の画像処理装置と、
前記合成手段により合成された画像を表示する表示手段と、
を備える表示装置。
【請求項１７】
撮影装置により撮影された撮影画像及びグラフィクス画像を入力する画像入力工程と、
前記撮影画像における前記第１オブジェクトの奥行き方向の情報を取得する第１取得工程と、
前記グラフィクス画像における前記第２オブジェクトの奥行き方向の情報を取得する第２取得工程と、
前記第１オブジェクトの奥行き方向の情報に基づき、前記第２オブジェクトの奥行き方向の情報を調整する調整工程と、
前記調整工程により調整された前記第２オブジェクトの奥行き方向の情報に基づき、前記撮影画像と前記グラフィクス画像とを合成する合成工程と、
を有する画像処理装置の制御方法。
【請求項１８】
画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラムであって、前記制御方法は、
撮影装置により撮影された撮影画像及びグラフィクス画像を入力する画像入力工程と、
前記撮影画像における前記第１オブジェクトの奥行き方向の情報を取得する第１取得工程と、
前記グラフィクス画像における前記第２オブジェクトの奥行き方向の情報を取得する第２取得工程と、
前記第１オブジェクトの奥行き方向の情報に基づき、前記第２オブジェクトの奥行き方向の情報を調整する調整工程と、
前記調整工程により調整された前記第２オブジェクトの奥行き方向の情報に基づき、前記撮影画像と前記グラフィクス画像とを合成する合成工程と、
を有するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法、表示装置、及びプログラムに関する。
【背景技術】
【０００２】
撮影装置で撮影した撮影画像にコンピュータグラフィクス（ＣＧ）画像を合成する画像処理を行うことがある。撮影画像とＣＧ画像との合成処理においては、撮影時の被写体の位置、方向、画角、焦点距離等の情報に基づき、ＣＧ画像の奥行き方向（以後、Ｚ方向と称す）の情報を算出する。このＺ方向の情報に基づき、撮影画像の奥行き感と同等の奥行き感を有するＣＧ画像を制作し、撮影画像と合成する。関連する技術は特許文献１に記載されている。従来、ＣＧ画像の制作は撮影後の画像編集工程で行っていたが、近年、スマートフォンやタブレットＰＣ等の小型端末の高性能化により、撮影時に現場で撮影画像とＣＧ画像との合成を行うことも可能になっている。これにより、撮影時に撮影画像とＣＧ画像の奥行き感が近くなるように、撮影装置の撮影条件を調整することができる。これにより編集作業の効率化が図れる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−１５３２１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮影時に現場で撮影画像とＣＧ画像との合成を行うためには、予めＺ方向の情報を設定して制作したＣＧ画像を用意しておく必要がある。上記のように撮影画像の奥行き感の調整は撮影装置の撮影条件を変更することで可能だが、ＣＧ画像のＺ値を調整することはできない。そのため、撮影画像に合わせてＣＧ画像を調整しながら合成後の画像を確認することが困難だった。
【０００５】
そこで本発明は、撮影画像に合わせてグラフィクス画像を調整しながら合成後の画像を確認することを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、撮影装置により撮影された撮影画像及びグラフィクス画像を入力する画像入力手段と、
前記撮影画像における前記第１オブジェクトの奥行き方向の情報を取得する第１取得手段と、
前記グラフィクス画像における前記第２オブジェクトの奥行き方向の情報を取得する第２取得手段と、
前記第１オブジェクトの奥行き方向の情報に基づき、前記第２オブジェクトの奥行き方向の情報を調整する調整手段と、
前記調整手段により調整された前記第２オブジェクトの奥行き方向の情報に基づき、前記撮影画像と前記グラフィクス画像とを合成する合成手段と、
を備える画像処理装置である。
【０００７】
本発明は、撮影装置により撮影された撮影画像及びグラフィクス画像を入力する画像入力工程と、
前記撮影画像における前記第１オブジェクトの奥行き方向の情報を取得する第１取得工程と、
前記グラフィクス画像における前記第２オブジェクトの奥行き方向の情報を取得する第２取得工程と、
前記第１オブジェクトの奥行き方向の情報に基づき、前記第２オブジェクトの奥行き方向の情報を調整する調整工程と、
前記調整工程により調整された前記第２オブジェクトの奥行き方向の情報に基づき、前記撮影画像と前記グラフィクス画像とを合成する合成工程と、
を有する画像処理装置の制御方法である。
【０００８】
本発明は、画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラムであって、前記制御方法は、
撮影装置により撮影された撮影画像及びグラフィクス画像を入力する画像入力工程と、
前記撮影画像における前記第１オブジェクトの奥行き方向の情報とを取得する第１取得工程と、
前記グラフィクス画像における前記第２オブジェクトの奥行き方向の情報とを取得する第２取得工程と、
前記第１オブジェクトの奥行き方向の情報に基づき、前記第２オブジェクトの奥行き方向の情報を調整する調整工程と、
前記調整工程により調整された前記第２オブジェクトの奥行き方向の情報に基づき、前記撮影画像と前記グラフィクス画像とを合成する合成工程と、
を有するプログラムである。
【発明の効果】
【０００９】
本発明によれば、撮影画像に合わせてグラフィクス画像を調整しながら合成後の画像を確認することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例の画像処理装置を含むシステムの概略構成を示す図
【図２】実施例の画像処理装置のメニュー画面の一例を示す図
【図３】実施例の画像処理装置の概略構成を示すブロック図
【図４】実施例１の画像処理装置の構成を示すブロック図
【図５】実施例１の画像処理装置の処理を示すフローチャート
【図６】実施例１の奥行き調整前後の表示画像
【図７】実施例２の画像処理装置の構成を示すブロック図
【図８】実施例２の調整の情報をファイルに保存する処理のフローチャート
【図９】実施例２のファイルに保存する情報の例
【図１０】実施例３のＺ値検出部４２１の処理を示すフローチャート
【発明を実施するための形態】
【００１１】
以下、本発明の実施例について図面を参照して詳細に説明する。本発明の画像処理装置は、撮影画像から検出したオブジェクトの奥行き情報を用いて、撮影画像と合成するグラフィクス画像（ＣＧ画像）の奥行き情報を調整することを特徴とする。
【００１２】
（実施例１）
実施例１は本発明を適用した画像処理装置の一例である。実施例１の画像処理装置では、撮影画像から検出した輝度、輪郭、オブジェクトの大きさ等から、撮影画像の奥行き情報を算出し、その情報に基づきＣＧ画像のＺ値を調整する。
【００１３】
図１は、実施例１の画像処理装置を含むシステムの概略構成を示す図である。画像処理装置１は、撮影装置であるカメラ２、ＣＧ画像を出力する記憶装置３、及び画像処理装置１にユーザが指示を入力する指示入力手段であるコントローラ４と接続される。画像処理
装置１は、カメラ２から撮影画像を入力するとともに、記憶装置３から予め作成されたＣＧ画像を入力する。コントローラ４は、決定キー１０、キャンセルキー１１、十字キー１２、調整つまみ１３を備え、ユーザが撮影画像とＣＧ画像を合成した際の奥行き感を調整する指示を画像処理装置１に入力することが可能な入力手段である。
【００１４】
図２は、画像処理装置１がユーザから指示の入力を受け付けるために表示するＧＵＩ（Graphical User Interface）の一例である。このＧＵＩは、画像処理装置１に備わるディスプレイに表示される。メニュー画面２０は、奥行き調整２１、ぼかし感調整２２、輝度２３、シャープネス２４、拡縮２５、合成２６、保存２７、キャンセル２８に関するユーザ入力を受け付けるＧＵＩ部品を有する。奥行き調整２１のメニューにより、ユーザは、画像内にある調整対象のオブジェクトを手動で選択して奥行きに関する調整を行う手動調整モードか、調整対象のオブジェクトを画像処理装置が自動で選択する自動調整モードか、のいずれかのモードを選択する。この入力画面では、ユーザは、調整対象のオブジェクトのＺ値（奥行き方向の位置情報）を入力することができる。オブジェクトのＺ値はカメラ２から取得することができる。ぼかし感調整２２のメニューにより、ユーザは、奥行き調整２１と同様に、奥行き方向に関連する表示特性（ぼけ具合、輝度、コントラスト等）の調整を手動又は自動のいずれで行うか選択することができる。輝度２３、シャープネス２４、拡縮２５のメニューにより、ユーザは、調整つまみ１３を用いて各項目の調整量を指示することができる。調整対象のオブジェクトの選択の指示は、十字キー１２を操作することで入力することができる。保存２７のメニューにより調整結果の保存の指示を入力することができる。キャンセル２８のメニューにより調整内容を保存せず破棄する指示を入力することができる。メニュー画面２０の各項目選択の指示は十字キー１２を用いて入力することができる。実施例１では、奥行き調整２１とぼかし感調整２２に関して、ユーザが手動で設定するものとする。なお、これらの調整を画像処理装置が自動で行う構成も本発明に含まれる。
【００１５】
図３は、画像処理装置１の概略構成を示すブロック図である。画像処理装置１は、撮影情報取得部３０、奥行き検出部３１、ＣＧ情報取得部３２、調整部３３、合成部３４、表示部３５、ファイル制御部３６、ユーザ指示制御部３７を備える。
撮影情報取得部３０は、カメラ２により撮影された撮影画像に関する情報を取得する。
奥行き検出部３１は、撮影画像内の第１オブジェクトの情報と、第１オブジェクトの奥行き方向の情報とを取得する第１取得手段である。実施例１では、奥行き検出部３１は、撮影画像の特徴量に基づき、第１オブジェクトの奥行き方向の情報を取得する。撮影画像の特徴量としては、例えば、撮影画像の周波数、第１オブジェクトの輪郭、各画素の輝度等を用いることができる。
ＣＧ情報取得部３２は、記憶装置３から入力されるＣＧ画像に関する情報を取得する。
調整部３３は、撮影画像内の第１オブジェクトの奥行き方向の情報に基づき、ＣＧ画像内の第２オブジェクトの奥行き方向の情報を調整する。
合成部３４は、調整部３３により調整された第２オブジェクトの奥行き方向の情報に基づき、撮影画像とＣＧ画像とを合成する。
表示部３５は、撮影画像とＣＧ画像とが合成された画像を表示するディスプレイである。表示部３５は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、ＭＥＭＳ（Micro Electro Mechanical Systems）シャッター方式のディスプレイ等である。また、表示機能（表示部３５）を有しない構成の画像処理装置も本発明に含まれる。その場合、画像処理装置は、合成部３４が合成した画像を外部の表示装置へ出力する出力部を有する構成となる。
ファイル制御部３６は、実施例１では用いない。実施例２においてファイル制御部３６を有する構成に本発明を適用した例について説明する。
ユーザ指示制御部３７は、ユーザから指示の入力を受け付ける指示入力手段である。
【００１６】
図４は、実施例１の画像処理装置１の機能構成を示すブロック図である。
撮影情報取得部３０は、レシーバ４００、画像オブジェクト検出部４０１、画像輪郭検出部４０２、画像輝度検出部４０３を備える。
奥行き検出部３１は、画像統計量取得部４１０、Ｚ値算出部４１１を備える。
ＣＧ情報取得部３２は、ファイル入力部４２０、Ｚ値検出部４２１、ＣＧオブジェクト検出部４２２、ＣＧ輪郭検出部４２３、ＣＧ輝度検出部４２４を備える。
調整部３３は、ＣＧ統計量取得部４３０、Ｚ値調整部４３１、輝度・輪郭調整部４３２を備える。
合成部３４は、Ｚ値比較部４４０、合成部４４１を備える。
ユーザ指示制御部３７は、コマンド解釈部４７０、モード判定・指示４７１を備える。
【００１７】
画像処理装置１で撮影画像の奥行き方向の情報を算出し、ＣＧ画像の奥行き方向の情報を調整する処理について、図４のブロック図を用いて説明する。
【００１８】
レシーバ４００は、カメラ２より撮影画像を入力する画像入力手段である。レシーバ４００は、撮影画像を、画像オブジェクト検出部４０１、画像輪郭検出部４０２及び画像輝度検出部４０３に送る。
画像オブジェクト検出部４０１は、レシーバ４００より撮影画像を受信し、撮影画像内のフォーカスが合っているオブジェクトを検出する。画像オブジェクト検出部４０１は、フォーカスが合っているか否かの情報を各画素に関連付けて、画像統計量取得部４１０に送る。
【００１９】
画像輪郭検出部４０２は、レシーバ４００より撮影画像を受信し、撮影画像内の輪郭を検出する。画像輪郭検出部４０２は、輪郭と判断した画素の座標と、輪郭の強調度合いとを、撮影画像と関連付けて、画像統計量取得部４１０に送る。ここでは、輪郭の強調度合いは、周波数で表現する。
画像輝度検出部４０３は、レシーバ４００より撮影画像を受信し、撮影画像内の各画素の輝度値を検出する。画像輝度検出部４０３は、輝度値と対応する画素とを関連付けて、画像統計量取得部４１０に送る。
【００２０】
画像統計量取得部４１０は、画像オブジェクト検出部４０１、画像輪郭検出部４０２、画像輝度検出部４０３から、撮影画像、撮影画像に関連付けられたフォーカス情報、輪郭画素の座標、輪郭の強調度合い、輝度値を受信する。画像統計量取得部４１０は、これらの情報をＺ値算出部４１１及び輝度・輪郭調整部４３２に送る。
Ｚ値算出部４１１は、画像統計量取得部４１０から、撮影画像、撮影画像に関連付けられたフォーカス情報、輪郭画素の座標、輪郭の強調度合い、輝度値、オブジェクト情報を取得し、撮影画像の各画素のＺ値を算出する。算出方法は、奥行き調整２１にて、ユーザがオブジェクトのＺ値を入力したか否かで処理が異なる。
【００２１】
ユーザがオブジェクトのＺ値を入力していない場合、Ｚ値算出部４１１は、画像統計量取得部４１０から取得した輪郭の強調度合いと、輪郭を形成する画素、及びオブジェクト情報に基づき、合焦距離が最も近いオブジェクトとの距離を決定する。輪郭の強調度合い等が等しい場合、Ｚ値算出部４１１は、輝度値に基づきオブジェクトとの距離を決定する。Ｚ値算出部４１１は、最も近いオブジェクトからの相対距離により、画素毎、又は撮影画像内のオブジェクト毎に距離を決定する。
【００２２】
ユーザがオブジェクトのＺ値を入力した場合、入力されたＺ値は、コマンド解釈部４７０、モード判定・指示４７１を経て調整部３３及び奥行き検出部３１に送信される。Ｚ値算出部４１１は、ユーザ指示制御部３７から送信されるユーザ入力値を取得する。Ｚ値算出部４１１は、画像統計量取得部４１０から取得したオブジェクト情報から、ユーザが調
整対象として選択したオブジェクトを検出し、検出したオブジェクトに関連付けられた座標、輝度、輪郭等の情報と、ユーザが入力したＺ値とを関連付ける。Ｚ値算出部４１１は、調整対象でないオブジェクトを構成する画素については、調整対象のオブジェクトのＺ値に基づいて、ユーザがＺ値を入力していない場合の上記のＺ値算出方法と同様の処理によりＺ値を決定する。
Ｚ値算出部４１１は、決定したＺ値を撮影画像と関連付けて、Ｚ値調整部４３１及びＺ値比較部４４０に送る。
【００２３】
ファイル入力部４２０は、記憶装置３からＣＧ画像を入力する画像入力手段である。ファイル入力部４２０は、ＣＧ画像を、Ｚ値検出部４２１、ＣＧオブジェクト検出部４２２、ＣＧ輪郭検出部４２３、ＣＧ輝度検出部４２４に送る。
Ｚ値検出部４２１は、ファイル入力部４２０からＣＧ画像を受信し、Ｚ値の情報が存在するか否かを確認し、Ｚ値の情報の有無をＣＧ画像と関連付けてＣＧ統計量取得部４３０に送る。Ｚ値検出部４２１は、ＣＧ画像内の第２オブジェクトの情報と第２オブジェクトの奥行き方向の情報とを取得する第２取得手段である。ＣＧ画像にＣＧ画像内のオブジェクト（第２オブジェクト）の奥行き方向（Ｚ方向）の情報を示すデータが関連付けられている場合、Ｚ値検出部４２１は、当該データに基づき第２オブジェクトのＺ値を取得する。ＣＧ画像に関連付けられたＺ値の情報が存在しない場合、Ｚ値検出部４２１は、ＣＧ画像の特徴量に基づき、第２オブジェクトのＺ値を算出する。ＣＧ画像の特徴量としては、例えば、ＣＧ画像の周波数、第２オブジェクトの輪郭、各画素の輝度等を用いることができる。
【００２４】
ＣＧオブジェクト検出部４２２は、ファイル入力部４２０からＣＧ画像を受信し、ＣＧ画像内のフォーカスが合っているオブジェクトを検出する。そして、ＣＧ画像を構成する画素毎に、当該オブジェクトの画素であるか否かの情報をＣＧ画像と関連付けてＣＧ統計量取得部４３０に送る。
ＣＧ輪郭検出部４２３は、ファイル入力部４２０から受信したＣＧ画像の輪郭を検出する。そして、輪郭と判断した画素と、輪郭の強調度合いとを、ＣＧ画像と関連付けてＣＧ統計量取得部４３０に送る。
ＣＧ輝度検出部４２４は、ファイル入力部４２０から受信したＣＧ画像の、各画素の輝度値を検出する。そして、各画素と輝度値を関連付けてＣＧ統計量取得部４３０に送る。
【００２５】
ＣＧ統計量取得部４３０は、Ｚ値検出部４２１、ＣＧオブジェクト検出部４２２、ＣＧ輪郭検出部４２３、ＣＧ輝度検出部４２４から、ＣＧ画像及びＣＧ画像に関連付けられた情報を受信する。ＣＧ画像に関連付けられた情報とは、Ｚ値の情報の有無、フォーカスが合っているオブジェクトの画素及び座標、輪郭を形成する座標と輪郭の強調度合い、各画素の輝度値である。ＣＧ統計量取得部４３０は、受信したＣＧ画像及びＣＧ画像に関連付けられた情報を、Ｚ値調整部４３１、輝度・輪郭調整部４３２に送る。
【００２６】
Ｚ値調整部４３１は、Ｚ値算出部４１１から受信した撮影画像のＺ値と、ＣＧ統計量取得部から受信したＣＧ画像及びＣＧ画像に関連付けられた情報から、ＣＧ画像のＺ値を調整する。
例えば、ユーザが、メニュー画面２０の奥行き調整２１にて手動を選択し、ＣＧ画像の中のオブジェクトを、現状のＺ値で表される位置よりもさらに奥に設定するとする。どの程度奥に設定するかについて、ユーザは調整つまみ１３を操作して指示を入力する。この場合、ユーザ指示制御部３７は、ユーザからＣＧ画像内の第２オブジェクトの奥行き方向の情報の調整に関する指示の入力を受け付ける。ユーザから指示が入力された場合、Ｚ値調整部４３１は、ユーザの指示に基づきＣＧ画像内の第２オブジェクトの奥行き方向の情報を調整する。Ｚ値調整部４３１は、ＣＧオブジェクト検出部４２２が検出したＣＧ画像内の第２オブジェクトを構成する各画素の座標を取得する。第２オブジェクトを構成する
画素の座標を注目座標という。Ｚ値調整部４３１は、Ｚ値算出部４１１から受信した撮影画像内の第１オブジェクトのＺ値に基づき、ＣＧ画像内の注目座標に隣接する座標における撮影画像の画素のＺ値（以後、隣接Ｚ情報と称す）を検出する。Ｚ値調整部４３１は、注目座標と隣接Ｚ情報に基づき、注目座標のＺ値を、隣接Ｚ情報より大きい値になるよう調整する。調整後の注目座標のＺ値は、ユーザが調整つまみ１３を用いて設定した調整量に応じて算出される。
一方、ユーザがメニュー画面２０の奥行き調整２１において自動を選択した場合、Ｚ値調整部４３１は、第１オブジェクトの奥行きを表す特徴量（隣接Ｚ情報）と第２オブジェクトの奥行きを表す特徴量（注目座標のＺ値）との差が小さくなるように調整する。
【００２７】
輝度・輪郭調整部４３２は、画像統計量取得部４１０から撮影画像の輝度及び輪郭に関する情報を、ＣＧ統計量取得部４３０からＣＧ画像の輝度及び輪郭に関する情報を、Ｚ値調整部４３１からＣＧ画像及びＣＧ画像のＺ値を取得する。ユーザが、メニュー画面２０においてぼかし感調整２２が手動設定とされた場合、輝度・輪郭調整部４３２は、ユーザが入力した輝度及び輪郭の調整量に応じて、ＣＧ画像の輝度及び輪郭を調整する。ぼかし感調整２２が自動設定とされた場合、輝度・輪郭調整部４３２は、Ｚ値調整部４３１から撮影画像のＺ値を取得し、ＣＧ画像のＺ値と比較する。輝度・輪郭調整部４３２は、Ｚ値が互いに等しい座標に関して、ＣＧ画像の輝度及び輪郭を調整する。輝度・輪郭調整部４３２は、調整後のＣＧ画像をＺ値比較部４４０に送る。
【００２８】
Ｚ値比較部４４０は、Ｚ値算出部４１１と、輝度・輪郭調整部４３２から、撮影画像、ＣＧ画像、及びＺ値の情報を受信する。Ｚ値比較部４４０は、撮影画像とＣＧ画像の同じ座標の画素のＺ値を比較し、比較結果に基づき隠面消去処理の対象座標を算出する。
合成部４４１は、Ｚ値比較部４４０から受信した撮影画像とＣＧ画像を、Ｚ値比較部４４０による隠面消去処理の対象座標に基づく隠面消去処理を行って、合成する。合成部４４１は、合成後の画像を表示部３５に送る。
【００２９】
上述した処理の手順を、図５のフローチャートを用いて説明する。なお、図５のフローチャートは各処理の手順の順番を示すものであって、同じ手順番号が付されている処理であっても、必ずしも同時刻に実行される必要はない。
手順Ｔ５０において、撮影情報取得部３０は、レシーバ４００により撮影画像を取得する。また、ＣＧ情報取得部３２は、ファイル入力部４２０によりＣＧ画像を取得する。この手順の処理は、撮影情報取得部３０については、カメラ２から画像処理装置１に撮影画像が入力されるたびに（垂直同期信号の入力毎に）行われる。ＣＧ情報取得部３２については、画像処理装置１がファイル入力部４２０からＣＧ画像を取得し、ユーザがメニュー画面２０のメニュー合成２６を用いて画像合成の指示を入力したことをもって開始される。撮影画像取得処理の実行タイミングとＣＧ画像取得処理の実行タイミングとは同時でなくても良い。
【００３０】
手順Ｔ５１において、撮影情報取得部３０は、画像輪郭検出部４０２により、撮影画像の輪郭を検出する。ＣＧ情報取得部３２は、ＣＧ輪郭検出部４２３により、ＣＧ画像の輪郭を検出する。画像オブジェクト検出部４０１は、撮影画像内のフォーカスが合っているオブジェクトを検出する。ＣＧオブジェクト検出部４２２は、ＣＧ画像内のオブジェクトを検出する。この手順の処理は、撮影情報取得部３０については、カメラ２から画像処理装置１に撮影画像が入力されるたびに（垂直同期信号の入力毎に）行われる。ＣＧ情報取得部３２については、手順Ｔ５０にてＣＧ情報取得部３２がＣＧ画像の取得処理を完了した次の手順として行う。
【００３１】
手順Ｔ５２において、撮影情報取得部３０は、画像輝度検出部４０３により、撮影画像の輝度を検出する。ＣＧ情報取得部３２は、ＣＧ輝度検出部４２４により、ＣＧ画像の輝
度を検出する。この手順の処理は、撮影情報取得部３０については、カメラ２から画像処理装置１に撮影画像が入力されるたびに（垂直同期信号の入力毎に）行われる。ＣＧ情報取得部３２については、手順Ｔ５１にてＣＧ情報取得部３２が輪郭検出処理を完了した次の手順として行う。
【００３２】
手順Ｔ５３において、ＣＧ情報取得部３２は、Ｚ値検出部４２１により、ＣＧ画像のＺ値を検出する。この手順の処理は、手順Ｔ５２にてＣＧ情報取得部３２が輝度検出処理を完了した次の手順として行う。
上述した手順Ｔ５１から手順Ｔ５３の処理については、順番を問わない。また、手順Ｔ５０における撮影情報取得部３０の処理とＣＧ情報取得部３２の処理は、必ずしも同時刻に開始する必要はない。
【００３３】
手順Ｔ５４において、奥行き検出部３１は、画像統計量取得部４１０により、手順Ｔ５１から手順Ｔ５３において撮影情報取得部３０が検出した撮影画像に関する情報を取得する。撮影画像に関する情報とは、撮影画像の輪郭、輝度、オブジェクトの座標である。調整部３３は、ＣＧ統計量取得部４３０により、手順Ｔ５１から手順Ｔ５３においてＣＧ情報取得部３２が取得したＣＧ画像に関する情報を取得する。ＣＧ画像に関する情報とは、ＣＧ画像の輪郭、輝度、Ｚ値、オブジェクトの座標である。この手順の処理は、奥行き検出部３１については、手順Ｔ５２の輝度検出処理を完了した後に、続いて行う。調整部３３については、手順Ｔ５３の処理を完了した次の手順として行う。
上述した手順Ｔ５４の処理について、奥行き検出部３１の処理と調整部３３の処理は、必ずしも同時刻に開始する必要はない。
【００３４】
手順Ｔ５５において、奥行き検出部３１は、Ｚ値算出部４１１により撮影画像のＺ値を算出する。この手順の処理は、手順Ｔ５４の処理を完了した次の手順として行われる。
手順Ｔ５６において、調整部３３は、Ｚ値調整部４３１により、Ｚ値算出部４１１及びＣＧ統計量取得部４３０から撮影画像のＺ値、ＣＧ画像、及びＣＧ画像に関する情報を取得する。この手順の処理は、奥行き検出部３１が手順Ｔ５５の処理を完了し、且つ、調整部３３が手順Ｔ５４の処理を完了した次の手順として行われる。
【００３５】
手順Ｔ５７において、調整部３３は、輝度・輪郭調整部４３２により、画像統計量取得部４１０、ＣＧ統計量取得部４３０及びＺ値調整部４３１から、ＣＧ画像、ＣＧ画像に関する情報、撮影画像に関する情報を取得する。輝度・輪郭調整部４３２は、ＣＧ画像の輝度及び輪郭の調整を行う。この手順の処理は、調整部３３が手順Ｔ５６の処理を完了した次の手順として行われる。
上述した手順Ｔ５４から手順Ｔ５５の処理は、手順Ｔ５６の処理より前に完了する必要がある。また、手順Ｔ５６から手順Ｔ５７の処理は、手順Ｔ５８の処理より前に完了する必要がある。
【００３６】
手順Ｔ５８において、合成部３４は、Ｚ値比較部４４０により、撮影画像とＣＧ画像のＺ値について比較を行う。この手順の処理は、調整部３３が手順Ｔ５７の処理を完了した次の手順として行われる。
手順Ｔ５９において、合成部４４１は、隠面消去処理と、撮影画像とＣＧ画像の合成を行う。この手順の処理は、合成部３４が手順Ｔ５８の処理を完了した次の手順として行う。
【００３７】
図４と図５で説明した処理により、ユーザがＣＧ画像の奥行きを調整する前後での合成画像の表示例を図６に示す。図６（Ａ）は、ＣＧ画像の奥行きを調整する前の合成画像の表示例である。撮影画像の第１オブジェクト６０に対して、ＣＧ画像の第２オブジェクト６１が手前に表示されている。これに対しユーザが、撮影画像の第１オブジェクト６０よ
り奥にＣＧ画像の第２オブジェクト６１が表示されるようＺ値を調整する。図６（Ｂ）は、奥行き調整を実施した後の合成画像の表示例である。撮影画像の第１オブジェクト６０に対して、ＣＧ画像の第２オブジェクト６１が奥に表示されている。
ユーザがＣＧ画像内の第２オブジェクトのＺ値の調整量の指示を入力する場合、調整部３３はユーザの指示が入力されるたびに当該指示に基づく調整を行い、合成部３４は調整された第２オブジェクトのＺ値に基づき改めて合成を行うようにすると良い。これにより、ユーザはＺ値の調整量をコントローラ４の調整つまみ１３を用いて変化させ、ＣＧ画像と撮影画像とが合成された画像を見ながら、ＣＧ画像の第２オブジェクトの奥行き感を撮影画像に対して最適に調整することができる。この場合、必要に応じて撮影条件を変更することもできるので、ユーザは、撮影画像及びＣＧ画像の奥行き感の両方を実際の合成後の画像を確認しながら調整することができ、調整に係る手間を大幅に低減できる。
【００３８】
実施例１の画像処理装置は、撮影画像から撮影画像内のオブジェクトのＺ値を算出し、これに基づきＣＧ画像内のオブジェクトのＺ値を自動又は手動で調整することができる。さらに、Ｚ値調整後の撮影画像とＣＧ画像の合成画像を表示することができる。これにより、予め作成したＣＧ画像の奥行き情報を、撮影装置による撮影画像との合成後の画像を確認しながら、調整することができる。撮影時に撮影画像とＣＧ画像の奥行き感を調整できるので、後の編集工程での調整の手間を軽減でき、効率よく編集作業を行うことができる。
【００３９】
（実施例２）
実施例２における画像処理装置の処理を説明する。実施例２の画像処理装置は、調整したＣＧ画像のＺ値と、ユーザの指示に応じて調整した画像情報を保存し、ファイルに出力する。
【００４０】
図７は、実施例２における画像処理装置１の概略構成を示すブロック図である。画像処理装置１は、実施例１で説明した各ブロックに加えてファイル制御部３６を有する構成である。ファイル制御部３６は、データを記憶する記憶装置を有し、データ記憶に関する諸制御を行う。ファイル制御部３６は、データ保存部４６０、ファイル生成部４６１、ファイル出力部４６２を有する。実施例２では、調整部３３は、調整後のＣＧ画像の第２オブジェクトの奥行き方向の情報をファイル制御部３６の記憶装置に保存する。
【００４１】
図８は、実施例２の画像処理装置の処理を示すフローチャートである。
まず、撮影画像に対する処理を説明する。
ステップＳ９００１において、画像オブジェクト検出部４０１は、撮影画像の周波数成分を算出する。
ステップＳ９００２において、画像オブジェクト検出部４０１は、ステップＳ９００１で算出した周波数成分の類似した個所を検出し、撮影画像内のオブジェクトを検出する。
ステップＳ９０２１において、画像輪郭検出部４０２は、ステップＳ９００１で算出した周波数成分から、エッジ（輪郭）を検出する。
ステップＳ９０３１において、画像輝度検出部４０３は、撮影画像の各画素における輝度を算出する。
【００４２】
ステップＳ９１０１において、画像統計量取得部４１０は、ステップＳ９０２１で算出したエッジと、エッジに関連付けられた撮影画像の座標を取得する。
ステップＳ９１０２において、画像統計量取得部４１０は、ステップＳ９００２で検出したオブジェクトと、オブジェクトに関連付けられた撮影画像の座標を取得する。
ステップＳ９１０３において、画像統計量取得部４１０は、ステップＳ９０３１で算出した各画素の輝度と、輝度に関連付けられた各画素の座標を取得する。
ステップＳ９１０１、ステップＳ９１０２、及びステップＳ９１０３は、処理の順序を
問わない。
ステップＳ９１０４において、画像統計量取得部４１０は、ステップＳ９１０１〜Ｓ９１０３で取得したエッジ、オブジェクト、周波数、輝度、及び各々に関連付けられた座標の情報を、Ｚ値算出部４１１及び輝度・輪郭調整部４３２に送る。
【００４３】
ステップＳ９１１１において、Ｚ値算出部４１１は、画像統計量取得部４１０から取得したオブジェクトと周波数から、オブジェクト毎の周波数を比較し、Ｚ方向における各オブジェクトの順番を決定する。
ステップＳ９１１２において、Ｚ値算出部４１１は、画像統計量取得部４１０から取得したオブジェクトと輝度から、オブジェクト毎の輝度を比較する。Ｚ値算出部４１１は、比較結果に基づき、ステップＳ９１１１において決定したＺ方向における各オブジェクトの順番を必要に応じて調整する。
ステップＳ９１１３において、Ｚ値算出部４１１は、ステップＳ９１１１及びステップＳ９１１２において決定したオブジェクトの順番と、画像統計量取得部４１０より取得したエッジ等に基づき、各画素に仮想的なＺ値を割り当てる。
上記のステップＳ９００１からステップＳ９１１３までの処理は、撮影画像に対する処理である。
【００４４】
次に、ＣＧ画像に対する処理を説明する。
ステップＳ９２１１において、Ｚ値検出部４２１は、ＣＧ画像の各画素のＺ値を検出する。
ステップＳ９２２１において、ＣＧオブジェクト検出部４２２は、ＣＧ画像の各画素における周波数成分を算出する。
ステップＳ９２２２において、ＣＧオブジェクト検出部４２２は、ステップ９２２１で算出した周波数から、オブジェクトを検出する。オブジェクト検出の方法は、ステップＳ９００２と同様である。
ステップＳ９２３１において、ＣＧ輪郭検出部４２３は、ステップＳ９２２１で算出した周波数から、エッジを検出する。
ステップＳ９２４１において、ＣＧ輝度検出部４２４は、ＣＧ画像の各画素における輝度を算出する。
【００４５】
ステップＳ９３０１において、ＣＧ統計量取得部４３０は、Ｚ値検出部４２１が検出した各画素のＺ値と、Ｚ値に関連付けられた座標を取得する。ＣＧ統計量取得部４３０は、Ｚ値調整部４３１に、Ｚ値とＺ値に関連付けられた座標を送る。
ステップＳ９３０２において、ＣＧ統計量取得部４３０は、ステップＳ９２２１で検出した周波数、ステップＳ９２３１にて算出したエッジ、及び、周波数とエッジに関連付けられた座標を取得する。
ステップＳ９３０３において、ＣＧ統計量取得部４３０は、ＣＧオブジェクト検出部４２２が検出したオブジェクト及びオブジェクトに関連付けられた座標を取得する。
ステップＳ９３０４において、ＣＧ統計量取得部４３０は、ＣＧ輝度検出部４２４が算出した輝度及び輝度に関連付けられた座標を取得する。
【００４６】
ステップＳ９３０５において、ＣＧ統計量取得部４３０は、ステップＳ９３０１〜Ｓ９３０４にて取得した、ＣＧ画像のＺ値、エッジ、周波数、オブジェクト、輝度、及び各情報に関連付けられた座標を、輝度・輪郭調整部４３２に送る。
ステップＳ９３０１、ステップＳ９３０２、ステップＳ９３０３、ステップＳ９３０４については、処理の順序を問わない。
【００４７】
上記ステップＳ９２１１からステップＳ９３０５までの処理は、ＣＧ画像に対する特徴量や情報の検出処理である。
【００４８】
次に、撮影画像とＣＧ画像から検出した情報より、ＣＧ画像のＺ値及び画像情報を調整する処理を説明する。
ステップＳ９３１１において、Ｚ値調整部４３１は、Ｚ値算出部４１１より、撮影画像の各画素に仮想的に割り当てたＺ値を取得する。Ｚ値調整部４３１は、ＣＧ統計量取得部４３０より、ＣＧ画像の各画素におけるＺ値を取得する。Ｚ値調整部４３１は、ユーザによる奥行き感の調整の指示に基づいて、ＣＧ画像の各画素におけるＺ値を調整する。その後、ステップＳ９３１２において、Ｚ値調整部４３１は、ステップＳ９３１１で取得及び調整したＣＧ画像のＺ値、及び撮影画像のＺ値を、輝度・輪郭調整部４３２に送る。
【００４９】
ステップＳ９３１１における、ＣＧ画像のＺ値を調整する処理について、図９を用いて説明する。図９は、調整した画像情報をファイルに保存する場合のデータ構造を模式的に示す図である。このファイルに保存されるデータは、撮影画像の情報１０００と、ＣＧ画像の情報１００１から構成され、各情報は、画素毎に、座標値で管理される。撮影画像の情報１０００は、周波数、オブジェクト、エッジ、輝度、仮想Ｚ値の５種類の情報から構成される。ＣＧ画像の情報１００１は、周波数、オブジェクト、エッジ、輝度、Ｚ値の５種類の情報から構成される。
【００５０】
図１０の例では、ステップＳ９３１１にてＺ値調整部４３１が取得した情報のうち、撮影画像のオブジェクト１を示すデータ１００２と、ＣＧ画像のオブジェクト２０を示すデータ１００４が、同じ座標にある。ユーザが、オブジェクト１よりオブジェクト２０を奥に移動するＺ値調整指示を入力したとする。Ｚ値調整部４３１は、ＣＧ画像のオブジェクト２０のＺ値であるデータ１００５、１００６、１００７を、撮影画像のオブジェクト１のＺ値であるデータ１００３より大きい値に調整する。調整する大きさは、ユーザが、調整つまみ１３を用いて指定することができる。
【００５１】
例えば、ユーザが、調整つまみ１３を用いて、オブジェクト１のＺ値であるデータ１００３より、オブジェクト２０のＺ値を、３０だけ奥に移動させるとする。すると、Ｚ値調整部４３１は、ＣＧ画像のＺ値のデータ１００５の値を８０から２０１へ、ＣＧ画像のＺ値のデータ１００６の値を８０から２０１へ、ＣＧ画像のＺ値のデータ１００７の値を８１から２０２へ、変更する調整を行う。
【００５２】
ステップＳ９３２１において、輝度・輪郭調整部４３２は、ＣＧ統計量取得部４３０、画像統計量取得部４１０、Ｚ値調整部４３１から取得した情報より、ＣＧ画像のシャープネスを調整し、輪郭の強調度合いを調整する。
ステップＳ９３２２において、輝度・輪郭調整部４３２は、ステップＳ９３２１において調整した輪郭の強調度合いに応じて、ＣＧ画像内のオブジェクト画像内の周波数成分を調整する。
ステップＳ９３２３において、輝度・輪郭調整部４３２は、ステップＳ９３２１において取得した情報から、ＣＧ画像の輝度を調整する。
ステップＳ９３２１及びステップＳ９３２３は、ユーザの指示に応じて調整する。
【００５３】
上記ステップＳ９３１１からステップＳ９３２３は、ＣＧ画像のＺ値を、ユーザの指示に応じて調整する処理である。なお、ユーザの指示は、第２オブジェクトの奥行き方向の特徴量を調整する指示である。奥行きを表す特徴量は、オブジェクトの奥行き方向の位置、オブジェクトの画像を構成する画素の輝度、オブジェクトの輪郭を表す特徴量（エッジの強調度合等）、オブジェクトの背景のぼけを表す特徴量等である。ユーザの指示は、ＣＧ画像内の第２オブジェクトのＺ値の他、輝度や輪郭等の、奥行き感に影響する特徴量を調整する指示であっても良い。このような特徴量についても、ユーザの指示がある場合、Ｚ値調整部４３１、輝度・輪郭調整部４３２は、ユーザの指示に応じてＣＧ画像の調整を
行う。
【００５４】
次に、調整した情報をファイルに保存する処理を説明する。
ステップＳ９６０１において、データ保存部４６０は、ステップＳ９３２１で調整したシャープネスに関する、周波数とエッジの情報を保存する。データ保存部４６０は、調整を行ったタイミング又はユーザが保存を指定したタイミングで、データの保存を行う。また、データ保存部４６０は、Ｚ値を保存する。データ保存部４６０は、ＣＧ画像の周波数とエッジの情報を保存するとともに、撮影画像の周波数とエッジの情報を保存しても良い。
【００５５】
ステップＳ９６０２において、データ保存部４６０は、ステップＳ９３２２で調整したオブジェクト内部の周波数とエッジ、及びオブジェクト情報を保存する。データ保存部４６０は、調整を行ったタイミング又はユーザが保存を指定したタイミングで、データの保存を行う。また、データ保存部４６０は、Ｚ値を保存する。データ保存部４６０は、ＣＧ画像の周波数とエッジ、及びオブジェクトの情報を保存するとともに、撮影画像の周波数とエッジ、及びオブジェクトの情報を保存しても良い。
【００５６】
ステップＳ９６０３において、データ保存部４６０は、ステップＳ９３２３で調整した輝度の情報を保存する。データ保存部４６０は、調整を行ったタイミング又はユーザが保存を指定したタイミングで、データの保存を行う。また、データ保存部４６０は、Ｚ値を保存する。データ保存部４６０は、ＣＧ画像の輝度の情報を保存するとともに、撮影画像の輝度の情報を保存しても良い。
【００５７】
ステップＳ９６１１において、ファイル生成部４６１は、ファイルの準備を行う。ファイル出力部４６２と接続された記録媒体に、記録対象のファイルがある場合、ファイル生成部４６１は、記録対象のファイルを使用する。記録対象のファイルが存在しない場合、ファイル生成部４６１は、新規にファイルを作成する。ファイル形式は、テキストでもバイナリでも良い。また、テキストファイルの場合、ファイル内部の書式は、単純なデータの羅列でも、ＣＤＬのようなＸＭＬ形式でも良い。ＣＤＬとはカラーディシジョンリストの略称で、米国撮影監督協会が公開しているものである。
【００５８】
ステップＳ９６１２において、ファイル生成部４６１は、ステップＳ９６１１で取得又は生成したファイルに対して、保存した情報を記録する。特に、ＣＤＬファイルの場合、拡張メタ領域に情報を記述する。
ステップＳ９６１３において、ファイル生成部４６１は、ステップＳ９６１２で作成したファイルを、画像処理装置１に保存する。
ステップＳ９６２１において、ファイル出力部４６２は、ユーザの指示で外部の記録媒体に保存を行う場合に、ステップＳ９６１３で、画像処理装置１に保存したファイルを外部の記録媒体に出力する。外部の記録媒体とのインターフェースとしては、ＵＳＢ等を例示できる。インターフェースの種類はこれに限定されない。
上記のステップＳ９６０１からステップＳ９６２１は、調整した画像情報を保存する処理である。
【００５９】
以上、説明したように、実施例２の画像処理装置によれば、ユーザの指示に応じて撮影画像とＣＧ画像の情報を比較し、ＣＧ画像の奥行き情報を調整することができる。さらに、調整内容を保存し、ファイルに出力することができる。これにより、予め作成したＣＧ画像を、撮影現場で調整することが可能になるとともに、保存した情報やファイルを用いて後の編集工程におけるＣＧ画像の調整作業を効率化することができる。
【００６０】
（実施例３）
実施例３における画像処理装置の処理を説明する。実施例３では、ＣＧ画像に予めＺ値の情報が付加されているか否かを判定し、判定結果に応じて処理を切り替える。
Ｚ値検出部４２１は、ＣＧ画像に予めＺ値の情報が付加されているか否かを判定し、判定結果に応じて処理を切り替える制御を行う。このＺ値検出部４２１の処理の他は、実施例１や実施例２と同等である。実施例３では、Ｚ値検出部４２１の上記の処理について詳細に説明する。
【００６１】
図１０は、実施例３におけるＺ値検出部４２１の処理を示すフローチャートである。
ステップＳ１１０において、Ｚ値検出部４２１は、画像処理装置１に入力したＣＧ画像にＺ値の情報が含まれるか否かを判定する。含まれている場合はステップＳ１１６に、含まれていない場合はステップＳ１１１に移行する。Ｓ１１１以降の処理では、Ｚ値検出部４２１は、ＣＧ画像の特徴量として、ＣＧ画像の周波数、第２オブジェクトの輪郭、各画素の輝度に基づき、第２オブジェクトの奥行き方向の情報（Ｚ値）を算出する。
【００６２】
ステップＳ１１１において、Ｚ値検出部４２１は、ＣＧオブジェクト検出部４２２よりＣＧ画像の周波数の情報を、ＣＧ輪郭検出部４２３よりＣＧ画像のエッジの情報を取得する。そして、ステップＳ１１２に移行する。
ステップＳ１１２において、Ｚ値検出部４２１は、ＣＧオブジェクト検出部４２２より、ＣＧ画像から検出したオブジェクトの情報を取得する。そして、ステップＳ１１３に移行する。
ステップＳ１１３において、Ｚ値検出部４２１は、ＣＧ輝度検出部４２４より、ＣＧ画像の各画素における輝度の情報を取得する。そして、ステップＳ１１４に移行する。
上記のステップＳ１１１からＳ１１３の処理は、順序を問わない。
【００６３】
ステップＳ１１４において、Ｚ値検出部４２１は、各画素の情報を比較する。各画素の情報とは、ステップＳ１１２において取得したオブジェクトの情報と、ステップＳ１１１において取得した周波数の情報、及びステップＳ１１４において取得した輝度の情報である。そして、オブジェクト毎の奥行きを算出する。例えば、２つのオブジェクトＡ，Ｂがある場合、ＡとＢのどちらが、どの程度奥に存在するかを算出する。次に、オブジェクト毎に、オブジェクトの内部における奥行きを、画素毎に算出する。その後、ステップＳ１１５に移行する。
【００６４】
ステップＳ１１５において、Ｚ値検出部４２１は、ステップＳ１１４にて算出した奥行き情報から、仮想のＺ値を、各画素に割り当てる。そして、処理を終了する。
ステップＳ１１６において、Ｚ値検出部４２１は、ＣＧ画像のＺ値を検出する。この処理は実施例１，２で説明した検出処理と同様である。そして、処理を終了する。
【００６５】
以上、説明したように、実施例３では、画像処理装置１に入力したＣＧ画像がＺ値の情報を持たない場合でも、画素毎に仮想Ｚ値を割り当てることができる。そしてこの仮想Ｚ値に基づき、撮影画像とＣＧ画像との合成を行い、撮影現場での奥行き感の調整を行うことができる。予め作成したＣＧ画像がＺ値の情報を持たないデータであっても、撮影現場にてＣＧ画像の調整が可能となる。これにより、実施例１，２と同様、撮影時に撮影画像とＣＧ画像の奥行き感を調整することができ、後の編集工程におけるＣＧ画像の調整作業を効率化することができる。
【００６６】
（その他の実施例）  
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上記各実施例は、記憶装置又はメモリに記憶又は記録又は格納又は保存されたプログラムをコンピュータ又はプロセッサ又はＣＰＵが実行することによって各機能ブロックの機能又は処理を実現する態様で実施することができる。プロセッサとメモリとを備え、前記メモリにはコンピュータが実行することによって上記各実施例で説明した各機能ブロックの機能が実現されるプログラムが記憶されている構成も、本発明の範囲に含まれる。
【符号の説明】
【００６７】
４００：レシーバ、４２０：ファイル入力部、４１１：Ｚ値算出部、４２１：Ｚ値検出部、４３１：Ｚ値調整部、４４１：合成部
【図１】
2017227958.tif 000003
【図２】
2017227958.tif 000004
【図３】
2017227958.tif 000005
【図４】
2017227958.tif 000006
【図５】
2017227958.tif 000007
【図６】
2017227958.tif 000008
【図７】
2017227958.tif 000009
【図８】
2017227958.tif 000010
【図９】
2017227958.tif 000011
【図１０】
2017227958.tif 000012