(57)【特許請求の範囲】
【請求項１】
画像効果の種類を示す画像データ、前記画像データが示す画像効果の種類を示す制御データ、及び、前記画像効果を付加する領域を示す位置情報を記憶する記憶手段と、
前記記憶部に記憶された画像データに基づいて、前記画像効果の種類の名前を示す前記第１の画像を出力する第１の表示制御手段と、
前記第１の画像の表示位置と前記記憶手段に記憶された前記位置情報とに基づき、第２の画像において前記第１の表示制御手段から出力された前記第１の画像が示す画像効果を付加する部分を決定すると共に、前記記憶手段に記憶された前記制御データに基づき、前記第２の画像における前記決定した部分に対して前記第１の表示手段から出力された前記第１の画像が示す画像効果を付加する第２の表示制御手段と、
前記第１の表示制御手段から出力された前記第１の画像と前記第２の表示制御手段により前記画像効果が付加された前記第２の画像とを合成し、合成画像を出力する合成手段とを備える画像処理装置。
【請求項２】
前記第１の表示制御手段は、第１の画像レイヤに表示するグラフィカルユーザインタフェース画像を出力し、前記第２の表示制御手段は、第２の画像レイヤに表示する背景画像に対して前記画像効果を付加して出力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記位置情報は、前記第１の画像の表示位置と前記画像効果を付加する領域との相対位置を示す情報であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第２の表示制御手段は、前記第１の画像の表示位置の変更指示があったことに応じて、前記第２の画像に対する画像効果を変更することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第１の表示制御手段は、複数の前記第１の画像を出力し、前記第２の表示制御手段は、前記第１の表示制御手段から出力された複数の前記第１の画像のうち選択された一つが示す画像効果を前記第２の画像に付加することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、特に、複数の画像レイヤを合成して表示する処理に関する。
【背景技術】
【０００２】
従来、映像入出力装置においてＧＵＩ（グラフィカル・ユーザ・インターフェイス）を実装した装置がある。このような装置は、ＧＵＩを表示する第一の画像レイヤと映像を表示する第二の画像レイヤを有し、第一の画像レイヤと第二の画像レイヤを合成した表示を見ながら（例えば、第一の画像レイヤのＧＵＩを見ながら）、操作を行うことで、第二の画像レイヤに対する画像処理等の操作を直感的に行える。
【０００３】
一方、ユーザの操作に応じて表示画像の一部に対して変更を施したいという要望がある。例えば、特許文献１では、処理対象画像の設定領域に対して外部スイッチによるユーザ操作に応じて部分的に変形処理を行う技術を開示している。
【特許文献１】特開２００１−２８０６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の処理対象画像である第二の画像レイヤの設定領域に対してユーザ操作に応じて部分的に変形を行う方法では、ＧＵＩと処理対象画像である第二の画像レイヤを合成して表示し、スイッチの替わりにＧＵＩを用いて操作する場合には、ＧＵＩ表示が変更になった場合などに対応できないという問題があった。
【０００５】
例えばＧＵＩ操作に応じて第二の画像レイヤに対して部分的な画像処理を行う場合には、第二の画像レイヤの画像処理される位置や形状と第一の画像レイヤに表示されているＧＵＩの位置または形状の整合性を保つ必要が有る。したがってＧＵＩの図形素片の位置や形状を変更する場合には処理対象画像の設定領域の再設定が必要である。しかし背景画像が描画されている第二の画像レイヤから第一の画像レイヤに表示されているＧＵＩ画像の図形素片の正確な場所や形状の判断は困難であるという問題があった。また、動画を記録／再生するような装置においては、第二の画像レイヤに表示する画像が常に変化するために、処理対象画像の設定領域を指定するのは困難であるという問題もあった。
【０００６】
本発明はこの様な問題を解決し、表示画像の変更があった場合にも容易に整合をとることが可能な装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明によれば、画像効果の種類を示す画像データ、前記画像データが示す画像効果の種類を示す制御データ、及び、前記画像効果を付加する領域を示す位置情報を記憶する記憶手段と、前記記憶部に記憶された画像データに基づいて、前記画像効果の種類の名前を示す前記第１の画像を出力する第１の表示制御手段と、前記第１の画像の表示位置と前記記憶手段に記憶された前記位置情報とに基づき、第２の画像において前記第１の表示制御手段から出力された前記第１の画像が示す画像効果を付加する部分を決定すると共に、前記記憶手段に記憶された前記制御データに基づき、前記第２の画像における前記決定した部分に対して前記第１の表示手段から出力された前記第１の画像が示す画像効果を付加する第２の表示制御手段と、前記第１の表示制御手段から出力された前記第１の画像と前記第２の表示制御手段により前記画像効果が付加された前記第２の画像とを合成し、合成画像を出力する合成手段とを備える。
【発明の効果】
【０００８】
本発明によれば、第二の画像レイヤに表示されている画像に関わらず、第一の画像零夜に表示されている画像と整合性の取れた部分変更を第二の画像レイヤの表示画像に加えることができる。
【発明を実施するための最良の形態】
【０００９】
以下、添付図面を参照して本発明に好適な実施の形態を詳細に説明する。
【００１０】
（第１の実施の形態）
以下、本発明の一実施例を紹介する。図２（ａ）は第一の実施の形態における表示制御手段を用いた撮像装置の外観図の一例であり、この撮像装置を保持するためのグリップ側から見た斜視図である。図２（ｂ）は同様に前記表示装置の外観であり、装置側面に取り付けられたＬＣＤユニット側から見た斜視図である。
【００１１】
ここで、２０１は表示装置本体、２０２はズームスイッチでありこのスイッチをＷ側に移動させる事でワイド撮影を、Ｔ側に移動させる事でテレ撮影を行う。２０３はレンズユニットである。２０４はリストストラップであり、ベルトにより表示装置を保持する手の甲を押さえるように設計されている。
【００１２】
また、２０５はビューファインダであり、中に小型ＬＣＤと拡大用レンズを内蔵しており、撮影者が目を近づけることによって撮影画面を確認する事ができる。
【００１３】
２０７は動作モードを切り換える操作スイッチを構成するモードダイアルであり、図２（ａ）（ｂ）において右方向へ突出した柄の部分を回転させる事により、電源ＯＦＦ、ＶＴＲ、ＣＡＭＥＲＡ、ＰＨＯＴＯ、ＰＲＯＧＲＥＳＳＩＶ  ＳＣＡＮ、編集、の合計６つのモードへ切り換えることができる。ここで、ＰＨＯＴＯモードとは、スチル映像（静止画）を記録するモードであり、静止画を記憶媒体へ記録するモードである。
【００１４】
モードダイアル２０７をＰＲＯＧＲＥＳＳＩＶ  ＳＣＡＮ（プログレッシブスキャン）モードに設定することにより、イメージセンサを２ラインづつ読み出す通常カメラ（動画）モードから、１ラインづつ読み出すモードに設定する事ができ、動画におけるそれぞれのフレームを高画質で録画する事が可能となる。したがってＰＲＯＧＲＥＳＳＩＶ  ＳＣＡＮモードは主に動画１フレーム画を高画質の静止画として切り出すときに使用される。
【００１５】
２０６はポジションロックツマミで、モードダイアル２０７の位置が不用意に変わらないように固定する。２０８は録画の開始、停止を行うためのスタート／ストップボタン２０９はモードダイアルのロックを解除するアンロックツマミ（アンロック部材）、２１０はモードダイヤルベース、２１１は映像を大きな画面で確認するためのＬＣＤユニットである。また、２１２はユーザの操作を快適にする十字ボタンであり、２１３は意思決定のためのＯＫボタンであり、２１４はＣＡＮＣＥＬボタンである。
【００１６】
図１は本実施の形態に用いて好適な構造図の一例である。なお、本実施の形態に直接関係しない他の構成部分、例えば絞り、シャッタ、測距システム等は図示を省略したが、これらは実際には設けられているものとする。
【００１７】
撮像手段１０３はフォーカスレンズ及びフォーカスレンズ駆動モータを一体化したレンズユニット２０３と、前記レンズユニット２０３の光学情報からカメラ信号を生成する受像素子とから成る。符号化手段１０２は前記撮像手段１０３で生成されるカメラ信号を符号化し、符号化データを生成する。記憶媒体１０１は前記符号化手段１０２で生成された符号化データと、ＧＵＩ表示データと、ＧＵＩ表示データの拡張情報が記憶される。図１では前記符号化データと前記ＧＵＩ表示データと、ＧＵＩ表示データの前記拡張情報を同一の記憶媒体に記憶しているが、符号化データを別記憶媒体に記憶しても何ら問題は無い。
【００１８】
復号化手段１０４は、記憶媒体１０１に記憶されている符号化データを復号し画像表示制御手段１０７へ送信する。画像表示制御手段１０５は、ＧＵＩ表示データに応じてＧＵＩ表示用の第一の画像レイヤに図形素片を描画すると共に、表示する図形素片の表示位置とＧＵＩ表示データ識別情報を部分領域制御手段１０６に対して送信する。部分領域制御手段１０６は、前記画像表示制御手段１０５より受信したＧＵＩ表示データの識別情報から記憶媒体１０１に格納されているＧＵＩ表示データ拡張情報を参照し、同じく画像表示制御手段１０５から受信した図形素片の表示位置と前記ＧＵＩ表示データ拡張情報から画像表示制御手段２の制御命令を生成し、画像表示制御手段１０７へ送信する。さらに部分領域制御手段１０６は画像表示制御手段１０７に対して送信した制御命令のＧＵＩ表示データの識別情報と共に図形素片の表示位置と制御命令の種類３０１を識別情報テーブルとして保持することによって、送信済み制御命令の誤送信を防いでいる。
【００１９】
画像表示制御手段１０７は復号化手段１０４で復号された再生画像を記録／再生画像用の第二の画像レイヤに描画すると共に、部分領域制御手段１０６から受信した制御命令に応じて、第二の画像レイヤの画像に部分的な画像処理を施す。合成手段１０８は第一の画像レイヤと第二の画像レイヤを合成して表示データを生成し、前記表示データを表示装置１０９に送信する。この時、合成手段１０８では第一の画像レイヤに設定されている部分透過の属性を参照し、あたかも第二の画像レイヤの上に第一の画像レイヤのＧＵＩを重ねているような表示データを作成することも可能である。表示装置１０９は、合成手段１０８から受信した表示データをＬＣＤユニット２１１に表示する。
【００２０】
次に表示データ拡張情報の一例と、表示データ拡張情報を用いた表示画面を説明する。
【００２１】
本実施の形態における表示データ拡張情報のイメージを図３に示した。
【００２２】
表示データ拡張情報は制御命令の種類３０１、相対矩形情報３０２、制御命令に応じたバイナリデータ３０３から成る。
【００２３】
図４（ａ）、（ｂ）は表示データ拡張情報の具体例であり、ビットマップ４０１の非矩形部分領域４０２に画像効果「エンボス」を付加するものである。拡張情報の各内容を説明する。制御命令の種類は「エンボス」４０３、相対矩形情報は「非矩形部分の枠となる矩形の左上のｘ座標＝２０、左上のｙ座標＝５０、幅＝５０、高さ＝５０」４０４となり、バイナリデータは相対矩形情報４０４の中の非矩形１ｂｉｔ／ｐｉｘｅｌのバイナリビットマップ４０５となる。
【００２４】
例えば図５（ａ）の画像を第二の画像レイヤに表示している場合に、図４（ａ）のビットマップを第一の画像レイヤのｘ座標が３０、ｙ座標が１０の位置に表示すると、図５（ａ）の画像には図５（ｂ）の様に第二の画像レイヤのｘ座標５０ｙ座標６０の位置を左上とした幅５０高さ５０の矩形内のバイナリビットマップ４０５で表される非矩形領域に対して画像効果「エンボス」が付加される。合成手段１０８では第一の画像レイヤと第二の画像レイヤを合成し、図５（ｃ）の表示となる。
【００２５】
この時の処理の流れを図６の拡張情報による表示変更のフローチャートで説明する。
【００２６】
まず、ＧＵＩの表示に変更が発生し、記憶媒体１０１に記憶されているＧＵＩ表示データを元に画像表示制御手段１０５によって第一の画像レイヤに図形素片が描画されると部分領域制御手段１０６に対して、描画された図形素片の左上の位置とＧＵＩ表示データ識別情報を送信し処理を開始する（６０１）。
【００２７】
続いて、前記画像表示制御手段１０５から送信されたＧＵＩ表示データを元に描画される図形素片の左上の位置（ｘ座標、ｙ座標）とＧＵＩ表示データ識別情報を部分領域制御手段１０６が受信する（６０２）。
【００２８】
ここで、前記識別情報テーブルを参照することによって、すでに同一ＧＵＩ表示データ識別情報による処理を画像表示制御手段１０７で行っているかどうかを確認し、行っている場合には６０４へ、行っていない場合には６０８へ遷移する。
【００２９】
すでに同一ＧＵＩ表示データ識別情報による処理を画像表示制御手段１０７で行っている場合には、記憶媒体１０１からＧＵＩ表示データ識別情報に関連付けられているＧＵＩ表示データの拡張情報を取得する（６０４）。
【００３０】
取得したＧＵＩ表示データの拡張情報と前記識別情報テーブルを比較し、６０２で受信した図形素片の位置に対して同一制御命令を発行済みか同かを確認する６０５。もし、発行済みであれば終了点６１３へ遷移し処理を終了する。発行されていなければ６０６へ遷移する。
【００３１】
６０２で受信した図形素片の位置に対して同一制御命令を発行済みで無い場合は、取得したＧＵＩ表示データの拡張情報と識別情報テーブルに保持されている位置と制御命令から、画像表示制御手段１０７の画像効果をクリアする制御命令を生成し送信する（６０６）。
【００３２】
続いて、識別情報テーブルからＧＵＩ表示データ識別情報を削除する６０７。
【００３３】
次に、受信したＧＵＩ表示データ識別情報から当該ＧＵＩ表示データの拡張情報が記憶媒体１０１に記憶されているかを確認する（６０８）。記憶媒体１０１に当該ＧＵＩ表示データの拡張情報が記憶されている場合には６０９へ遷移し、記憶されていない場合には終了点６１３へ遷移し、処理を終了する。
【００３４】
記憶媒体１０１に当該ＧＵＩ表示データの拡張情報が記憶されている場合は、記憶媒体１０１から当該ＧＵＩ表示データの拡張情報を取得する（６０９）。
【００３５】
ＧＵＩ表示データの拡張情報を取得したら、６０２で受信した図形素片の位置情報と拡張情報に含まれる相対矩形情報３０２から第二の画像レイヤでの画像効果対象矩形を算出し６１０、さらに、画像表示制御手段１０７への制御命令を生成し画像表示制御手段１０７へ送信する（６１１）。
【００３６】
続いて、制御命を発行したＧＵＩ表示データの識別情報と図形素片の表示位置及び画像表示制御手段１０７への制御命令を識別情報テーブルに保持し（６１２）、一連の処理を終了する（６１３）。
【００３７】
以上の処理を行うことで、第二の画像レイヤの一部領域に対しＧＵＩ表示データに対応付けられた拡張情報に応じた画像処理を加えることが可能となる。また、ＧＵＩ表示データで表される図形素片の位置を確認し、位置が変更されている場合は、以前の制御命令をクリアし、新たな位置に対して制御命令を発行できるので、動的に図形素片の位置を変更しても、第一の画像レイヤのＧＵＩ表示と第二の画像レイヤの変更されている一部領域の整合性が保たれる。
【００３８】
（第２の実施の形態）
続いて、本発明に用いて好適な第二の実施の形態を説明する。
【００３９】
本実施の形態における外観図及び構成図は第１の実施の形態と同じである。
【００４０】
図７は表示画像制御装置１０５で描画するＧＵＩの図形素片をフォーカスが移動する場合の表示例である。図７（ａ）は画面内にフォーカスが存在しない場合の表示であり、画面内にはビットマップが２つ（７０１と７０２）が表示されている。このとき十字ボタン２１２の左を押下すると、図７（ｂ）の表示へと変わり、画面内にフォーカス７０３が表示される。また右を押下すると同様に図７（ｃ）の表示へと変わり、フォーカス７０４が表示される。このフォーカスは十字ボタン２１２の左右の押下で、７０３と７０４を往来する。このとき、フォーカスが合っているビットマップのＧＵＩ表示データに関連付けられている拡張情報による画像変更が有効になる手順を説明する。この時の表示は、フォーカスが左（７０３）にある場合は、図７（ｄ）のようにフォーカス内部に「エンボス」効果が施され、フォーカスが右にある場合は、図７（ｅ）のようにフォーカス内部に「白黒反転」効果が施される。
【００４１】
この時の処理の流れを図８のフォーカス移動による表示変更のフローチャートで説明する。このときのＧＵＩ表示データの拡張情報、ビットマップの構造はそれぞれ図３、図４と同等である。
【００４２】
まず、フォーカス位置に変更が発生し新たなフォーカスが発生した場合、もしくはフォーカスが移動した場合に部分領域制御手段１０６に対して、フォーカスの合った図形素片の左上の位置とＧＵＩ表示データ識別情報を送信し処理を開始する（８０１）。
【００４３】
続いて、画像表示制御手段１０５から送信されたフォーカスの合った図形素片の左上の位置（ｘ座標、ｙ座標）とＧＵＩ表示データ識別情報を部分領域制御手段１０６が受信する（８０２）。
【００４４】
ここで、識別情報テーブルを参照することによって、すでに同一ＧＵＩ表示データ識別情報による処理を画像表示制御手段１０７で行っているかどうかを確認し、行っている場合には８０４へ、行っていない場合には８０６へ遷移する。
【００４５】
すでに同一ＧＵＩ表示データ識別情報による処理を画像表示制御手段１０７で行っている場合には、記憶媒体１０１からＧＵＩ表示データ識別情報に関連付けられているＧＵＩ表示データの拡張情報を取得する（８０４）。
【００４６】
取得したＧＵＩ表示データの拡張情報と識別情報テーブルを比較し、８０２で受信した図形素片の位置に対して同一制御命令を発行済みか同かを確認する（８０５）。もし、発行済みであれば終了点８１３へ遷移し処理を終了する。発行されていなければ８０６へ遷移する。
【００４７】
８０６では、取得したＧＵＩ表示データの拡張情報と識別情報テーブルに保持されている位置と制御命令から、画像表示制御手段１０７の部分領域変更をクリアする制御命令を生成し送信する。
【００４８】
続いて、識別情報テーブルからＧＵＩ表示データ識別情報を削除する（８０７）。
【００４９】
以下は図６の部分領域制御手段のアルゴリズムと同じであり、受信したＧＵＩ表示データ識別情報から当該ＧＵＩ表示データの拡張情報が記憶媒体１０１に記憶されているかを確認する（８０８）。記憶媒体１０１に当該ＧＵＩ表示データの拡張情報が記憶されている場合には８０９へ遷移し、記憶されていない場合には終了点８１３へ遷移し、処理を終了する。
【００５０】
記憶媒体１０１に当該ＧＵＩ表示データの拡張情報が記憶されている場合は、記憶媒体１０１から当該ＧＵＩ表示データの拡張情報を取得する（８０９）。
【００５１】
ＧＵＩ表示データの拡張情報を取得したら、８０２で受信した図形素片の位置情報と拡張情報に含まれる相対矩形情報から第二の画像レイヤでの画像効果対象矩形を算出し（８１０）、さらに、画像表示制御手段２の制御命令を生成し画像表示制御手段２へ送信する（８１１）。
【００５２】
続いて、制御命を発行したＧＵＩ表示データの識別情報と図形素片の表示位置及び画像表示制御手段２への制御命令を前記識別情報テーブルに保持し（８１２）、一連の処理を終了する（８１３）。
【００５３】
以上の処理を行うことで、第一の画像レイヤのフォーカスが合っている図形素片に対応付けられた拡張情報に応じて、第二の画像レイヤの一部領域に対し画像処理を加えることが可能となる。また、第一の実施の形態同様ＧＵＩ表示データで表される図形素片の位置を確認し、位置が変更されている場合は、以前の制御命令をクリアし、新たな位置に対して制御命令を発行できるので、動的に図形素片の位置を変更しても、第一の画像レイヤのＧＵＩ表示と第二の画像レイヤの変更されている一部領域の整合性が保たれる。
【図面の簡単な説明】
【００５４】
【図１】本発明が適用される撮像装置の構成を示す図である。
【図２】本発明が適用される撮像装置の外観図である。
【図３】ＧＵＩ拡張表示データの構成を示す図である。
【図４】ＧＵＩ拡張表示データの例を示す図である。
【図５】ＧＵＩ拡張表示データを用いた表示例を示す図である。
【図６】部分領域制御手段の処理を示すフローチャートである。
【図７】ＧＵＩ拡張表示データを用いた表示例を示す図である。
【図８】ＧＵＩ拡張表示データのフォーカス移動による表示変更処理のフローチャートである。
【図１】
0004659388.tif 000002
【図２】
0004659388.tif 000003
【図３】
0004659388.tif 000004
【図４】
0004659388.tif 000005
【図５】
0004659388.tif 000006
【図６】
0004659388.tif 000007
【図７】
0004659388.tif 000008
【図８】
0004659388.tif 000009