(57)【要約】【課題】  メモリからのデータ読み出しに必要な帯域を削減する。【解決手段】  フレームメモリ（１０４）には撮影による画像データが格納される。画像合成部（１０５Ａ，１０５Ｂ）は、フレームメモリ（１０４）の画像データに一部異なる情報を合成して、それぞれ表示部（１１０Ａ，１１０Ｂ）に出力する。画像合成部（１０５Ａ，１０５Ｂ）は、画像データと合成すべき共通の情報をフレームメモリ（１０４）から同時に読み出し、合成すべき独自の情報を別個にフレームメモリ（１０４）から読み出す。【選択図】  図１
2014095798.tif 000002
【特許請求の範囲】
【請求項１】
画像データ及び前記画像データに合成すべき複数のレイヤデータを記憶できるメモリと、
前記メモリへのデータ書き込みと読出しを制御するメモリ制御手段と、
前記メモリから読み出された前記画像データと前記レイヤデータを合成する第１及び第２の画像合成手段と、
前記第１及び第２の画像合成手段を制御する制御手段であって、前記複数のレイヤデータのうち、前記第１及び第２の画像合成手段で使用される共通レイヤのレイヤデータを前記メモリ制御手段から前記第１及び第２の画像合成手段に供給させ、その後、前記第１及び第２の画像合成手段の一方で使用され、他方では使用されない独自レイヤのレイヤデータを前記メモリ制御手段から前記第１及び第２の画像合成手段に供給されるようにする制御手段
とを具備することを特徴とする画像処理装置。
【請求項２】
前記第１及び第２の画像合成手段はそれぞれ、レイヤ合成手段とラインメモリを有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１及び第２の画像合成手段の出力画像サイズ、出力フレームレート及び出力タイミングが同じである場合に、前記第１及び第２の画像合成手段が同じタイミングで動作することを特徴とする請求項１又は２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、メモリを用いて画像の合成を行う装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラに組み込まれる画像処理装置は、撮影画像を液晶モニタなどの内蔵の表示部に表示すると共に、外部の表示装置などに出力する機能を持つ。近年では、撮影する画像の画素数が増加しており、フルＨＤ（High Definition）と呼ばれる横１９２０画素×縦１０８０画素、６０フレーム毎秒の動画を撮影可能な撮像装置も登場している。
【０００３】
内蔵表示部に撮影画像を表示する場合、撮影画像だけでなく、撮影開始からの経過時間及び記録媒体の残量などの撮影状況の情報、各種のアイコン、並びにフレーミングを確認するための枠など、各種の情報が多重されて表示される。
【０００４】
一方、外部出力画像には、内蔵表示部で撮影画像に多重される情報とは別の情報が多重されることがある。
【０００５】
このように、表示すべき画像に各種の情報を多重する場合、画像データを一旦メモリに格納し、当該メモリ上で合成処理を行うことが一般的である（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２０４２６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
デジタルカメラでは、内部表示用画像及び外部出力用画像以外にも記録用画像があり、撮影画像に対して状況に応じてこれらの画像を実質的に同時生成する必要がある。扱う画像の画素数の増加により、広いメモリ帯域と処理能力が必要とされる。
【０００８】
こうした状況において、従来技術では、同時生成する必要のある画像数に応じた数の画像処理部、いわゆるレイヤの合計数のレイヤ画像合成部が必要となる。また、表示装置の出力タイミングを揃えるためには、レイヤ画像合成部に画像データを一時記憶するラインメモリを設ける必要がある。これらは全て、回路規模の増大、従ってコスト上昇につながる。
【０００９】
本発明は、同一の画像を基に部分的に異なる情報を重畳して複数の画像を生成する場合の処理能力を軽減した画像処理装置を提示することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る画像処理装置は、画像データ及び前記画像データに合成すべき複数のレイヤデータを記憶できるメモリと、前記メモリへのデータ書き込みと読出しを制御するメモリ制御手段と、前記メモリから読み出された前記画像データと前記レイヤデータを合成する第１及び第２の画像合成手段と、前記第１及び第２の画像合成手段を制御する制御手段であって、前記複数のレイヤデータのうち、前記第１及び第２の画像合成手段で使用される共通レイヤのレイヤデータを前記メモリ制御手段から前記第１及び第２の画像合成手段に供給させ、その後、前記第１及び第２の画像合成手段の一方で使用され、他方で使用されない独自レイヤのレイヤデータを前記メモリ制御手段から前記第１及び第２の画像合成手段に供給されるようにする制御手段とを具備することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、メモリ上の画像データに一部が異なる情報を合成した複数の画像を生成する場合に、当該メモリのバス帯域を削減でき、回路規模の増大を抑制できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施例を含む撮像装置の概略構成ブロック図である。
【図２】レイヤ合成の概念を示す説明図である。
【図３】画像合成部の概略構成ブロック図である。
【図４】部分的に異なるデータを合成対象とする２つの画像合成の説明例である。
【図５】同期制御部の概略構成ブロック図である。
【図６】帯域削減モードでのメモリ制御部から画像合成部へのデータの流れを説明する概略構成ブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１４】
図１は、本発明に係る画像処理装置の一実施例を組み込んだ撮像装置の概略構成ブロック図を示す。１０１は撮像部、１０２は現像処理部、１０３は画像信号処理部、１０４はフレームメモリである。１０５Ａ，１０５Ｂは画像合成部、１０７は同期制御部、１０８はＣＰＵ、１０９はユーザ操作部、１１０Ａ，１１０Ｂは表示部、１１２は、フレームメモリ１０４のデータ書き込みと読出しを制御するメモリ制御部である。
【００１５】
撮像部１０１は被写体の光学像から生成される画像データを現像処理部１０２に供給する。現像処理部１０２は、撮像部１０１からの撮影画像データを現像処理し、画像信号処理部１０３は、現像処理部１０２の出力画像に所定の画像処理を施す。画像信号処理部１０３は、メモリ制御部１１２に対してフレームメモリ１０４に画像データを転送する為のリクエストを発行し、メモリ制御部１１２は、フレームメモリ１０４に画像データを格納する。
【００１６】
ユーザは、ユーザ操作部１０９により、画像データを表示部１１０Ａ，１１０Ｂに出力するか否かをＣＰＵ１０８に指示できる。ＣＰＵ１０８は、ユーザによるこの指示に従い、画像合成部１０５Ａ，１０５Ｂによるフレームメモリ１０４へのアクセス帯域削減モードの可否を判断する。帯域削減モードでは、画像合成部１０５Ａ，１０５Ｂは、同期制御部１０７により同じタイミング信号で制御され、協調して動作する。帯域削減モードで動作させることができない場合、画像合成部１０５Ａ，１０５Ｂは、同期制御部１０７からのそれぞれ独立のタイミング信号で制御され、互いに独立に動作する。画像合成部１０５Ａの出力画像は表示部１１０Ａに供給され、画像合成部１０５Ｂの出力画像は表示部１１０Ｂに供給される。
【００１７】
図２を参照して、画像合成部１０５Ａ，１０５Ｂによるレイヤ合成の概念を簡単に説明する。素材２０１〜２０５のレイヤデータをレイヤ合成部２０６が合成して、合成画像２０７を出力する。レイヤ０の素材２０１は撮像部１０１からの撮影画像である。レイヤ１の素材２０２は時刻、例えば撮影時刻である。レイヤ２の素材２０３は、特定箇所を示すフレーム枠、例えば、顔認識範囲を示すフレーム枠である。レイヤ３の素材２０４は、記録中の示すアイコン／文字である。レイヤ４の素材２０５は、撮影画像上に重畳する飾り等である。フレームメモリ１０４は、これら複数のレイヤデータを記憶できる。
【００１８】
図３は、画像合成部１０５Ａ，１０５Ｂの概略構成ブロック図を示す。画像合成部１０５Ａ，１０５Ｂは同じ構成からなる。画像合成部１０５Ａ，１０５Ｂの一方が第１の画像合成手段に相当し、他方が第２の画像合成手段に相当する。
【００１９】
３０１はタイミング制御部、３０２はレイヤ管理部、３０３は読出し制御部、３０４はリクエスト・マスク制御部、３０５は信号切換え部、３０６はＦＩＦＯ、３０７はレイヤ合成部である。３０８はラインメモリ制御部、３０９はラインメモリ３１０，３１１のバンク制御部、３１０，３１１はラインメモリ、３１２は出力制御部である。
【００２０】
タイミング制御部３０１は、同期制御部１０７からライン単位の処理をする為のタイミング信号を受け取る。読出し制御部３０３は、タイミング制御部３０１からのタイミング信号に従い、レイヤ管理部３０２から各レイヤのフレームメモリ１０４上のアドレス情報を取得し、リクエスト・マスク制御部３０４にフレームメモリ１０４へのアクセス・リクエストを発行する。リクエスト・マスク制御部３０４は、読出し制御部３０３からのアクセス・リクエストをメモリ制御部１１２に発行するか止めるかを判断する。アクセス・リクエストが発行された場合、メモリ制御部１１２は、フレームメモリ１０４から読み出した画像データを信号切換え部３０５に転送する。信号切換え部３０５は、メモリ制御部１１２に接続する２つの入力ポートを持っており、一方の入力ポートからのデータを選択してＦＩＦＯ３０６に転送する。ＦＩＦＯ３０６は、信号切換え部３０５からの、フレームメモリ１０４より読み出した画像データを一時蓄える。
【００２１】
レイヤ合成部３０７は、ＦＩＦＯ３０６で蓄えられた画像データと、ラインメモリ制御部３０８から読み出された画像データとを合成する。レイヤ合成部３０７で合成された合成画像データは、再びラインメモリ制御部３０８に書き戻される。ラインメモリ制御部３０８は、ラインメモリ３１０、ラインメモリ３１１及びバンク制御部３０９で構成されている。バンク制御部３０９は、タイミング制御部３０１からのライン先頭を指示するタイミング信号に従い、ラインメモリ３１０とラインメモリ３１１の一方を出力用に使用し、もう一方を画像合成用に使用する。出力制御部３１２は、タイミング制御部３０１からのタイミング信号に従い、ラインメモリ制御部３０８から読み出されたデータを表示部１１０Ａ，１１０Ｂに出力する。
【００２２】
図４を参照して、帯域削減モード動作におけるレイヤ割り当て動作を説明する。４０１は、画像合成部１０５Ａの出力画像例を示す。４０２は画像合成部１０５Ａが出力画像４０１を生成する為の素材であるレイヤ０の画像例を示す。４０３は、画像合成部１０５Ａが出力画像４０１を生成する為の素材であるレイヤ１の画像例を示す。４０４は、画像合成部１０５Ａが出力画像４０１を生成する為の素材であるレイヤ２の画像例を示す。４０５は、画像合成部１０５Ａが出力画像４０１を生成する為の素材であるレイヤ３の画像例を示す。４０６は、画像合成部１０５Ａが出力画像４０１を生成する為の素材であるレイヤ４の画像例を示す。
【００２３】
４０７は、画像合成部１０５Ｂの出力画像例を表している。４０８は、画像合成部１０５Ｂが出力画像４０７を生成する為の素材であるレイヤ０の画像例を示す。４０９は、画像合成部１０５Ｂが出力画像４０７を生成する為の素材であるレイヤ１の画像例を示す。４１０は、画像合成部１０５Ｂが出力画像４０７を生成する為の素材であるレイヤ２の画像例を示す。
【００２４】
出力画像４０１と出力画像４０７を生成するにあたり、共通の素材レイヤを共通レイヤと呼び、それぞれに固有のレイヤを独自レイヤと呼ぶことにする。本実施例では、帯域削減モードにおいて、共通レイヤを先頭に配置し、次に独自レイヤを配置するレイヤ割り付け方法を採用する。
【００２５】
図５は、同期制御部１０７の概略構成ブロック図を示す。５０１，５０２はタイミング信号を発生するタイミング発生部、５０３，５０４は信号切換え部を示す。信号切換え部５０３は、画像合成部１０５Ａを制御するタイミング信号を選択する。信号切換え部５０４は、画像合成部１０５Ｂを制御するタイミング信号を選択する。画像合成部１０５Ａ，１０５Ｂを帯域削減モードで動作させる場合、ＣＰＵ１０８は、画像合成部１０５Ａ，１０５Ｂが同じ一つのタイミング発生部５０１又は５０２で制御されるように信号切換え部５０３，５０４を制御する。
【００２６】
図６は、帯域削減モードでのメモリ制御部１１２と画像合成部１０５Ａ，１０５Ｂの信号切換え部との間のデータの流れを示す。そのデータの流れを太実線で図示してある。なお、画像合成部１０５Ａの構成要素には、図３で説明した符号に符号Ａを付加し、画像合成部１０５Ｂの構成要素には、図３で説明した符号に符号Ｂを付加してある。画像合成部１０５Ａ，１０５Ｂの構成要素としては、理解に必要な構成要素のみを図示し、他を省略してある。
【００２７】
ユーザは、ユーザ操作部１０９により画像合成部１０５Ａ，１０５Ｂの出力画像情報をＣＰＵ１０８に通知又は設定する。ＣＰＵ１０８は、画像合成部１０５Ａ，１０５Ｂの出力画像情報により、画像合成部１０５Ａ，１０５Ｂを帯域削減モードで動作させることが可能か否かを判断する。帯域削減モードで動作するには、次の４条件を満たす必要がある。第１の条件は、画像合成部１０５Ａ，１０５Ｂの出力画像サイズが同じであることである。第２の条件は、画像合成部１０５Ａ，１０５Ｂの出力フレームレートが同じであることである。第３の条件は、共通レイヤの後に独自レイヤを配置できるレイヤ割り当てが可能であることである。第４の条件は、画像合成部１０５Ａの出力タイミングと画像合成部１０５Ｂのそれとを同じにすることが可能であることである。
【００２８】
上記４条件が満たされる場合、同期制御部１０７は、タイミング発生部５０１（または５０２）から生成されたタイミング信号を画像合成部１０５Ａ，１０５Ｂに供給する。画像合成部１０５Ａは、レイヤ０から順に画像データを読み出し画像合成を行う。他方、画像合成部１０５Ｂは、共通レイヤの画像合成に対する動作と、独自レイヤの画像合成に対する動作が異なる。すなわち、共通レイヤに対しては、リクエスト・マスク制御部３０４Ｂがメモリ制御部１１２へのアクセス・リクエストをマスクする。そして、信号切換え部３０５Ｂが、画像合成部１０５Ａが発行したアクセス・リクエストでフレームメモリ１０４から読み出される画像データをＦＩＦＯ４０６Ｂに供給する。独自レイヤに対しては、リクエスト・マスク制御部３０４Ｂが読出し制御部３０３からのアクセス・リクエストをメモリ制御部１１２に供給する。そして、信号切換え部３０５Ｂが、画像合成部１０５Ｂが発行したアクセス・リクエストでフレームメモリ１０４から読み出される画像データをＦＩＦＯ４０６Ｂに供給する。
【００２９】
このような動作により、共通レイヤに対応する部分についてメモリアクセスを削減できる。
【００３０】
以上、本発明の好ましい実施例を説明したが、本発明は上述の実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2014095798.tif 000003
【図２】
2014095798.tif 000004
【図３】
2014095798.tif 000005
【図４】
2014095798.tif 000006
【図５】
2014095798.tif 000007
【図６】
2014095798.tif 000008