(57)【要約】【構成】撮影待機中または画像撮影中に、メイン画像（スルー画または撮影画）が作成され、メイン画像作成時に外部からの情報受信がある場合には、前記情報が視覚的に認識可能な映像情報に変換され、その映像情報はメイン画像データに重畳してモニタ３２に表示される。【効果】画像を撮影しながら、撮影待機中または画像撮影中に外部から受信した情報を視覚的に確認可能で、より効果的な撮影をすることができる。【選択図】図３
2014143506.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像手段の出力に基づいて作成する処理を実行する画像作成手段、
外部からの情報を受信する受信手段、
前記受信手段の受信した情報を視覚的に認識可能な映像情報に変換する変換手段、および
前記画像上に前記映像情報を重畳して表示させる表示手段を備える、画像処理装置。
【請求項２】
前記画像および前記情報を保存する保存手段および前記画像を再生する再生手段をさらに備え、
前記再生手段は、前記保存手段に保存された前記情報を視覚的に認識可能な映像情報に変換し、前記画像上に重畳して再生可能である、請求項１記載の画像処理装置。
【請求項３】
前記再生手段は、前記映像情報を表示するか否かを設定する表示設定手段を含む、請求項２記載の画像処理装置。
【請求項４】
前記保存手段は、前記画像を形成するフレームの中から、前記情報を受信した時刻に対応するフレームを特定するフレーム情報とともに前記情報を保存する、請求項２または３記載の画像処理装置。
【請求項５】
前記再生手段は、前記画像の再生時に、前記フレーム情報で特定されたフレーム上において前記映像情報を重畳して再生する、請求項４記載の画像処理装置。
【請求項６】
前記情報は、投稿サイトと通信を行って得られる投稿情報である、請求項１ないし５のいずれかに記載の画像処理装置。
【請求項７】
画像処理装置のプロセッサに、
画像を撮像手段の出力に基づいて作成する処理を実行する画像作成ステップ、
外部からの情報を受信する受信ステップ、
前記受信した情報を視覚的に認識可能な映像情報に変換する変換ステップ、および
前記画像上に前記映像情報を重畳して表示させる表示ステップを実行させるための、画像処理プログラム。
【請求項８】
画像処理装置によって実行される画像処理方法であって、
画像を撮像手段の出力に基づいて作成する処理を実行する画像作成ステップ、
外部からの情報を受信する受信ステップ、
前記受信した情報を視覚的に認識可能な映像情報に変換する変換ステップ、および
前記画像上に前記映像情報を重畳して表示させる表示ステップを備える、画像処理方法。
【請求項９】
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
画像を撮像手段の出力に基づいて作成する処理を実行する画像作成ステップ、
外部からの情報を受信する受信ステップ、
前記受信した情報を視覚的に認識可能な映像情報に変換する変換ステップ、および
前記画像上に前記映像情報を重畳して表示させる表示ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項１０】
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
画像を撮像手段の出力に基づいて作成する処理を実行する画像作成ステップ、
外部からの情報を受信する受信ステップ、
前記受信した情報を視覚的に認識可能な映像情報に変換する変換ステップ、および
前記画像上に前記映像情報を重畳して表示させる表示ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に受信した情報を、撮影中に視覚的に認識可能に表示する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、ユーザが現在する位置で視覚的に得られる情報について、視覚的な情報とは別の情報を、視覚的な情報と関連させて提供する。これにより、被写体である機器から提供された、元々視覚的に認識可能な情報と元々見えなかった情報の双方を、同じ画像上で視覚的に見せることができ、ユーザは、情報の内容とその情報の提供元とを一致ないし関連させて把握できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２８６５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、撮像素子等の画像処理装置が認識可能な情報を提供するための手段を、被写体に予め設けておく必要があり、情報の取得には限界がある。また、他の手段により被写体の情報を得ようとすると、撮影に注力することが困難である。
【０００５】
それゆえに、この発明の主たる目的は、画像を撮影しながら、撮影待機中または画像撮影中に外部から受信した情報を視覚的に確認可能で、より効果的な撮影をすることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、画像を撮像手段(5,16)の出力に基づいて作成する処理を実行する画像作成手段(1,20,26)、外部からの情報を受信する受信手段(2,28)、受信手段の受信した情報を視覚的に認識可能な映像情報に変換する変換手段(3,30)、および画像上に映像情報を重畳して表示させる表示手段(4,32)を備える。
【０００７】
好ましくは、画像および情報を保存する保存手段(6,42)および画像を再生する再生手段(7,32,S71〜S109)をさらに備え、再生手段は、保存手段に保存された情報を視覚的に認識可能な映像情報に変換し、画像上に重畳して再生可能である。
【０００８】
好ましくは、再生手段は、映像情報を表示するか否かを設定する表示設定手段(8,36,S7)を含む。
【０００９】
好ましくは、保存手段は、画像を形成するフレームの中から、情報を受信した時刻に対応するフレームを特定するフレーム情報とともに情報を保存する(S43〜S49)。
【００１０】
好ましくは、再生手段は、画像の再生時に、フレーム情報で特定されたフレーム上で情報を重畳して再生する(S103〜S109)。
【００１１】
好ましくは、情報は、投稿サイトと通信を行って得られる投稿情報である。
【００１２】
この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(36)に、画像を撮像手段(5,16)の出力に基づいて作成する処理を実行する画像作成ステップ(S1)、外部からの情報を受信する受信ステップ(S3)、受信した情報を視覚的に認識可能な映像情報に変換する変換ステップ(S5)、および画像上に映像情報を重畳して表示させる表示ステップ(S9)を実行させるための、画像処理プログラムである。
【００１３】
この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、画像を撮像手段(5,16)の出力に基づいて作成する処理を実行する画像作成ステップ(S1)、外部からの情報を受信する受信ステップ(S3)、受信した情報を視覚的に認識可能な映像情報に変換する変換ステップ(S5)、および画像上に映像情報を重畳して表示させる表示ステップ(S9)を備える、画像処理方法である。
【００１４】
この発明に従う外部制御プログラムは、メモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(36)を備える画像処理装置(10)に供給される外部制御プログラムであって、画像を撮像手段(5,16)の出力に基づいて作成する処理を実行する画像作成ステップ(S1)、外部からの情報を受信する受信ステップ(S3)、受信した情報を視覚的に認識可能な映像情報に変換するステップ(S5)、および画像上に映像情報を重畳して表示させる表示ステップ(S9)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１５】
この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(46)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(36)を備える画像処理装置であって、外部制御プログラムは、画像を撮像手段(5,16)の出力に基づいて作成する処理を実行する画像作成ステップ(S1)、外部からの情報を受信する受信ステップ(S3)、受信した情報を視覚的に認識可能な映像情報に変換する変換ステップ(S5)、および画像上に映像情報を重畳して表示させる表示ステップ(S9)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１６】
この発明によると、画像を撮影しながら、撮影待機中または画像撮影中に外部から受信した情報を視覚的に確認可能であるため、より効果的な撮影をすることができる。すなわち、撮影者は、画像を撮影しながら、目を逸らすことなく、外部から受信した情報を確認することができるため、例えば、撮影漏れの防止、撮影の質の向上等が可能となる。
【００１７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の他の基本的構成を示すブロック図である。
【図３】この発明の一実施例の構成を示すブロック図である。
【図４】図３実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図５】図３実施例に適用される受信情報テーブルの一例を示す図解図である。
【図６】メイン画像データおよび受信情報データの関係の一例を示す図解図である。
【図７】（Ａ）はカメラモードの下で作成されるメインファイルの構造の一例を示す図解図であり、（Ｂ）はカメラモードの下で作成される受信情報ファイルの構造の一例を示す図解図である。
【図８】図３実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図９】図３実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１０】図３実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１１】図３実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１２】図３実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１３】図３実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１４】図３実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１５】図３実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１６】図３実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１７】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２０】
図１を参照して、この実施例の画像処理装置は、基本的に次のように構成される。画像作成手段１は、画像を撮像手段５の出力に基づいて作成する処理を実行する。受信手段２は、外部からの情報を受信する。変換手段３は、受信手段２の受信した情報を視覚的に認識可能な映像情報に変換する。表示手段４は、前記画像上に前記映像情報を重畳して表示させる。
【００２１】
この画像処理装置によると、画像を撮影しながら、外部から受信した情報を視覚的に確認可能であるため、より効果的な撮影をすることができる。すなわち、撮影者は、画像を撮影しながら、目をそらすことなく、外部から受信した情報を確認することができるため、例えば、撮影漏れの防止、撮影の質の向上等が可能となる。
【００２２】
また、図２を参照して、この実施例の画像処理装置は、さらに、保存手段６および再生手段７を備える構成とすることもできる。保存手段６は、前記画像および前記情報を保存する。再生手段７は、前記画像を再生し、保存手段６に保存された前記情報を視覚的に認識可能な映像情報に変換し、前記画像上に重畳して再生可能である。この画像処理装置によると、画像撮影時に外部から受信した情報を、時系列に沿って画像とともに表示できるため、臨場感のある画像再生をすることができる。
【００２３】
なお、再生手段７は、任意の構成要素として、表示設定手段８を含んでもよい。表示設定手段８は、前記映像情報を表示するか否かを設定する。表示設定手段８で前記映像情報を「非表示」と設定することにより、外部から受信した情報を表示させずに、撮影画像のみを鑑賞したい場合にも対応することができる。
［実施例］
【００２４】
図３を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。シーンを表す光学像は、これらの部材を通してイメージセンサ１６の撮像面に照射される。
【００２５】
ユーザ操作を受け付けるキー入力装置３８に向けてカメラモードを選択するモード選択操作が行われると、ＣＰＵ３６は、メイン画像記録タスクの下で動画取り込み処理を実行するべく、ドライバ１８ｃを起動する。ドライバ１８ｃは、図示しないＳＧ（Ｓｉｇｎａｌ  Ｇｅｎｅｒａｔｏｒ）から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２６】
前処理回路２０は、イメージセンサ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。このような前処理を施された生画像データは、メモリ制御回路２２を通してＳＤＲＡＭ２４の生画像エリア２４ａ（図４参照）に書き込まれる。
【００２７】
後処理回路２６は、生画像エリア２４ａに格納された生画像データをメモリ制御回路２２を通して読み出し、読み出された生画像データに色分離，白バランス調整，ＹＵＶ変換の一連の処理を施し、これによって作成されたＹＵＶ形式の画像データつまりメイン画像データをメモリ制御回路２２を通してＳＤＲＡＭ２４のＹＵＶ画像エリア２４ｂ（図４参照）に書き込む。
【００２８】
ＬＣＤドライバ３０は、ＹＵＶ画像エリア２４ｂに格納されたメイン画像データを読み出し、読み出されたメイン画像データに基づいてＬＣＤモニタ３２を駆動する。この結果、撮像面で捉えられたシーンを表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２９】
前処理回路２０はまた、生画像データを簡易的にＹデータに変換し、変換されたＹデータをＣＰＵ３６に与える。ＣＰＵ３６は、パラメータ調整タスクの下でＹデータにＡＥ処理を施し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定され、これによってスルー画像の明るさが適度に調整される。ＣＰＵ３６はまた、ＡＦ起動条件が満足されるときに、Ｙデータの高周波成分にＡＦ処理を施す。フォーカスレンズ１２はドライバ１８ａによって合焦点に配置され、これによってスルー画像の鮮鋭度が継続的に向上する。
【００３０】
また、前記モード選択操作が行われると、ＣＰＵ３６は、通信Ｉ／Ｆ２８を介して、外部からの情報の取得（受信）を開始する。前記外部からの情報は、外部サーバから取得することができ、例えば、ツイッター（登録商標）、ソーシャル・ネットワーキング・サービス、掲示板サイト等の投稿サイトのように、不特定多数の投稿者が行った投稿と、当該投稿の投稿時間とを出力可能なサイトから取得することができる投稿情報であってもよい。前記投稿情報は、特定の識別情報を有するものを選択的に取得してもよい。特定の識別情報としては、例えば、各投稿に対して付与される投稿者を識別する識別情報、投稿のジャンルやテーマを特定するハッシュコード等の識別情報を利用することができる。また、前記外部からの情報は、外部サーバを経由することなく、情報送信者の端末とディジタルビデオカメラ１０との間での通信によって取得することもできる。前記外部からの情報は、テキストデータに限定されず、写真等の静止画や動画などの画像データであってもよい。これらのデータは、メモリ制御回路２２を通してＳＤＲＡＭ２４の受信情報エリア２４ｃ（図４参照）に書き込まれる。
【００３１】
ＬＣＤドライバ３０は、受信情報エリア２４ｃに格納された受信情報データを読み出し、読み出された受信情報データを視覚的に認識可能に変換し、変換後の受信情報データに基づいてＬＣＤモニタ３２を駆動する。この結果、前記リアルタイム動画像（スルー画像）に外部から受信した情報が重畳されて、モニタ画面に表示される。
【００３２】
キー入力装置３８に向けてメイン記録開始操作が行われると、ＣＰＵ３６は、メイン画像記録タスクの下でメモリＩ／Ｆ４０を通して記録媒体４２にアクセスし、メインファイルおよび受信情報ファイル（サブファイル）を記録媒体４２に新規に作成する（作成されたメインファイルおよび受信情報ファイルはオープンされる）。
【００３３】
メインファイルにはＭＯＶ＊＊＊＊．ＭＡＩＮ（＊＊＊＊は識別番号、以下同じ）のファイル名が割り当てられ、受信情報ファイルにはＭＯＶ＊＊＊＊．ＳＵＢのファイル名が割り当てられる。ここで、同時に作成されるメインファイルおよび受信情報ファイルには共通の識別番号が割り当てられ、同時に作成されたメインファイルおよび受信情報ファイルは識別番号によって互いに関連付けられる。
【００３４】
メインファイルおよび受信情報ファイルが作成されると、ＣＰＵ３６は、メイン画像記録処理の開始をメモリＩ／Ｆ４０に命令する。ＣＰＵ３６はまた、垂直同期信号Ｖｓｙｎｃが発生する毎に、メインフレーム番号を“１”からインクリメントする。記録される各フレームのメイン画像データは、こうしてインクリメントされるメインフレーム番号によって識別される。メモリＩ／Ｆ４０は、ＹＵＶ画像エリア２４ｂに格納されたメイン画像データを垂直同期信号Ｖｓｙｎｃが発生する毎にメモリ制御回路２２を通して読み出し、読み出されたメイン画像データを記録媒体４２に上述の要領で作成されたメインファイルに書き込む。
【００３５】
キー入力装置３８に向けて受信情報記録開始操作が行われると、ＣＰＵ３６は、受信情報記録タスクの下で、受信情報記録処理の開始をメモリＩ／Ｆ４０に命令する。受信情報は、受信情報エリア２４ｃに書き込まれる。メモリＩ／Ｆ４０は、受信情報エリア２４ｃに格納された受信情報データを読み出し、読み出された受信情報データを記録媒体４２に作成された受信情報ファイルに書き込む。
【００３６】
キー入力装置３８に向けて受信情報記録終了操作が行われると、ＣＰＵ３６は、受信情報記録処理の終了をメモリＩ／Ｆ４０に命令する。メモリＩ／Ｆ４０は受信情報データの受信情報ファイルへの書き込みを終了する。
【００３７】
ＳＤＲＡＭ２４のワークエリア２４ｄには、図５に示す受信情報テーブルＴＢＬが準備される。受信情報記録開始操作が行われたとき、ＣＰＵ３６は、メモリ制御回路２２を通してワークエリア２４ｄにアクセスし、現メインフレーム番号をＭＳ開始フレーム番号として受信情報テーブルＴＢＬに記述する。ＣＰＵ３６はまた、受信情報記録終了操作が行われたとき、現メインフレーム番号をＭＳ終了フレーム番号として受信情報テーブルＴＢＬに記述する。
【００３８】
この実施例では、受信情報記録終了操作は受信情報記録処理の実行中にのみ受け付けられ、ＭＳ開始フレーム番号およびＭＳ終了フレーム番号は対をなして受信情報テーブルＴＢＬに記述される。この１対のＭＳ開始フレーム番号およびＭＳ終了フレーム番号によって、情報受信区間が定義される。したがって、メイン画像記録処理の途中で受信情報記録開始操作および受信情報記録終了操作が２回ずつ行われると、情報受信区間１および２が図６に示す要領で定義される。
【００３９】
キー入力装置３８に向けてメイン記録終了操作が行われると、ＣＰＵ３６は、メイン画像記録タスクの下で、メイン画像記録処理の終了をメモリＩ／Ｆ４０に命令する。この結果、ＹＵＶ画像エリア２４ｂからのメイン画像データの読み出しが終了される。ＣＰＵ３６はその後、オープン状態にある受信情報ファイルをクローズし、ワークエリア２４ｄ上の受信情報テーブルＴＢＬをメインファイルのヘッダに書き込み、そしてメインファイルをクローズする。この結果、互いに関連するメインファイルおよび受信情報ファイルが図７（Ａ）および図７（Ｂ）に示す要領で完成する。
【００４０】
なお、受信情報ファイルに受信情報データが存在しなければ、受信情報テーブルＴＢＬの書き込みは省略され、受信情報ファイルは削除される。
【００４１】
キー入力装置３８に向けたモード選択操作によって再生モードが選択されると、ＣＰＵ３６は、画像再生タスクの下で以下の処理を実行する。まず、記録媒体４２に記録された複数のメインファイルのいずれか１つを、キー入力装置３８に向けたファイル指定操作に従って指定する。
【００４２】
指定されたメインファイルに対応する受信情報ファイルが記録媒体４２に存在する場合、ＣＰＵ３６は、このメインファイルのヘッダに記述された受信情報テーブルＴＢＬをメモリＩ／Ｆ４０を通して取得する。取得された受信情報テーブルＴＢＬは、メモリ制御回路２２を通してＳＤＲＡＭ２４のワークエリア２４ｄに書き込まれる。
【００４３】
キー入力装置３８に向けてメイン再生開始操作が行われると、ＣＰＵ３６は、メイン画像再生処理の開始をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令し、かつ垂直同期信号Ｖｓｙｎｃが発生する毎にメインフレーム番号を“１”からインクリメントする。
【００４４】
メモリＩ／Ｆ４０は、上述の要領で指定されたメインファイルから現メインフレーム番号に対応する１フレームのメイン画像データを読み出し、読み出されたメイン画像データをメモリ制御回路２２を通してＳＤＲＡＭ２４のＹＵＶ画像エリア２４ｂに書き込む。ＬＣＤドライバ３０は、ＹＵＶ画像エリア２４ｂに格納されたメイン画像データをメモリ制御回路２２を通して読み出し、読み出されたメイン画像データに基づいてＬＣＤモニタ３２を駆動する。この結果、連続する複数のメイン画像データに基づく動画像つまりメイン動画像がモニタ画面に表示される。
【００４５】
現メインフレーム番号が受信情報テーブルＴＢＬの記述によって定義された情報受信区間に入ると、ＣＰＵ３６は、マーカ表示命令をキャラクタジェネレータ３４に与える。キャラクタジェネレータ３４は、受信情報の存在を報知するマーカを示すキャラクタデータを作成し、作成されたキャラクタデータをＬＣＤドライバ３０に与える。ＬＣＤドライバ３０は与えられたキャラクタデータに基づいてマーカをモニタ画面に多重表示する。
【００４６】
なお、現メインフレーム番号が情報受信区間から外れると、ＣＰＵ３６は、マーカ非表示命令をキャラクタジェネレータ３４に与える。この結果、マーカがモニタ画面から消失する。
【００４７】
マーカが表示されている期間にキー入力装置３８に向けて受信情報再生開始操作が行われると、ＣＰＵ３６は、現メインフレーム番号に対応する情報受信区間を定義するＭＳ開始フレーム番号を検出する。
【００４８】
ＣＰＵ３６は続いて、受信情報再生処理の開始をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令し、メインファイル再生に重畳して、受信情報を再生する。
【００４９】
メモリＩ／Ｆ４０は、上述の要領で検出された受信情報フレームから始まる受信情報データを受信情報ファイルから読み出し、読み出された受信情報データをメモリ制御回路２２を通してＳＤＲＡＭ２４の受信情報エリア２４ｃに書き込む。ＬＣＤドライバ３０は、受信情報エリア２４ｃに格納された受信情報データをメモリ制御回路２２を通して読み出し、読み出された受信情報データに基づいてＬＣＤモニタ３２を駆動する。
【００５０】
受信情報再生終了操作が行われるか或いは現メインフレーム番号が現時点の情報受信区間を定義するＭＳ終了フレーム番号に達すると、ＣＰＵ３６は、受信情報再生処理の終了をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令する。この結果、受信情報の再生が終了される。
【００５１】
ＣＰＵ３６は、図８に示すカメラモードタスク、図９〜図１１に示すメイン画像記録タスク，図１２に示すパラメータ調整タスク，図１３に示す受信情報記録タスク，および図１４〜図１６に示す画像再生タスクを含む複数のタスクをマルチタスクＯＳの下で並列的に処理する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００５２】
図８を参照して、ステップＳ１では、画像を撮像手段１６の出力に基づいて作成するメイン画像作成処理を実行する。ステップＳ３では、外部からの情報の受信の有無を判別する。ステップＳ３の判別結果がＹＥＳであればステップＳ５に進む。ステップＳ３の判別結果がＮＯであればステップＳ１０に進み、メイン画像のみを表示する。ステップＳ５では、受信した外部からの情報を視覚的に認識可能な映像情報に変換する。ステップＳ７では、前記映像情報を表示するか否かを判別する。ステップＳ７の判別結果がＹＥＳであればステップＳ９に進み、メイン画像に映像情報を重畳して表示する。また、ステップＳ７の判別結果がＮＯであればステップＳ１０に進み、メイン画像のみを表示する。
【００５３】
図９〜１１を参照して、ステップＳ１１では動画取り込み処理を実行する。これによって、スルー画像がＬＣＤモニタ３２に表示される。ステップＳ１３ではメイン記録開始操作が行われたか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ１５〜Ｓ１７の処理に進む。ステップＳ１５〜Ｓ１７では、メモリＩ／Ｆ４０を通して記録媒体４２にアクセスし、オープン状態のメインファイルおよび受信情報ファイルを記録媒体４２に新規に作成する。
【００５４】
ステップＳ１９では受信情報記録タスクを起動し、ステップＳ２１ではメインフレーム番号を“１”に設定し、そしてステップＳ２３ではメイン画像記録処理の開始をメモリＩ／Ｆ４０に命令する。メモリＩ／Ｆ４０は、ＹＵＶ画像エリア２４ｂに格納されたメイン画像データをメモリ制御回路２２を通して読み出し、読み出されたメイン画像データをステップＳ１５で作成されたメインファイルに書き込む。
【００５５】
ステップＳ２５では、メイン記録終了操作が行われたか否かを判別する。判別結果がＮＯであればステップＳ２７に進み、垂直同期信号Ｖｓｙｎｃの発生を待ってメインフレーム番号をインクリメントする。インクリメントが完了すると、受信情報記録開始操作が行われたか否かをステップＳ４３で判別し、受信情報記録終了操作が行われたか否かをステップＳ４７で判別する。
【００５６】
ステップＳ４３の判別結果がＹＥＳであればステップＳ４５に進み、現メインフレーム番号をＭＳ開始フレーム番号として設定する。また、ステップＳ４７の判別結果がＹＥＳであればステップＳ４９に進み、現メインフレーム番号をＭＳ終了フレーム番号として設定する。ＭＳ開始フレーム番号およびＭＳ終了フレーム番号は、メモリ制御回路２２を通してワークエリア２４ｄ上の受信情報テーブルＴＢＬに書き込まれる。ステップＳ４５またはＳ４７の処理が完了すると、ステップＳ２５に戻る。なお、ステップＳ４３の判別結果およびステップＳ４７の判別結果のいずれもＮＯであれば、そのままステップＳ２５に戻る。
【００５７】
この実施例では、受信情報記録終了操作は受信情報記録処理の実行中にのみ受け付けられ、ＭＳ開始フレーム番号およびＭＳ終了フレーム番号は対をなして受信情報テーブルＴＢＬに記述される。この１対のＭＳ開始フレーム番号およびＭＳ終了フレーム番号によって、情報受信区間が定義される。
【００５８】
ステップＳ２５の判別結果がＹＥＳに更新されるとステップＳ２９に進み、メイン画像記録処理の終了をメモリＩ／Ｆ４０に命令する。メモリＩ／Ｆ４０は、ＹＵＶ画像エリア２４ｂからのメイン画像データの読み出しを終了する。
【００５９】
ステップＳ３１では受信情報記録タスクを終了し、ステップＳ３３ではステップＳ１７で作成された受信情報ファイルに受信情報データが収められているか否かを判別する。判別結果がＹＥＳであればステップＳ３５に進み、オープン状態にある受信情報ファイルをクローズする。ステップＳ３７では、ワークエリア２４ｄ上の受信情報テーブルＴＢＬをメモリ制御回路２２を通して読み出し、読み出された受信情報テーブルをステップＳ１５で作成されたメインファイルのヘッダに書き込む。ステップＳ３３の判別結果がＮＯであればステップＳ３９に進み、オープン状態にある受信情報ファイルを削除する。
【００６０】
ステップＳ４１では、メモリＩ／Ｆ４０を通して記録媒体４２にアクセスし、オープン状態にあるメインファイルをクローズする。メインファイルのクローズが完了すると、ステップＳ１３に戻る。
【００６１】
図１２を参照して、ステップＳ５１ではフォーカス，絞り量および露光時間を初期化する。ステップＳ５３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ５５でＡＥ処理を実行する。これによって、スルー画像の明るさが適度に調整される。ステップＳ５７ではＡＦ起動条件が満足されるか否かを判別し、ＮＯであればそのままステップＳ５３に戻る一方、ＹＥＳであればステップＳ５９でＡＦ処理を実行してからステップＳ５３に戻る。ＡＦ処理の結果、フォーカスレンズ１２は合焦点に配置され、これによってスルー画像の鮮鋭度が向上する。
【００６２】
図１３を参照して、ステップＳ６１では受信情報記録開始操作が行われたか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ６３で受信情報記録処理の開始をメモリＩ／Ｆ４０に命令する。
【００６３】
ステップＳ６５では、受信情報記録終了操作が行われたか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ６７で受信情報記録処理の終了をメモリＩ／Ｆ４０に命令する。メモリＩ／Ｆ４０は受信情報データの受信情報ファイルへの書き込みを終了する。ステップＳ６７の処理が完了すると、ステップＳ６１に戻る。
【００６４】
図１４〜１６を参照して、ステップＳ７１では、記録媒体４２に記録された複数のメインファイルのいずれか１つをファイル指定操作に応答して指定する。ステップＳ７３では、指定されたメインファイルに対応する受信情報ファイルが記録媒体４２に存在するか否かを判別する。判別結果がＮＯであれば、ステップＳ７９でフラグＦＬＧｓｕｂを“０”に設定し、ステップＳ８１に進む。これに対して、判別結果がＹＥＳであればステップＳ７５に進み、メインファイルのヘッダに記述された受信情報テーブルＴＢＬをメモリＩ／Ｆ４０を通して取得する。取得された受信情報テーブルＴＢＬは、メモリ制御回路２２を通してＳＤＲＡＭ２４のワークエリア２４ｄに書き込まれる。ステップＳ７７ではフラグＦＬＧｓｕｂを“１”に設定し、設定が完了するとステップＳ８１に進む。
【００６５】
ステップＳ８１ではメイン再生開始操作が行われたか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ８３でメインフレーム番号を“１”に設定する。ステップＳ８５では、メイン画像再生処理の開始をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令する。
【００６６】
メモリＩ／Ｆ４０は、ステップＳ７１で指定されたメインファイルから現メインフレーム番号に対応する１フレームのメイン画像データを読み出し、読み出されたメイン画像データをメモリ制御回路２２を通してＳＤＲＡＭ２４のＹＵＶ画像エリア２４ｂに書き込む。ＬＣＤドライバ３０は、ＹＵＶ画像エリア２４ｂに格納されたメイン画像データをメモリ制御回路２２を通して読み出し、読み出されたメイン画像データに基づいてＬＣＤモニタ３２を駆動する。この結果、現フレームのメイン画像がモニタ画面に表示される。
【００６７】
ステップＳ８７ではフラグＦＬＧｓｕｂが“１”を示すか否かを判別し、ステップＳ８９では現メインフレーム番号が受信情報テーブルＴＢＬの記述によって定義された情報受信区間に属するか否かを判別する。ステップＳ８７の判別結果がＮＯであればそのままステップＳ９９に進み、ステップＳ８９の判別結果がＮＯであればステップＳ９３でマーカ非表示命令をキャラクタジェネレータ３４に与えてからステップＳ９７に進む。
【００６８】
ステップＳ８７の判別結果およびステップＳ８９の判別結果のいずれもがＹＥＳであれば、ステップＳ９１でマーカ表示命令をキャラクタジェネレータ３４に与える。ステップＳ９５では受信情報再生開始操作が行われたか否かを判別し、ステップＳ９７ではメイン再生終了操作が行われるかまたは現メインフレーム番号がメインファイルの末尾フレームに到達するという論理和条件が満足されたか否かを判別する。
【００６９】
ステップＳ９５の判別結果およびステップＳ９７の判別結果のいずれもがＮＯであればステップＳ９９に進み、垂直同期信号Ｖｓｙｎｃの発生を待ってメインフレーム番号をインクリメントする。インクリメントが完了すると、ステップＳ８７に戻る。これに対して、ステップＳ９５の判別結果がＮＯでかつステップＳ９７の判別結果がＹＥＳであれば、ステップＳ１０１でメインファイル再生処理の終了をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令する。この結果、メイン画像データに基づく動画像つまりメイン動画像の再生が終了される。ステップＳ１０１の処理が完了すると、ステップＳ７１に戻る。
【００７０】
ステップＳ９５の判別結果がＹＥＳであれば、ステップＳ１０３で、現メインフレーム番号に対応する、情報受信区間を定義するＭＳ開始フレーム番号を検出する。
【００７１】
ステップＳ１０５では、受信情報再生処理の開始をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令する。メモリＩ／Ｆ４０は、ステップＳ１０３で算出されたＭＳフレーム番号に相当するフレームから始まる受信情報データを受信情報ファイルから読み出し、読み出された受信情報データをメモリ制御回路２２を通してＳＤＲＡＭ２４の受信情報エリア２４ｃに書き込む。ＬＣＤドライバ３０は、受信情報エリア２４ｃに格納された受信情報データをメモリ制御回路２２を通して読み出し、読み出された受信情報データに基づいてＬＣＤモニタ３２を駆動する。
【００７２】
ステップＳ１０７では受信情報再生終了操作が行われるかまたは現メインフレーム番号が現時点の情報受信区間を定義するＭＳ終了フレーム番号に達するという論理和条件が満足されたか否かを判別する。判別結果がＮＯであればステップＳ１０７に戻る。
【００７３】
ステップＳ１０７の判別結果がＮＯからＹＥＳに更新されると、ステップＳ１０９で受信情報再生処理の終了をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令する。この結果、受信情報の再生が終了される。ステップＳ１０９の処理が完了すると、ステップＳ８７に戻る。
【００７４】
以上の説明から分かるように、撮影待機中または画像撮影中には、メイン画像（スルー画または撮影画）が作成され(S1)、メイン画像作成時に外部からの情報受信がある場合には、前記情報が視覚的に認識可能な映像情報に変換され(S3,S5)、その映像情報はメイン画像データに重畳してリアルタイムでモニタに表示される(S7〜S10)。
【００７５】
例えば、複数名からなるグループメンバーでイベント等に参加した際には、撮影者から離れた場所にいるメンバーが、撮影者に対して、より興味深い撮影対象があるという情報や、所望の被写体の動向の情報を、視覚情報として伝えることができ、撮影漏れの防止が可能となる。また、撮影者は、画像を撮影しながら、モニタ内で情報を確認することができるので、目を逸らすことなく撮影を継続できる。したがって、撮影の質の向上も期待できる。また、事前に外部サーバに予約情報を保存しておき、所定の時刻になるとその情報を受信して表示されるようにして、アラーム機能として使用することもできる。なお、「重畳してモニタに表示」とは、メイン画像上に直接書き込まれるような態様でもよいし、メイン画像の一部に枠を設け、その枠内に書き込まれるような態様でもよい。
【００７６】
また、外部から受信した情報を、メイン画像データの対応フレームに紐付けして保存しておくことで、画像再生時には、時系列に沿って再生動画とそのタイミングで行われた通信が同時に表示可能となり、臨場感のある画像再生が可能となる。
【００７７】
なお、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、図１７に示すように通信Ｉ／Ｆ４６をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００７８】
また、この実施例では、ＣＰＵ３６によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【００７９】
また、この実施例では、ディジタルビデオカメラを用いて説明したが、本発明は、ディジタルスチルカメラ、携帯電話端末またはスマートフォンなどにも適用することができる。
【符号の説明】
【００８０】
１０  …ディジタルビデオカメラ
１６  …イメージセンサ
２８  …通信インターフェース（情報受信用）
３０  …ＬＣＤドライバ
３４  …キャラクタジェネレータ
３６  …ＣＰＵ
【図１】
2014143506.tif 000003
【図２】
2014143506.tif 000004
【図３】
2014143506.tif 000005
【図４】
2014143506.tif 000006
【図５】
2014143506.tif 000007
【図６】
2014143506.tif 000008
【図７】
2014143506.tif 000009
【図８】
2014143506.tif 000010
【図９】
2014143506.tif 000011
【図１０】
2014143506.tif 000012
【図１１】
2014143506.tif 000013
【図１２】
2014143506.tif 000014
【図１３】
2014143506.tif 000015
【図１４】
2014143506.tif 000016
【図１５】
2014143506.tif 000017
【図１６】
2014143506.tif 000018
【図１７】
2014143506.tif 000019