(57)【要約】【課題】表示画面上での画像表示方向の反転に対して、画像データの表示遅延時間を短縮可能な画像処理装置を提供すること。【解決手段】データ転送制御装置２２０は、撮像パスにて撮像素子２０２により取得された画像データをＤＲＡＭ２３０へ書き込み、画像処理パスでは、撮像パスでＤＲＡＭ２３０へ書き込まれた画像データを読み出して画像処理部２１０に出力する。画像処理後の画像データはＤＲＡＭ２３０へ書き込まれる。画像表示パスにて、画像処理パスでＤＲＡＭ２３０へ書き込まれた画像データが読み出され、表示部２０５が表示画面に画像表示する。撮像パスでは画面上部から画面下部へ画像データが処理される。画像処理パスでは画面上部から画面下部へ画像データの処理が開始し、処理の途中で画面下部から画面上部へ画像データを処理するように画像処理の順序が切り替わる。画像表示パスでは画面下部から画面上部へ画像表示処理が実行される。【選択図】  図１
2017076887.tif 000002
【特許請求の範囲】
【請求項１】
画像データを記憶装置へ書き込む制御と、前記記憶装置に記憶された画像データを読み出して出力する制御を行う制御手段と、前記制御手段の制御により前記記憶装置から読み出された画像データを処理する画像処理手段と、を備える画像処理装置であって、
前記制御手段は、
取得した画像データを前記記憶装置へ書き込む第１の制御と、
前記第１の制御により書き込まれた前記画像データを前記記憶装置から読み出して前記画像処理手段に出力し、前記画像処理手段により処理された画像データを前記記憶装置へ書き込む第２の制御と、
前記第２の制御により前記記憶装置に書き込まれた画像データを読み出して表示手段に出力する第３の制御と、を行う際、
前記第１の制御と前記第２の制御を並行して実行し、かつ前記第２の制御と前記第３の制御を並行して実行するとともに、前記第１の制御では前記表示手段の表示画面における第１の方向に取得される画像データを処理し、前記第２の制御では前記記憶装置から前記第１の方向に画像データを読み出して処理し、処理の途中で前記１の方向とは逆の第２の方向から画像データを読み出して処理し、前記第３の制御では前記記憶装置から前記第２の方向に画像データを読み出して処理することを特徴とする画像処理装置。
【請求項２】
前記第２の方向は、前記表示画面の下部から上部へ向かう方向であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記第２の制御における前記記憶装置からの画像データの読み出しが、前記第１の制御における前記記憶装置への画像データの書き込みを追い越さない制御を行い、または前記第３の制御における前記記憶装置からの画像データの読み出しが、前記第２の制御における前記記憶装置への画像データの書き込みを追い越さない制御を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
撮像された画像の画像データを取得し、前記記憶装置に書き込む画像データを前記制御手段に出力する第１の転送手段と、
前記制御手段の制御により前記記憶装置から読み出された画像データを取得して前記表示手段へ出力する第２の転送手段を備え、
前記制御手段は、
前記第１の制御にて前記第１の転送手段から取得した画像データを前記記憶装置へ書き込む制御を行い、
前記第３の制御にて前記第２の制御により前記記憶装置に書き込まれた画像データを読み出して前記第２の転送手段へ出力する制御を行うことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記制御手段は、前記第２の制御にて分割された分割画像ごとに画像データを処理し、
前記第１および第２の転送手段は、前記分割画像ごとに前記記憶装置へアクセスするアドレスを変更することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記制御手段は、前記第１の制御にて前記記憶装置へ画像データを書き込む処理が終了する前において、前記第２の制御にて前記第１の方向に前記分割画像の処理を開始し、前記第１の制御にて前記記憶装置へ画像データを書き込む処理が終了した後において、前記第２の制御にて前記第２の方向に前記分割画像の処理を開始することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像の分割数を決定して、前記第１および第２の転送手段と前記画像処理手段に設定する設定手段を備えることを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記制御手段は、前記画像処理装置の上下位置を反転することなく前記表示画面の上下位置を反転させた場合に前記第１から第３の制御を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項９】
請求項１から８のいずれか１項に記載の画像処理装置と、前記表示手段と、撮像手段を備えることを特徴とする撮像装置。
【請求項１０】
画像データを記憶装置へ書き込む制御と、前記記憶装置に記憶された画像データを読み出して出力する制御を行う制御手段と、前記制御手段の制御により前記記憶装置から読み出された画像データを処理する画像処理手段と、を備える画像処理装置により実行される制御方法であって、
前記制御手段により、
取得した画像データを前記記憶装置へ書き込む第１の制御工程と、
前記第１の制御工程で書き込まれた前記画像データを前記記憶装置から読み出して前記画像処理手段に出力し、前記画像処理手段により処理された画像データを前記記憶装置へ書き込む第２の制御工程と、
前記第２の制御工程で前記記憶装置に書き込まれた画像データを読み出して表示手段に出力する第３の制御工程と、を有し、
前記第１の制御工程と前記第２の制御工程を並行して実行し、かつ前記第２の制御工程と前記第３の制御工程を並行して実行するとともに、
前記第１の制御工程では前記表示手段の表示画面における第１の方向に取得される画像データを処理し、
前記第２の制御工程では前記記憶装置から前記第１の方向に画像データを読み出して処理し、処理の途中で前記１の方向とは逆の第２の方向から画像データを読み出して処理し、
前記第３の制御工程では前記記憶装置から前記第２の方向に画像データを読み出して処理することを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記憶装置から読み出して画像処理を施した画像データを記憶装置へ書き込み、当該画像データを読み出して表示させる画像処理技術に関するものである。
【背景技術】
【０００２】
光学ファインダを備えていない撮像装置においては、被写体の確認用に画像表示装置が設けられる。液晶ディスプレイや電子ビューファインダ等によって、撮像素子で撮像された画像をリアルタイムに表示することで、ユーザは被写体を確認できる。その際、動体である被写体の撮影タイミングを逃さないためには、撮像された画像が画像表示装置の画面に表示されるまでにかかる表示遅延時間を短くする必要がある。近年のデジタルカメラ等では、より高速な被写体の撮影への対応が求められ、表示遅延時間の短縮が重要課題となる。
【０００３】
表示遅延時間を短縮する技術として、特許文献１では、メモリに書き込んだ画像データを読み出す際、読み出しアドレスが書き込みアドレスを追い越さないようにメモリアドレスが制御されている（以下、「追い越し防止制御」という）。追い越し防止制御を実施することで、メモリへの書き出しと読み出しの処理を同時に開始できるので、処理時間を短縮することができる。また特許文献２では、表示画像生成時間を算出し、算出した時間に基づいて表示タイミングを調整する処理が行われる。表示画像生成時間に基づいて可能な限り早いタイミングで表示処理を開始させることで、表示遅延時間を短縮できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３２３３３３号公報
【特許文献２】特開２０１２−２２２６４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、画像処理装置をデジタルカメラ等の撮像装置に適用する場合、画面上で画像を表示させる方向が常に、画面上部から画面下部への方向とは限らない。液晶ディスプレイ等の画像表示装置の角度を自由に変更可能な機能をもつ撮像装置では、ユーザが撮像装置の上下位置を反転させることなく、画像表示装置の画面を上下反転させる操作を行える。このときに画像を画面下部から画面上部へ順に表示する機能が必要となる。
【０００６】
画面上部から画面下部へ順に撮像された画像を、画面下部から画面上部へ順に表示する場合、特許文献１および特許文献２に開示の技術では、表示遅延時間を十分に短縮することができない。
本発明の目的は、表示画面上での画像表示方向の反転に対して、画像データの表示遅延時間を短縮可能な画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明に係る装置は、画像データを記憶装置へ書き込む制御と、前記記憶装置に記憶された画像データを読み出して出力する制御を行う制御手段と、前記制御手段の制御により前記記憶装置から読み出された画像データを処理する画像処理手段と、を備える画像処理装置であって、前記制御手段は、取得した画像データを前記記憶装置へ書き込む第１の制御と、前記第１の制御により書き込まれた前記画像データを前記記憶装置から読み出して前記画像処理手段に出力し、前記画像処理手段により処理された画像データを前記記憶装置へ書き込む第２の制御と、前記第２の制御により前記記憶装置に書き込まれた画像データを読み出して表示手段に出力する第３の制御と、を行う際、前記第１の制御と前記第２の制御を並行して実行し、かつ前記第２の制御と前記第３の制御を並行して実行するとともに、前記第１の制御では前記表示手段の表示画面における第１の方向に取得される画像データを処理し、前記第２の制御では前記記憶装置から前記第１の方向に画像データを読み出して処理し、処理の途中で前記１の方向とは逆の第２の方向から画像データを読み出して処理し、前記第３の制御では前記記憶装置から前記第２の方向に画像データを読み出して処理する。
【発明の効果】
【０００８】
本発明によれば、表示画面上での画像表示方向の反転に対して、画像データの表示遅延時間を短縮可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態に係る画像処理装置の画像処理順序と表示遅延時間を示す図である。
【図２】本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図３】本発明の実施形態における撮像から表示までのデータパスを示す図である。
【図４】第１実施形態に係るデータ転送制御装置の構成例を示すブロック図である。
【図５】第１実施形態に係るＤＲＡＭアクセスアドレス制御部の構成例を示すブロック図である。
【図６】第１実施形態に係る画像表示のデータ転送シーケンスを示す図である。
【図７】本発明の第２実施形態に係るデータ転送制御装置の構成例を示すブロック図である。
【図８】第２実施形態に係るＤＲＡＭアクセスアドレス制御部の構成例を示すブロック図である。
【図９】第２実施形態に係る画像処理装置の画像処理順序と表示遅延時間を示す図である。
【図１０】第２実施形態に係る画像表示のデータ転送シーケンスを示す図である。
【図１１】追い越し防止制御を実施した画像処理における表示遅延時間を示す図である。
【図１２】画面下部から画面上部へ画像表示する場合の表示遅延時間を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の各実施形態について、添付図面を参照して詳細に説明する。各実施形態では、画像処理装置を撮像装置に適用した例を説明する。
撮像装置の構成を説明する前に、追い越し防止制御を実施した画像処理における表示遅延時間について、図１１を参照して説明する。図１１の横軸は時間軸であり、縦軸はライン位置を表す。図１１の縦軸の矢印方向を画面上方向と定義する。画像処理として３つの処理（以下、処理１、処理２、処理３という）を想定し、それぞれの処理が画面上部から画面下部へ順に実行されるものとする。各ラインについては左から右へ処理が行われる。撮像素子が撮像した画像には処理１が施され、処理後の画像データがＤＲＡＭ（Dynamic Random Access Memory）へ書き込まれる。次に画像データはＤＲＡＭから読み出され、処理２を施されてからＤＲＡＭへ書き込まれる。処理２が施された画像データはＤＲＡＭから読み出され、さらに処理３によって画像表示装置の表示画面に表示される。図１１では、処理２の画像処理時間が、処理１および処理３の各画像処理時間の２倍である例を示す。表示遅延時間は、処理１の開始時点から処理３の完了時点までの処理時間である。
【００１１】
処理１、処理２、処理３と順次に処理を実行させた場合には、表示遅延時間はそれぞれの処理を単独で動作させた処理時間の合計値となる。また、処理１と処理２でのＤＲＡＭアクセスに対して追い越し防止制御を実施したとすると、図１１に示すように処理１と処理２の処理を同時に開始させることができるので、表示遅延時間を短縮可能である。また、処理２の完了時間を算出し、算出された時間に基づいて処理３のＤＲＡＭアクセスアドレスが処理２のＤＲＡＭアクセスアドレスを追い越すことがないタイミングで処理３を開始させることで、表示遅延時間を短縮可能である。図１１では処理２の処理時間内に処理１および処理３の処理時間が収まっていることを示す。
【００１２】
次に図１２を参照して、画面下部から画面上部へ順に画像を表示する場合の表示遅延時間について説明する。図１２（Ａ）および（Ｂ）の横軸は時間軸であり、縦軸はライン位置を表し、図１２の縦軸の矢印方向を画面上方向と定義する。画像処理については、図１１と同様に処理１、処理２、処理３が実行される。
【００１３】
図１２（Ａ）は、第１の画像表示方法での表示遅延時間を示している。処理１では画面上部から画面下部へ順に画像処理が行われ、ＤＲＡＭへ画像データが書き込まれる。処理１の完了後、処理２では、処理１が施された画像データが画面下部から画面上部へ順にＤＲＡＭから読み出され、処理２の画像処理を施された上でＤＲＡＭへ画像データが書き込まれる。処理３では、処理２が施された画像データを画面下部から画面上部へ順にＤＲＡＭより読み出す処理が行われ、画像表示装置の表示画面に画像が表示される。ここで、処理２にかかる処理時間は予め算出されているものとする。処理３の開始は、算出されている処理時間に基づいて、処理３のＤＲＡＭアクセスアドレスが処理２のＤＲＡＭアクセスアドレスを追い越すことのないタイミングで行われる。表示遅延時間は処理１の開始時点から処理３の完了時点までの時間である。
【００１４】
図１２（Ｂ）は、第２の画像表示方法での表示遅延時間を示している。処理１では画面上部から画面下部へ順に画像処理が行われ、ＤＲＡＭへ画像データが書き込まれる。処理２では、処理１が施された画像データが画面上部から画面下部へ順にＤＲＡＭより読み出され、処理２の画像処理を施された画像データがＤＲＡＭへ書き込まれる。ここで、処理１と処理２とのＤＲＡＭアクセスに対して追い越し防止制御が実施され、処理１と処理２は同時に処理を開始する。処理２の完了後、処理３では、処理２が施された画像データが画面下部から画面上部へ順にＤＲＡＭより読み出され、画像表示装置の表示画面に画像が表示される。表示遅延時間は処理１の開始時点から処理３の完了時点までの時間である。
【００１５】
このように、画面上部から順に撮像された画像を、画面下部から順に表示する場合において、第１および第２の画像表示方法では、表示遅延時間を十分に短縮することができない。以下では、画面上部から順に撮像された画像を、画面下部から順に表示する場合に表示遅延時間を短縮可能な制御について、各実施形態を説明する。
【００１６】
［第１実施形態］
図２は、本発明の第１実施形態に係る撮像装置の構成例を示すブロック図である。図２において、結像光学部２０１はレンズや絞り等を備え、撮像光学系を構成する。レンズや絞りの駆動によりフォーカス調節や露出調節が行われる。撮像素子２０２は光学像を電気信号に光電変換するＣＣＤ（電荷結合素子）イメージセンサ等である。Ａ（アナログ）／Ｄ（デジタル）変換回路２０３は、撮像素子２０２からのアナログ画像信号をデジタル画像データに変換する。データ転送制御装置２２０は記憶装置への画像データの書き込みと読み出しを制御する。記憶装置は、例えばＤＲＡＭ２３０である。
【００１７】
ＣＰＵ（中央演算処理装置）２０４は、バスを介して各種制御を司る制御中枢部である。画像処理部２１０はデータ転送制御装置２２０から画像データを取得して、レンズ歪補正処理等の各種画像処理を施す。記録画像生成部２１１は、記録部２０６が記録媒体へ記録する画像データを生成する。表示部２０５は液晶ディスプレイ等を備え、画像処理部２１０が生成した画像データにしたがって表示画面に画像を表示する。本実施形態における表示部２０５は、撮像装置の上下位置を反転することなく、表示部２０５の画面を上下反転させることが可能な構成となっている。例えば、表示部２０５はヒンジ部を介して撮像装置の本体部に連結されており、ユーザが表示部２０５を回転させることができる。この場合、表示部２０５の姿勢に応じて表示画面を上下反転させる機能によって、画像の視認性を高めることができる。
【００１８】
図３は、本実施形態の撮像装置において撮像から表示までのデータパスを示す図である。本実施形態におけるデータ処理は、３つのデータパスで構成されている。以下では、撮像素子２０２により取得された画像データを記憶装置へ書き込む第１の制御によりデータを処理するデータパスを、撮像パスという。また、撮像パスにて記憶装置へ書き込まれた画像データを読み出して画像処理を施し、画像処理された画像データを記憶装置へ書き込む第２の制御によりデータを処理するデータパスを、画像処理パスという。画像処理パスにて記憶装置に書き込まれた画像データを読み出して表示部２０５に出力する第３の制御によりデータを処理するデータパスを、画像表示パスという。図３（Ａ）は撮像パスを示し、図３（Ｂ）は画像処理パスを示し、図３（Ｃ）は画像表示パスを示している。
【００１９】
図３（Ａ）の撮像パスでは、被写体の撮像から画像データをＤＲＡＭ２３０へ書き込むまでの処理が実行される。被写体からの光は結像光学部２０１によって結像され、撮像素子２０２が撮像した画像の信号をＡ／Ｄ変換回路２０３がデジタル画像データに変換する。デジタル画像データは、データ転送制御装置２２０がＤＲＡＭ２３０へ書き込む。
【００２０】
図３（Ｂ）の画像処理パスでは、撮像パスでＤＲＡＭ２３０へ書き込まれた画像データを読み出して、レンズ歪補正等を施す処理が実行される。データ転送制御装置２２０はＤＲＡＭ２３０から画像データを読み出し、該画像データに対して画像処理部２１０がレンズ歪補正等の処理を施す。データ転送制御装置２２０は、処理後の画像データをＤＲＡＭ２３０へ書き込む。
【００２１】
図３（Ｃ）の画像表示パスでは、画像処理パスでＤＲＡＭ２３０へ書き込まれた画像データにしたがって表示部２０５の表示画面に画像を表示する処理が実行される。データ転送制御装置２２０は画像処理された画像データをＤＲＡＭ２３０から読み出して表示部２０５に出力し、表示部２０５は画像データにしたがって画像表示を行う。
【００２２】
図４は、本発明の実施形態に係るデータ転送制御装置２２０の構成例を示すブロック図である。書き込み転送部３００，３０１は、ＤＲＡＭ２３０へ書き込む画像データの転送を行う。第１の書き込み転送部３００をＷＲＤＭＡＣ１と表記し、第２の書き込み転送部３０１をＷＲＤＭＡＣ２と表記する。図３（Ａ）の撮像パスにて撮像された画像データはＷＲＤＭＡＣ１によってＤＲＡＭ２３０へ書き込まれる。ＷＲ１データはＷＲＤＭＡＣ１へ入力される書き込み画像データを示す。図３（Ｂ）の画像処理パスで処理された画像データはＷＲＤＭＡＣ２によってＤＲＡＭ２３０へ書き込まれる。ＷＲ２データはＷＲＤＭＡＣ２へ入力される書き込み画像データを示す。
【００２３】
ＷＲＤＭＡＣ１，ＷＲＤＭＡＣ２は、アドレスジャンプのタイミング信号を受信したとき、ＤＲＡＭ２３０へのアクセスアドレスを処理画面の途中でジャンプさせる機能を有する。ＷＲ１アドレスジャンプタイミング、ＷＲ２アドレスジャンプタイミングは、撮像パスのＡ／Ｄ変換回路２０３、画像処理パスの画像処理部２１０からそれぞれ通知される。
【００２４】
読み出し転送部３１０，３１１は、ＤＲＡＭ２３０から読み出された画像データの転送を行う。第１の読み出し転送部３１０をＲＤＤＭＡＣ１と表記し、第２の読み出し転送部３１１をＲＤＤＭＡＣ２と表記する。ＲＤＤＭＡＣ１は画像処理パスにてＤＲＡＭ２３０から読み出した画像データを画像処理部２１０へ転送する。ＲＤＤＭＡＣ２は画像表示パスにてＤＲＡＭ２３０から読み出した画像データを表示部２０５へ転送する。
【００２５】
ＷＲＤＭＡＣ１は、ＤＲＡＭ２３０へのデータ書き込み転送が完了したタイミングをＣＰＵ２０４およびＲＤＤＭＡＣ１の３１０へ通知する。ＷＲＤＭＡＣ２は、ＤＲＡＭ２３０へのデータ書き込み転送が完了したタイミングをＣＰＵ２０４およびＲＤＤＭＡＣ２の３１１へ通知する。ＲＤＤＭＡＣ１，ＲＤＤＭＡＣ２は、ＤＲＡＭ２３０からのデータ読み出し転送が完了したタイミングをＣＰＵ２０４へそれぞれ通知する。ＲＤＤＭＡＣ１，ＲＤＤＭＡＣ２は、ＷＲＤＭＡＣ１，ＷＲＤＭＡＣ２の転送完了タイミングで、ＤＲＡＭ２３０へのアクセスアドレスを処理画面の途中でジャンプさせる機能を有している。また、ＲＤＤＭＡＣ１，ＲＤＤＭＡＣ２は、ＤＲＡＭ２３０から読み出したデータを出力する際、アドレスジャンプ前後のどちらの時点で読み出したデータであるかをそれぞれ画像処理部２１０、表示部２０５へ通知する。
【００２６】
メモリアクセス制御部３２０は、ＤＲＡＭ２３０に対する書き込み／読み出しコマンド等の転送を制御する。メモリアクセス制御部３２０は追い越し制御部３２１を有する。追い越し制御部３２１は、ＣＰＵ２０４から指示されたＲＤＤＭＡＣとＷＲＤＭＡＣに関して、追い越し防止制御を行う。ＲＤＤＭＡＣ１，ＲＤＤＭＡＣ２のＤＲＡＭ２３０に対するアクセスアドレスが、ＷＲＤＭＡＣ１，ＷＲＤＭＡＣ２のＤＲＡＭ２３０に対するアクセスアドレスを追い越さないように制御が行われる。メモリアクセス制御部３２０は、ＲＤＤＭＡＣ１とＷＲＤＭＡＣ１について追い越し防止制御を行う。よって画像処理パスでのＤＲＡＭ２３０からの画像データの読み出しが、撮像パスでのＤＲＡＭ２３０への画像データの書き込みを追い越すことはない。
【００２７】
図５は、ＷＲＤＭＡＣ１および２、ＲＤＤＭＡＣ１および２におけるアドレス制御部を示すブロック図である。アドレス制御部は、アドレスジャンプのタイミングを通知されたときに、ＤＲＡＭ２３０へのアクセスアドレスをＣＰＵ２０４によって設定された値へジャンプさせるアドレスジャンプ機能を有する。
【００２８】
転送長算出器５０１は、ＣＰＵ２０４によって設定された転送画像サイズを取得し、１回のアクセスでＤＲＡＭ２３０へ転送するデータ転送長を算出する。算出されたデータ転送長は、オフセット値算出器５０２へ出力される。オフセット値算出器５０２は、転送長算出器５０１から出力されるデータ転送長を取得してオフセット値を算出し、アドレス加算値としてアドレスカウンタ５０３へ出力する。
【００２９】
アドレスカウンタ５０３には、スタートアドレス、アドレスアクセスの順序指定、アドレスジャンプのタイミングおよびジャンプアドレス値の各信号が入力される。データアクセス開始時にアドレスカウンタ５０３は、ＣＰＵ２０４によって設定されたスタートアドレスをアドレス値として選択する。アドレスカウンタ５０３は、ＤＲＡＭ２３０に対してアドレスを昇順および降順のうち、どちらの順序でアクセスするかを、ＣＰＵ２０４によって設定可能な構成になっている。アドレスカウンタ５０３は、昇順のアクセスが設定された場合、データ転送中にオフセット値算出器５０２が出力するアドレス加算値を現在のアドレス値に加算する。また、降順のアクセスが設定された場合にアドレスカウンタ５０３は、現在のアドレス値からオフセット値算出器５０２が出力するアドレス加算値を減算する。
【００３０】
また、アドレスカウンタ５０３は、アドレスジャンプのタイミング信号を受信したときに、ＣＰＵ２０４によって設定されたジャンプアドレス値を選択する。本実施形態では、アドレスジャンプする前後のアドレス順１、２をそれぞれ設定することが可能である。また本実施形態では、ＲＤＤＭＡＣ１のアドレスジャンプのタイミング信号として、ＷＲＤＭＡＣ１の転送完了信号がアドレスカウンタ５０３に入力される。これにより、ＷＲＤＭＡＣ１のデータ転送が完了したタイミングで、ＲＤＤＭＡＣ１のアドレス値およびアドレスアクセス順を変更することができる。
【００３１】
アドレスカウンタ５０３と同様に、画像処理部２１０についてもスタート画素位置、ジャンプ画素位置、処理画素順１、２を設定可能である。画像処理部２１０は、ＲＤＤＭＡＣ１からアドレスジャンプのタイミングを通知されると、処理する画素位置と処理画素順を変更する。また、画像処理部２１０は、画像処理データの出力タイミングに同期して処理画素位置の変更前後にてどちらのデータであるか通知する信号を、ＷＲＤＭＡＣ１に出力する。これにより、処理中である画面の途中において、処理画素位置および処理画素順を変更することができる。
【００３２】
図１は、本実施形態における、各データ処理パスの画像処理順序と表示遅延時間を示す。横軸は時間軸であり、縦軸はライン位置を表す。図１の縦軸の矢印方向を画面上方向と定義する。本実施形態における画像撮像と画像表示のレートをＦ２［ｆｐｓ］とし、画像処理パスの画像処理レートをＦ１［ｆｐｓ］とし、例えば、「Ｆ２：Ｆ１＝２：１」とする。本実施形態では、撮像パスでのＤＲＡＭ２３０へのデータ書き出しと、画像処理パスでのＤＲＡＭ２３０からのデータ読み出しに対して追い越し防止制御が実施され、撮像パスと画像処理パスは同時に処理を開始する。撮像パスと画像処理パスにて、それぞれ画像の画面上部から画面下部へ順に画像処理が行われる。画像処理パスは画像処理パス１と画像処理パス２から構成され、画像処理パス１では画面上部から画面下部へ画像処理が実行される。
【００３３】
撮像パスにてＤＲＡＭ２３０へのデータ書き出しが完了すると、画像処理パスでは、ＤＲＡＭ２３０からのデータ読み出しアドレスを画像の画面最下部へジャンプさせる制御が行われ、画面下部から順に画像処理が実行される。つまり画像処理パス２では画面下部から画面上部へ画像処理が実行される。画像処理パスの処理時間については、予めＣＰＵ２０４に設定されているので、設定された時間に基づいてＣＰＵ２０４は画像表示パスを開始させる。
【００３４】
画像表示パスでは、画面下部から画面上部へ順に処理を開始して画像表示装置の画面に画像が表示される。これにより、画像処理パスの処理中の画面位置を途中で追い越すことがない範囲で、可能な限り早いタイミングで画像表示パスを開始させることができる。表示遅延時間は撮像パスの開始時点から画像表示パスの終了時点までの時間である。図１にて撮像パスと画像処理パス１とが時間的に重なっており、画像処理パス２の一部と画像表示パスの一部が時間的に重なっている。すなわち撮像パスでの制御と画像処理パス１での制御は並行処理として実行され、画像処理パス２での制御と画像表示パスでの制御は並行処理として実行される。画像処理パスの画像処理位置、および画像処理順序を途中で切り替えることで、画像を画面下部から画面上部へ順に表示する場合に、表示遅延時間を従来よりも短縮することができる。
【００３５】
図６のフローチャートを参照して本実施形態における、画像表示のデータ転送シーケンスを説明する。以下の処理はＣＰＵ２０４が制御プログラムをメモリから読み出して実行する手続きにしたがって行われる。
【００３６】
先ずＣＰＵ２０４は、撮像パス、画像処理パス、画像表示パスで各ＷＲＤＭＡＣ、ＲＤＤＭＡＣにスタートアドレス、画像サイズ、ジャンプアドレス値、アドレスアクセス順１、２を設定する（Ｓ６０１）。本実施形態では、撮像パスにて画面上部から画面下部へ順に処理が行われ、途中でアドレスをジャンプさせる制御は行われない。画像処理パスでは、画像の画面上部から画面下部へ順に処理が行われる。撮像パスのデータ転送が完了したときに、画面最下部にアドレスをジャンプさせる制御が実行され、画面下部から画面上部へ順に処理が行われる。画像表示パスでは、画像下部から画面上部へ順に処理が行われ、途中でアドレスをジャンプさせる制御は行われない。
【００３７】
次にＣＰＵ２０４は、画像処理部２１０にスタート画素位置、ジャンプ画素位置、処理画素順１，２を設定する（Ｓ６０２）。ＣＰＵ２０４は、追い越し制御部３２１に、撮像パスでのＤＲＡＭ２３０へのデータ書き込みを行うＷＲＤＭＡＣと、画像処理パスでのＤＲＡＭ２３０からのデータ読み出しを行うＲＤＤＭＡＣに対して追い越し防止制御を実施するように設定する（Ｓ６０３）。
【００３８】
ＣＰＵ２０４はデータ転送制御装置２２０に対して、撮像パス、画像処理パスのデータ処理開始を指示する（Ｓ６０４）。ＣＰＵ２０４は、設定時間が経過したか否かを判定する（Ｓ６０５）。設定時間とは、画像表示パスでの処理画面位置が画像処理パスでの処理画面位置を追い越すことがないように設定された時間である。ＣＰＵ２０４は設定時間の経過を待ち、設定時間が経過した場合、Ｓ６０６に処理を進める。設定時間が経過するまでの間、Ｓ６０５の判定処理が繰り返される。Ｓ６０６でＣＰＵ２０４はデータ転送制御装置２２０に対して、画像表示パスのデータ処理開始を指示する。ＣＰＵ２０４は画像の表示が完了したかどうかを判断する（Ｓ６０７）。画像表示パスの処理が完了すると、ＣＰＵ２０４は各パスの処理を停止させる。
【００３９】
本実施形態では、画面上部から画面下部へ順に撮像された画像を画面下部から画面上部へ順に表示する場合に、画像処理の処理順序を途中で切り替えることで、表示遅延時間を短縮可能である。本実施形態によれば、撮像装置の上下位置を反転させることなく画像表示装置の画面を上下反転させた際に表示遅延時間を短縮することができる。
【００４０】
［第２実施形態］
次に、本発明の第２実施形態を説明する。本実施形態に係る画像処理装置の構成や、撮像から表示までのデータパスについては第１実施形態の場合と同様である為、それらの説明を省略する。本実施形態では、データ転送制御装置の構成、画像処理装置のＤＲＡＭアクセスアドレス制御部の構成、画像表示のデータ転送シーケンス、画像処理の画像処理順序が第１実施形態と異なる。以下、第１実施形態との相違点を中心に説明する。
【００４１】
図７は、本実施形態に係るデータ転送制御装置２２０の構成例を示すブロック図である。書き込み転送部３３０，３３１は、ＤＲＡＭ２３０への書き込み画像データの転送を行う。書き込み転送部３３０をＷＲＤＭＡＣ３と表記し、書き込み転送部３３１をＷＲＤＭＡＣ４と表記する。ＷＲＤＭＡＣ３，ＷＲＤＭＡＣ４は、その内部で、データ転送量に応じてＤＲＡＭ２３０へのアクセスアドレスジャンプのタイミング信号を生成する点が第１実施形態と異なる。
【００４２】
読み出し転送部３４０，３４１は、ＤＲＡＭ２３０からの読み出した画像データの転送を制御する。読み出し転送部３４０をＲＤＤＭＡＣ３と表記し、読み出し転送部３４１をＲＤＤＭＡＣ４と表記する。ＲＤＤＭＡＣ３，ＲＤＤＭＡＣ４は、その内部で、データ転送量に応じてＤＲＡＭ２３０へのアクセスアドレスジャンプのタイミング信号を生成する点が第１実施形態と異なる。尚、メモリアクセス制御部３２０、追い越し制御部３２１の構成については、第１実施形態と同じである。
【００４３】
図８は、本実施形態のＷＲＤＭＡＣ３および４、ＲＤＤＭＡＣ３および４におけるアドレス制御部の構成を示すブロック図である。アドレス制御部は、画像を等分割した複数の分割ブロックのデータを転送する度に、設定された値だけアドレスをジャンプさせるアドレスジャンプ機能を有している。例えばアドレス制御部には、画像分割数を最大８まで設定可能である。以下では、アドレスジャンプのタイミング信号を１から８の信号として説明する。
【００４４】
転送長算出器８０１はＣＰＵ２０４から設定された転送総画像サイズと分割画像サイズの情報を取得する。転送長算出器８０１は、１回のアクセスでＤＲＡＭ２３０へ転送するデータ転送長を算出してオフセット値算出器８０２へ出力する。また、転送長算出器８０１は、設定された分割画像サイズのデータ量を転送する度にアドレスジャンプタイミング１〜８の信号をオフセット値算出器８０２、およびアドレスカウンタ８０３へ出力する。
【００４５】
オフセット値算出器８０２は、転送長算出器８０１が出力するデータ転送長を取得し、算出したオフセット値をアドレス加算値としてアドレスカウンタ８０３へ出力する。但し、オフセット値算出器８０２は、アドレスジャンプタイミング１〜８の信号を受信したときには、それぞれに対応したアドレスジャンプ値１〜８をアドレスカウンタ８０３へ出力する。アドレスジャンプ値１〜８については、予めＣＰＵ２０４により設定されている。
【００４６】
アドレスカウンタ８０３は、ＣＰＵ２０４からスタートアドレスとアドレスアクセス順１〜８の設定を受け付け、オフセット値算出器８０２からアドレスジャンプ値１〜８を、アドレス加算値として取得する。アドレスカウンタ８０３は、データアクセスの開始時にはＣＰＵ２０４により設定されたスタートアドレスをアドレス値として選択する。アドレスカウンタ８０３は、それぞれの分割画像に対して、昇順と降順のどちらでＤＲＡＭ２３０にアクセスするかをＣＰＵ２０４からアドレスアクセス順１〜８として設定可能な構成になっている。アドレスカウンタ８０３は、昇順のアクセスが設定された場合、データ転送中にオフセット値算出器８０２が出力するアドレス加算値を現在のアドレス値に加算する。またアドレスカウンタ８０３は、降順のアクセスが設定された場合、データ転送中にオフセット値算出器８０２が出力するアドレス加算値を現在のアドレス値から減算する。これにより、分割画像データの転送タイミングで、ＤＲＡＭ２３０へのアドレスアクセス値、およびアクセスアドレス順を変更することができる。
【００４７】
画像処理部２１０についても、アドレスカウンタ８０３と同様に、総画素サイズ、分割画素サイズ、スタート画素位置、ジャンプ画素値１〜８、処理画素順１〜８を設定可能である。画像処理部２１０は、分割画像データをＤＲＡＭ２３０から読み出す度に処理する画素位置を設定されたジャンプ画素値１〜８だけ変更し、設定された処理画素順で画像処理を行う。これにより、処理中にて画面の途中で処理画素位置および処理画素順を変更することができる。
【００４８】
図９は、本実施形態における、各データ処理パスの画像処理順序と表示遅延時間を示す。横軸は時間軸であり、縦軸はライン位置を表し、図９の縦軸の矢印方向を画面上方向と定義する。第１実施形態の場合と同様に、画像撮像と画像表示のレートをＦ２［ｆｐｓ］とし、画像処理パスの画像処理レートをＦ１［ｆｐｓ］とする。第１実施形態との相違点は、本実施形態の場合、画像処理パスで処理する1画面分の画像を３分割して処理する点である。画像の分割数については予めＣＰＵ２０４により設定されている。１画面にて３分割された分割画像のうち、画面上部の分割画像を第１の分割画像という。画面中央の分割画像を第２の分割画像といい、画面下部の分割画像を第３の分割画像という。撮像パスと画像表示パスでは画像の分割は行われない。また本実施形態では、撮像パスでのＤＲＡＭ２３０へのデータ書き出しと、画像処理パスでのＤＲＡＭ２３０からのデータ読み出しに対して追い越し防止制御が実施される。撮像パスと画像処理パスは同時に処理が開始し、それぞれ画面上部から画面下部へ順に画像処理が行われる。画像処理パスは画像処理パス１から３で構成される。
【００４９】
画像処理パス１にて画面上部から画面下部へ順に画像処理が実行され、３分割された画像のうち、第１の分割画像に対する画像処理が完了すると、ＤＲＡＭ２３０のアクセスアドレスをジャンプさせて画像処理パス２へ移行させる処理が行われる。画像処理パス２では、３分割された画像のうち、画面下部の第３の分割画像に対して画面上部から画面下部へ順に処理が行われる。
【００５０】
第３の分割画像に対する処理が完了すると、ＤＲＡＭ２３０のアクセスアドレスをジャンプさせて画像処理パス３へ移行させる処理が行われる。画像処理パス３では、画面中央の第２の分割画像に対して画面下部から画面上部へ順に処理が行われる。画像処理パスの処理時間は予めＣＰＵ２０４に設定されている。設定された時間に基づいてＣＰＵ２０４は、画像表示パスを開始させる。画像表示パスでは、画面下部から画面上部へ順に処理を開始して画像表示装置の表示画面に画像が表示される。
【００５１】
このように画像処理パスにて画像を細かく分割して画像処理順序を途中で切り替えることで、第１実施形態よりも早いタイミングで画像表示パスを開始させることができる。表示遅延時間は撮像パスの開始時点から画像表示パスの終了時点までの時間である。図９にて撮像パスと、画像処理パス１および画像処理パス２の一部とが時間的に重なっており、画像処理パス３と画像表示パスの一部が時間的に重なっている。すなわち撮像パスでの制御と画像処理パス１および画像処理パス２での制御は並行処理として実行され、画像処理パス３での制御と画像表示パスでの制御は並行処理として実行される。撮像パスの処理中に画像処理パス１，２での分割画像が画面上部から画面下部へ順に処理され、撮像パスのデータ転送の完了後には画像処理パス３での分割画像が画面下部から画面上部へ順に処理される。これにより、表示遅延時間を短縮することができる。
【００５２】
画像処理パスにおける処理内容によっては、画像を４以上に分割した方が表示遅延を短縮できる可能性がある。本実施形態の場合、画像処理部２１０はフィルタ処理を実行しており、画像の分割境界部をオーバーラップしてＤＲＡＭ２３０から画像データを読み出す必要がある。この為、画像の分割数を増やすと、処理するデータ量が増えてしまう。処理するデータ量の増加によって、画像処理パスの処理時間が長くなると、画像表示パスの開始時間が遅くなるので、却って表示遅延時間が長くなってしまう。本実施形態では、画像処理パスにかかる処理時間が所定値以下の範囲で画像分割数が最大となるようにＣＰＵ２０４が画像分割数を決定する。ＣＰＵ２０４は決定した画像分割数を、画像処理部２１０およびデータ転送制御装置２２０に設定する。よって、表示遅延時間が最短となるように画像処理が行われる。
【００５３】
図１０のフローチャートを参照して本実施形態における、画像表示のデータ転送シーケンスを説明する。
先ずＣＰＵ２０４は、撮像パス、画像処理パス、画像表示パスでの各ＷＲＤＭＡＣ、ＲＤＤＭＡＣにスタートアドレス、転送総画像サイズ、分割画像サイズ、アドレスジャンプ値１〜８、アドレスアクセス順１〜８を設定する（Ｓ１００１）。本実施形態では、撮像パスにて画面上部から画面下部へ順に処理が行われ、途中でアドレスをジャンプさせる制御は行われない。画像処理パスでは画像が３分割され、画像処理パス１にて第１の分割画像については画面上部から画面下部へ順に処理が実行される。設定された分割画像サイズのデータの転送が終了すると、設定された量のアドレスをジャンプさせる制御が行われて、画像処理パス２にて第３の分割画像について画面上部から画面下部へ順に処理が実行される。設定された分割画像サイズのデータの転送が終了すると、設定された量のアドレスをジャンプさせる制御が行われて、画像処理パス３にて第２の分割画像について画面下部から画面上部へ順に処理が実行される。画像表示パスでは、画面下部から画面上部へ順に処理が実行され、途中でアドレスをジャンプさせる制御は行われない。
【００５４】
次にＣＰＵ２０４は、画像処理部２１０にスタート画素位置、総画素サイズ、分割画素サイズ、ジャンプ画素値１〜８、処理画素順１〜８を設定する（Ｓ１００２）。Ｓ１００３からＳ１００７の処理については、図６のＳ６０３からＳ６０７の処理とそれぞれ同様であるため、それらの説明を省略する。
【００５５】
本実施形態では、画像処理における画像の分割数と処理順序を途中でより細かく切り替えることで、第１実施形態に比べて表示遅延時間をさらに短縮することができる。
尚、第１および第２実施形態では、画像の上下反転表示を例示して説明したが、表示の方向については任意であり、左右反転表示などの場合にも適用可能である。また撮像パス、画像処理パス、画像表示パスを例示して説明したが、パスの数は３でなくてもよい。画像処理としてレンズ歪補正処理としたが、その他の画像処理へ適用可能である。また、第２実施形態では画像処理パスにて画像を３分割したが、これは例示である。画像の分割数は、表示遅延時間が最短となるように決定される。また、第２実施形態では、予め設定された時間の経過後に画像表示パスを開始させる例を説明した。これに限らず、画像処理パスにて分割画像ごとに分割画像の転送完了タイミングを通知する処理が行われる構成としてもよい。この場合、通知される複数の分割画像の転送完了タイミングの中から予め選択され、設定された１つのタイミングで画像表示パスが開始する。また、画像表示パスでの記憶装置からの画像データの読み出しが、画像処理パスでの記憶装置への画像データの書き込みを追い越さないように追い越し防止制御が行われてもよい。
【符号の説明】
【００５６】
２０２：撮像素子
２０４：ＣＰＵ
２０５：表示部
２１０：画像処理部
２２０：データ転送制御装置
２３０：ＤＲＡＭ
【図１】
2017076887.tif 000003
【図２】
2017076887.tif 000004
【図３】
2017076887.tif 000005
【図４】
2017076887.tif 000006
【図５】
2017076887.tif 000007
【図６】
2017076887.tif 000008
【図７】
2017076887.tif 000009
【図８】
2017076887.tif 000010
【図９】
2017076887.tif 000011
【図１０】
2017076887.tif 000012
【図１１】
2017076887.tif 000013
【図１２】
2017076887.tif 000014