(57)【特許請求の範囲】
【請求項１】
同一ラインの複数要素が並列に転送された転送データの入力を受ける第１入力手段と、
複数ライン各々の要素が並列に転送された転送データの入力を受ける第２入力手段と、
前記第２入力手段の選択を示す信号に基づいて、前記第２入力手段からの転送データを、同一ラインの複数要素を並列に転送する転送方式へ変換する変換手段と、
前記第１入力手段からの転送データまたは前記第２入力手段からの前記変換手段により転送方式が変換された転送データを出力する出力手段と
を含み、前記第１入力手段および前記第２入力手段は、それぞれ、入力される領域情報に基づいて、タイミング制御信号を生成し、前記出力手段は、前段から入力されるタイミング制御信号に基づいて領域情報を生成し、前記タイミング制御信号は、フレーム有効信号を含み、
前記変換手段は、
前記第１入力手段の選択を示す信号から前記第２入力手段の選択を示す信号への切り替えを検知した場合に、前記第１入力手段からのフレーム有効信号の状態および前記第２入力手段からのフレーム有効信号の状態の両方または一方に基づいて、前記第２入力手段からの転送データの後段への伝達を制御する変換制御手段
を含む、情報処理装置。
【請求項２】
前記タイミング制御信号は、さらに、ライン同期信号およびライン有効信号を含み、
前記変換手段は、前記第２入力手段の選択を示す信号が入力された場合に、
前記第２入力手段からのライン同期信号、フレーム有効信号およびライン有効信号に基づいて、前記第２入力手段からの転送データの複数ライン各々の要素をラインバッファに格納する格納手段と、
前記第２入力手段からのライン同期信号の周期を計測し、計測された周期に基づいて、疑似ライン周期の疑似ライン同期信号を生成する信号生成手段と、
前記疑似ライン同期信号および該疑似ライン同期信号に同期したフレーム有効信号に基づいて、前記ラインバッファに格納された同一ラインの複数要素を読み出し、前記疑似ライン同期信号に同期したライン有効信号とともに前記第２入力手段からの転送データを後段へ転送する転送手段と
を含む、請求項１に記載の情報処理装置。
【請求項３】
同一ラインの複数要素が並列に転送された転送データの入力を受ける第１入力手段と、
複数ライン各々の要素が並列に転送された転送データの入力を受ける第２入力手段と、
前記第２入力手段の選択を示す信号に基づいて、前記第２入力手段からの転送データを、同一ラインの複数要素を並列に転送する転送方式へ変換する変換手段と、
前記第１入力手段からの転送データまたは前記第２入力手段からの前記変換手段により転送方式が変換された転送データを出力する出力手段と
を含み、前記第１入力手段および前記第２入力手段は、それぞれ、入力される領域情報に基づいて、タイミング制御信号を生成し、前記出力手段は、前段から入力されるタイミング制御信号に基づいて領域情報を生成し、前記タイミング制御信号は、ライン同期信号、フレーム有効信号およびライン有効信号を含み、
前記変換手段は、前記第２入力手段の選択を示す信号が入力された場合に、
前記第２入力手段からのライン同期信号、フレーム有効信号およびライン有効信号に基づいて、前記第２入力手段からの転送データの複数ライン各々の要素をラインバッファに格納する格納手段と、
前記第２入力手段からのライン同期信号の周期を計測し、計測された周期に基づいて、疑似ライン周期の疑似ライン同期信号を生成する信号生成手段と、
前記疑似ライン同期信号および該疑似ライン同期信号に同期したフレーム有効信号に基づいて、前記ラインバッファに格納された同一ラインの複数要素を読み出し、前記疑似ライン同期信号に同期したライン有効信号とともに前記第２入力手段からの転送データを後段へ転送する転送手段と
を含む、情報処理装置。
【請求項４】
前記第１入力手段の選択を示す信号に基づいて、前記第１入力手段から前記出力手段へのデータパスを選択し、前記第２入力手段の選択を示す信号に基づいて、前記第２入力手段から前記出力手段へのデータパスを選択する選択手段をさらに含む、請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記タイミング制御信号は、フレーム有効信号を含み、
前記選択手段は、
前記第１入力手段の選択を示す信号から前記第２入力手段の選択を示す信号への切り替えを検知した場合に、前記第１入力手段からのフレーム有効信号の状態および前記第２入力手段からのフレーム有効信号の状態の両方または一方に基づいて、前記第２入力手段からの転送データの後段への伝達を制御する選択制御手段
を含む、請求項４に記載の情報処理装置。
【請求項６】
同一ラインの複数要素が並列に転送された転送データの入力を受ける第１入力手段と、
複数ライン各々の要素が並列に転送された転送データの入力を受ける第２入力手段と、
前記第２入力手段の選択を示す信号に基づいて、前記第２入力手段からの転送データを、同一ラインの複数要素を並列に転送する転送方式へ変換する変換手段と、
前記第１入力手段からの転送データまたは前記第２入力手段からの前記変換手段により転送方式が変換された転送データを出力する出力手段と
を含み、前記第１入力手段および前記第２入力手段は、それぞれ、入力される領域情報に基づいて、タイミング制御信号を生成し、前記出力手段は、前段から入力されるタイミング制御信号に基づいて領域情報を生成し、
前記第１入力手段の選択を示す信号に基づいて、前記第１入力手段から前記出力手段へのデータパスを選択し、前記第２入力手段の選択を示す信号に基づいて、前記第２入力手段から前記出力手段へのデータパスを選択する選択手段をさらに含み、
前記タイミング制御信号は、フレーム有効信号を含み、
前記選択手段は、
前記第１入力手段の選択を示す信号から前記第２入力手段の選択を示す信号への切り替えを検知した場合に、前記第１入力手段からのフレーム有効信号の状態および前記第２入力手段からのフレーム有効信号の状態の両方または一方に基づいて、前記第２入力手段からの転送データの後段への伝達を制御する選択制御手段
を含む、情報処理装置。
【請求項７】
前記変換手段は、前記第２入力手段の選択を示す信号が入力された場合に転送方式を変換するか否かを設定する設定手段をさらに備える、請求項１〜６のいずれか１項に記載の情報処理装置。
【請求項８】
同一ラインの複数要素が並列に転送された転送データの入力を受ける第１入力手段と、
複数ライン各々の要素が並列に転送された転送データの入力を受ける第２入力手段と、
前記第２入力手段の選択を示す信号に基づいて、前記第２入力手段からの転送データを、同一ラインの複数要素を並列に転送する転送方式へ変換する変換手段と、
前記第１入力手段からの転送データまたは前記第２入力手段からの前記変換手段により転送方式が変換された転送データを出力する出力手段と
を含み、前記変換手段は、前記第２入力手段の選択を示す信号が入力された場合に転送方式を変換するか否かを設定する設定手段をさらに備える、情報処理装置。
【請求項９】
前記第１入力手段および前記第２入力手段は、それぞれ、入力される領域情報に基づいて、タイミング制御信号を生成し、前記出力手段は、前段から入力されるタイミング制御信号に基づいて領域情報を生成する、請求項８に記載の情報処理装置。
【請求項１０】
前記第１入力手段、前記第２入力手段および前記出力手段は、それぞれ、差動シリアルインタフェースを備え、前記信号生成手段は、入力されるフレーム有効信号がフレームの無効を示す期間には、前記疑似ライン周期の疑似ライン同期信号の生成を停止する、請求項２または３に記載の情報処理装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載された情報処理装置と、
前記情報処理装置の第１入力手段に接続される第１画像素子と、
前記情報処理装置の第２入力手段に接続される第２画像素子と、
前記情報処理装置の出力手段に接続され、前記第１画像素子および前記第２画像素子それぞれに対し同期信号を出力する演算装置と、
前記第１画像素子に画像を到達させる状態および前記第２画像素子に画像を到達させる状態を有するミラー機構と
を含み、前記要素は、画素であり、前記転送データは、画像データであり、前記第２入力手段の選択を示す信号は、前記ミラー機構が、前記第２画像素子に画像を到達させる状態にあることを示すステータス信号である、撮像システム。
【請求項１２】
第１入力手段、第２入力手段および出力手段を備える情報処理装置が実行するデータ転送方法であって、前記情報処理装置が、
前記第１入力手段の選択を示す信号に基づいて、
同一ラインの複数要素が並列に転送された転送データの入力を前記第１入力手段で受けるステップと、
前記第１入力手段からの転送データを前記出力手段から出力するステップと
を実行し、さらに、
前記第２入力手段の選択を示す信号に基づいて、
複数ライン各々の要素が並列に転送された転送データの入力を前記第２入力手段で受けるステップと、
前記第２入力手段からの転送データを、同一ラインの複数要素を並列に転送する転送方式へ変換するステップと、
前記変換するステップで前記転送方式が変換された前記第２入力手段からの転送データを前記出力手段から出力するステップと
を実行し、前記第１入力手段および前記第２入力手段は、それぞれ、入力される領域情報に基づいて、タイミング制御信号を生成し、前記出力手段は、前段から入力されるタイミング制御信号に基づいて領域情報を生成し、前記タイミング制御信号は、フレーム有効信号を含み、前記変換するステップでは、前記情報処理装置が、前記第１入力手段の選択を示す信号から前記第２入力手段の選択を示す信号への切り替えを検知した場合に、前記第１入力手段からのフレーム有効信号の状態および前記第２入力手段からのフレーム有効信号の状態の両方または一方に基づいて、前記第２入力手段からの転送データの後段への伝達を制御するステップを実行する、データ転送方法。
【請求項１３】
第１入力手段、第２入力手段および出力手段を備える情報処理装置が実行するデータ転送方法であって、前記情報処理装置が、
前記第１入力手段の選択を示す信号に基づいて、
同一ラインの複数要素が並列に転送された転送データの入力を前記第１入力手段で受けるステップと、
前記第１入力手段からの転送データを前記出力手段から出力するステップと
を実行し、さらに、
前記第２入力手段の選択を示す信号に基づいて、
複数ライン各々の要素が並列に転送された転送データの入力を前記第２入力手段で受けるステップと、
前記第２入力手段からの転送データを、同一ラインの複数要素を並列に転送する転送方式へ変換するステップと、
前記変換するステップで前記転送方式が変換された前記第２入力手段からの転送データを前記出力手段から出力するステップと
を実行し、前記第１入力手段および前記第２入力手段は、それぞれ、入力される領域情報に基づいて、タイミング制御信号を生成し、前記出力手段は、前段から入力されるタイミング制御信号に基づいて領域情報を生成し、前記タイミング制御信号は、ライン同期信号、フレーム有効信号およびライン有効信号を含み、前記変換するステップでは、前記情報処理装置が、
前記第２入力手段の選択を示す信号が入力された場合に、
前記第２入力手段からのライン同期信号、フレーム有効信号およびライン有効信号に基づいて、前記第２入力手段からの転送データの複数ライン各々の要素をラインバッファに格納するステップと、
前記第２入力手段からのライン同期信号の周期を計測し、計測された周期に基づいて、疑似ライン周期の疑似ライン同期信号を生成するステップと、
前記疑似ライン同期信号および該疑似ライン同期信号に同期したフレーム有効信号に基づいて、前記ラインバッファに格納された同一ラインの複数要素を読み出し、前記疑似ライン同期信号に同期したライン有効信号とともに前記第２入力手段からの転送データを後段へ転送するステップと
を実行する、データ転送方法。
【請求項１４】
第１入力手段、第２入力手段および出力手段を備える情報処理装置が実行するデータ転送方法であって、前記情報処理装置が、
前記第１入力手段の選択を示す信号に基づいて、
同一ラインの複数要素が並列に転送された転送データの入力を前記第１入力手段で受けるステップと、
前記第１入力手段からの転送データを前記出力手段から出力するステップと
を実行し、さらに、
前記第２入力手段の選択を示す信号に基づいて、
複数ライン各々の要素が並列に転送された転送データの入力を前記第２入力手段で受けるステップと、
前記第２入力手段からの転送データを、同一ラインの複数要素を並列に転送する転送方式へ変換するステップと、
前記変換するステップで前記転送方式が変換された前記第２入力手段からの転送データを前記出力手段から出力するステップと
を実行し、前記変換するステップでは、前記情報処理装置が、前記第２入力手段の選択を示す信号が入力された場合に転送方式を変換するか否かを設定するステップを実行する、データ転送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、撮像システムおよびデータ転送方法に関する。
【背景技術】
【０００２】
従来、電子写真方式の撮像システムにおいては、一般的に、ＣＭＯＳ（Complementary ＭＯＳ（Metal-Oxide-Semiconductor））センサなどの画像素子から、ＤＳＰ（Digital Signal Processor）などの演算処理装置に対し、ライン同期によりデータが転送される。エンコードなどの画像処理は、ＣＰＵ（Central Processing Unit）などによりソフトウェア処理として実行する場合もある。一方で、近年、演算処理装置へ転送する前に、ハードウェアにてエンコードなどの画像処理を実行する技術も知られている。
【０００３】
上記ハードウェアによる画像処理に関連して、特許第４８７７９９５号公報（特許文献１）が知られている。特許文献１は、演算処理装置のパフォーマンス低下を起こさずに画像処理を行うことを目的として、撮像素子からハードウェアにて画像処理を行うデバイスにデータを入力し、演算処理装置に画像データを転送するシステムが開示されている。
【０００４】
画像素子−演算処理装置間にハードウェアによる画像処理を実行する情報処理装置が設けられた従来のシステムでは、画像素子からライン周期単位でデータが出力された場合は、ライン周期単位で演算処理装置に出力される。そして、演算処理装置は、ライン周期単位で処理を実行する。一方で、複数ラインを同時に転送する画像素子も知られている。そのような、複数ライン同時に画像処理することにより、より複雑な画像処理を行うことが可能となる。しかしながら、複数ラインを同時に転送する画像素子を用いる場合、上述した従来のシステムでは、演算処理装置側においてライン周期単位で処理できなくなり、問題となる場合があった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、複数ライン各々の要素が並列に転送された転送データに対する複数ラインを用いた処理を可能としながら、信号に応じて、同一ラインの複数要素を並列に転送する転送方式にて出力することが可能な情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明では、上記課題を解決するために、下記特徴を有する情報処理装置を提供する。情報処理装置は、同一ラインの複数要素が並列に転送された転送データの入力を受ける第１入力手段と、複数ライン各々の要素が並列に転送された転送データの入力を受ける第２入力手段とを備える。情報処理装置は、さらに、第２入力手段の選択を示す信号に基づいて、上記第２入力手段からの転送データを、同一ラインの複数要素を並列に転送する転送方式へ変換する変換手段と、上記第１入力手段からの転送データまたは上記第２入力手段からの上記変換手段により転送方式が変換された転送データを出力する出力手段とを含む。
【発明の効果】
【０００７】
上記構成により、複数ライン各々の要素が並列に転送された転送データに対する複数ラインを用いた処理を可能としながら、信号に応じて、同一ラインの複数要素を並列に転送する転送方式にて出力することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態による撮像システムのハードウェアブロック図。
【図２】本実施形態において（Ａ）画像素子が生成する画像データのデータ構造を示す図、および、（Ｂ，Ｃ）撮像用画像素子およびＡＥ用画像素子それぞれから転送される画像データの転送方式を図式的に示す図。
【図３】本実施形態による撮像システムにおける画像転送方式変換部のハードウェアブロック図。
【図４】本実施形態による撮像システムにおける画像転送方式変換部の入出力を説明するタイミングチャート。
【図５】本実施形態による撮像システムにおけるセレクト部のハードウェアブロック図。
【図６】（Ａ）本実施形態におけるミラー動作とデータ転送について説明する図および（Ｂ）本実施形態による撮像システムの動作を説明する状態遷移図。
【図７】他の実施形態による撮像システムのハードウェアブロック図。
【発明を実施するための形態】
【０００９】
以下、本実施形態について説明するが、実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、情報処理装置および撮像システムとして、画像処理エンジン１０８、および、該画像処理エンジン１０８を含む撮像システム１００を一例として説明する。
【００１０】
図１は、本実施形態による画像処理エンジン１０８を含む撮像システム１００のハードウェアブロック図である。図１に示す撮像システム１００は、複数の画像素子１０２と、演算処理装置１０４と、ミラー機構１０６と、画像処理エンジン１０８とを含み構成される。画像処理エンジン１０８は、複数の画像素子１０２、演算処理装置１０４およびミラー機構１０６に接続される。
【００１１】
画像素子１０２は、演算処理装置１０４から入力されるフレーム同期信号およびライン同期信号１２０に基づいて、差動シリアルバス１２２を介してライン単位で画像データを転送する画像素子である。説明する実施形態において、画像素子１０２は、２つ設けられている。一例として、２つの画像素子１０２Ａ，１０２のうちの一方は、撮像用画像素子１０２Ａであり、他方は、ＡＥ（Automatic Exposure）用画像素子１０２Ｂである。差動シリアルバス１２２としては、一例として、ＬＶＤＳ（Low Voltage Differential Signaling）を挙げることができる。差動シリアルバス１２２は、それぞれ、２以上のレーンを有する。説明する実施形態において、レーン数は、２である。差動シリアルバス１２２を用いることにより、画像素子１０２から画像処理エンジン１０８へのデータ転送においてノイズ耐性を高めることが可能となる。
【００１２】
演算処理装置１０４は、ＤＳＰ（Digital Signal Processor）などの演算処理装置である。演算処理装置１０４は、複数の画像素子１０２それぞれに対し、フレーム同期信号およびライン同期信号１２０を出力する。演算処理装置１０４は、画像素子１０２から画像処理エンジン１０８を経て転送される画像データに対し、画像処理エンジン１０８の後段で行うべき処理を実行する。
【００１３】
ミラー機構１０６は、例えば一眼レフカメラなどにおいて採用されるミラー機構である。ミラー機構１０６は、レンズを通過した画像を、複数の画像素子１０２のうちのいずれかに到達させる複数の状態を有する。説明する実施形態では、ミラー機構１０６は、レンズを通過した画像を、撮像用画像素子１０２Ａ上に到達させる第１状態（ｏｐｅｎ）と、ＡＥ用画像素子１０２Ｂ上に到達させる第２状態（ｃｌｏｓｅ）とを有する。ミラー機構１０６は、その状態を伝達するステータス信号１３０を画像処理エンジン１０８に入力する。ステータス信号１３０は、一例では、撮像用画像素子１０２Ａ側の選択を示す第１状態（ｏｐｅｎ）、および、ＡＥ用画像素子１０２Ｂ側の選択を示す第２状態（ｃｌｏｓｅ）のいずれかを示す。
【００１４】
画像処理エンジン１０８は、ステータス信号１３０に基づいて、画像素子１０２から転送される画像データに対し、所定の画像処理を施し、差動シリアルバス１２８を介して演算処理装置１０４に対し画像データを転送する、情報処理装置である。差動シリアルバス１２８としては、一例として、ＬＶＤＳを挙げることができる。差動シリアルバス１２２は、２以上のレーンを有する。説明する実施形態において、差動シリアルバス１２８のレーン数は、２である。差動シリアルバス１２８を用いることにより、画像処理エンジン１０８から演算処理装置１０４へのデータ転送においてノイズ耐性を高めることが可能となる。
【００１５】
図１には、さらに、画像処理エンジン１０８の詳細なハードウェアブロック構成が示されている。図１に示す画像処理エンジン１０８は、複数の入力側のインタフェース制御部１１０と、複数の画像処理ブロック１１２と、セレクト部１１４と、画像転送方式変換部１１６と、出力側のインタフェース制御部１１８とを含み構成される。説明する実施形態において、インタフェース制御部１１０および画像処理ブロック１１２は、それぞれ、画像素子１０２の数に対応して２つずつ設けられている。
【００１６】
インタフェース制御部１１０Ａ，１１０Ｂは、それぞれ、ＬＶＤＳなどのインタフェース制御を実行する。インタフェース制御部１１０Ａ，１１０Ｂは、それぞれ、差動シリアルバス１２２Ａ，１２２Ｂから転送される画像領域情報から、ライン同期信号、フレーム有効信号およびライン有効信号を生成する。ここで、画像領域情報は、フレームおよびラインを画定する同期情報を含む。ライン同期信号は、ラインの始期を示す。フレーム有効信号は、フレームの始期を示す。ライン有効信号は、出力される画素データが有効であることを示す。ライン同期信号、フレーム有効信号およびライン有効信号の３つの信号は、本実施形態におけるタイミング制御信号を構成し、以下、制御信号１２６Ａ，１２６Ｂと総称する場合がある。
【００１７】
インタフェース制御部１１０Ａ，１１０Ｂは、同時に、差動シリアルバス１２２Ａ，１２２Ｂから転送される画像データを受け取り、画像処理エンジン１０８内で取扱い可能な画像データとして、データバス１２４Ａ，１２４Ｂに出力する。データバス１２４Ａ，１２４Ｂは、それぞれ、１画素ずつデータを転送するバスを２レーン分有するデータバスである。
【００１８】
ここで、画像処理エンジン１０８の入力側の画像素子１０２Ａ，１０２Ｂは、それぞれ、差動シリアルバス１２２Ａ，１２２Ｂを介して、対応するインタフェース制御部１１０Ａ，１１０Ｂに対し、所定の転送方式にて画像データを出力する。上述したように、差動シリアルバス１２２Ａ，１２２Ｂは、それぞれ、複数のレーンを有している。撮像用画像素子１０２Ａは、一例として、複数のレーンを用いて同一ラインの複数画素を並列に転送する複数画素同時転送方式を採用する。これに対して、ＡＥ用画像素子１０２Ｂは、一例として、複数のレーンを用いて複数ライン各々の画素を並列に転送する複数ライン同時転送方式を採用する。
【００１９】
説明する実施形態において、差動シリアルバス１２２のレーン数は２である。したがって、説明する実施形態においては、撮像用画像素子１０２Ａは、同一ラインの２画素を並列に転送する２画素同時転送方式を採用する。ＡＥ用画像素子１０２Ｂは、２ライン同時画像転送方式を採用する。しかしながら、これに限定されるものではなく、他の実施形態では、画像素子１０２は、差動シリアルバス１２２が有するレーン数に対応して、３以上の任意の画素または３以上の任意のラインの画素を並列に転送する転送方式を採用してもよい。
【００２０】
図２（Ａ）は、本実施形態において画像素子１０２が生成する画像データ２００のデータ構造を示す。図２（Ａ）に示すように、画像素子１０２は、Ｘ−Ｙのマトリクス状に画素が配置された構成を有する。画像素子１０２は、入力されるフレーム同期信号に応答して１ライン目の転送位置にカウンタをリセットし、ライン同期信号が入力される毎に、各ラインの１画素目から順次画素の転送を行う。レーン数が複数ある場合に、同一ライン上のレーン数分の画素が並列に転送される方式が、複数画素同時転送方式である。これに対して、レーン数分のラインを並列に転送する方式が、複数ライン同時転送方式である。
【００２１】
図２（Ｂ）は、撮像用画像素子１０２Ａから転送される画像データの転送方式を図式的に示す。これに対して、図２（Ｃ）は、ＡＥ用画像素子１０２Ｂから転送される画像データの転送方式を図式的に示す。図２（Ｂ）および図２（Ｂ）は、共に、レーン数が２の場合の転送を例示する。
【００２２】
上述したように、撮像用画像素子１０２Ａからの転送は、２画素同時転送方式である。この場合、演算処理装置１０４からのフレーム同期信号が入力された後、演算処理装置１０４からのライン同期信号に同期して、レーン１およびレーン２から、同一ライン上の連続した画素位置のデータが転送される。この結果、転送データは、同一ラインの画素が偶奇に応じたレーンから伝送されるデータ配列２１０のような形態で転送される。
【００２３】
これに対して、ＡＥ用画像素子１０２Ｂからの転送は、２ライン同時転送方式である。この場合、演算処理装置１０４からのフレーム同期信号が入力された後、演算処理装置１０４からのライン同期信号に同期して、レーン１およびレーン２から各ラインの１画素ずつのデータが転送される。この結果、転送データは、各ラインの画素が各レーンから伝送されるデータ配列２２０のような形態で転送される。
【００２４】
なお、図２（Ｂ）および図２（Ｂ）では、各レーンで画素が同時に転送されているものとして説明しているが、ここでいう、同時とは、必ずしも時間的に厳密な同時性を意味するものではない点に留意されたい。
【００２５】
上述したように、撮像用画像素子１０２Ａからは複数画素同時転送方式で画像データが転送されるので、インタフェース制御部１１０Ａは、本実施形態における、同一ラインの複数要素が並列に転送された転送データの入力を受ける第１入力手段を構成する。これに対し、ＡＥ用画像素子１０２Ｂからは複数ライン同時転送方式で画像データが転送されるので、インタフェース制御部１１０Ｂは、本実施形態における、複数ライン各々の要素が並列に転送された転送データの入力を受ける第２入力手段を構成する。
【００２６】
また、画像処理エンジン１０８の出力側の演算処理装置１０４は、典型的には、上述した複数画素同時転送方式にて画像データの入力を受ける能力を備える。そこで、本実施形態による画像処理エンジン１０８は、以下詳細を説明するように、ＡＥ用画像素子１０２Ｂからの複数ライン同時転送方式で出力された画像データを、撮像用画像素子１０２Ａと同様な複数画素同時転送方式に変換した上で、演算処理装置１０４に転送する。
【００２７】
再び図１を参照しながら、画像処理エンジン１０８の詳細な構成について説明を続ける。インタフェース制御部１１０Ａ，１１０Ｂで生成された画像データおよび制御信号は、それぞれ、画像処理ブロック１１２Ａ，１１２Ｂに転送される。画像処理ブロック１１２Ａ，１１２Ｂは、受領した画像データに対し、エンコード処理などの各種画像処理を施す。なお、インタフェース制御部１１０Ａ，１１０Ｂにより、画像領域情報から上述した制御信号が生成されているので、画像処理ブロック１１２Ａ，１１２Ｂにおいて画像領域を検知することが可能となる。ひいては、画像データに対し効率よく画像処理を行うことが可能となる。さらに、画像処理ブロック１１２Ｂには、ＡＥ用画像素子１０２Ｂからの複数ライン同時転送方式により転送された画像データが入力されるので、複数ライン同時に画像処理することにより、単一ラインのものよりも複雑な画像処理が可能となる。
【００２８】
セレクト部１１４は、撮像用画像素子１０２Ａからの画像データと制御信号およびＡＥ用画像素子１０２Ｂからの画像データと制御信号のうちのいずれかを選択し、後段の画像転送方式変換部１１６に出力する。説明する実施形態において、セレクト部１１４は、ミラー機構１０６からのステータス信号１３０に基づいて、撮像用画像素子１０２Ａ側の選択が示される場合に、撮像用画像素子１０２Ａ側のインタフェース制御部１１０Ａからインタフェース制御部１１８へのデータパスを選択する。同時に、セレクト部１１４は、ミラー機構１０６からのステータス信号１３０に基づいて、ＡＥ用画像素子１０２Ｂ側の選択が示される場合に、ＡＥ用画像素子１０２Ｂ側のインタフェース制御部１１０Ｂからインタフェース制御部１１８へのデータパスを選択する。セレクト部１１４は、本実施形態における選択手段を構成する。
【００２９】
画像転送方式変換部１１６は、ミラー機構１０６からのステータス信号１３０に基づいて、撮像用画像素子１０２Ａからの複数画素同時転送方式と、ＡＥ用画像素子１０２Ｂからの複数ライン同時転送方式とを選択する。説明する実施形態において、画像転送方式変換部１１６は、ステータス信号１３０によりＡＥ用画像素子１０２Ｂからの画像データが選択された場合（ステータス信号１３０が第２状態（ｃｌｏｓｅ）である場合）に、前段からの画像データおよび制御信号を、複数ライン同時転送方式から複数画素同時転送方式へ転送方式を変換し、画像データおよび制御信号を後段のインタフェース制御部１１８に出力する。画像転送方式変換部１１６は、本実施形態における変換手段を構成する。
【００３０】
このように、制御信号および画像データは、インタフェース制御部１１０Ａ，１１０Ｂからインタフェース制御部１１８へと転送される。インタフェース制御部１１８は、前段から入力される制御信号から画像領域情報を生成し、差動シリアルバス１２８を介して後段の演算処理装置１０４に対し、撮像用画像素子１０２Ａからの画像データを、または、画像転送方式変換部１１６により転送方式が変換された画像データを、複数画素同時転送方式で出力する。インタフェース制御部１１８は、本実施形態における出力手段を構成する。
【００３１】
以下、図３および図４を参照しながら、画像転送方式変換部１１６の詳細な構成について説明する。図３は、本実施形態による撮像システム１００における画像転送方式変換部１１６のより詳細なハードウェアブロックを示す。図３に示す画像転送方式変換部１１６は、画素位置変換部１３２と、ラインバッファ制御部１３４と、ラインバッファ１３６と、ライン同期信号制御部１３８と、レジスタ制御部１４０と、画像転送方式選択部１４２とを含み構成される。
【００３２】
画像転送方式変換部１１６には、前段のセレクト部１１４から、ライン同期信号１５０、フレーム有効信号１５２およびライン有効信号１５４を含む制御信号が入力される。画像転送方式変換部１１６には、さらに、前段のセレクト部１１４から、データバス１５６，１５８を介して画像データの転送を受ける。データバス１５６，１５８は、それぞれ、１画素のビット数分のバス幅を有する。なお、説明する実施形態において、前段のセレクト部１１４から入力される画像データおよび制御信号は、セレクト部１１４により選択された方の画像素子１０２からのものとなる。
【００３３】
レジスタ制御部１４０は、各種設定の制御レジスタ設定値を保持する。制御レジスタ設定値には、転送方式変換に関する設定値、１ラインあたりの画素転送数などが保持される。転送方式変換の設定値は、ステータス信号１３０に応じて転送方式を変換の有無を切り替えるか、ステータス信号１３０にかかわらず転送方式を固定するかを示す。レジスタ制御部１４０は、転送方式変換の設定値に基づいて、画像転送方式選択部１４２に対し、セレクト信号を出力する。１ラインあたりの画素転送数などの情報は、画像転送方式選択部１４２を経て、ラインバッファ制御部１３４へ通知される。なお、レジスタ制御部１４０へのレジスタ設定は、例えば、ＣＰＵや演算処理装置１０４から行うことができる。レジスタ制御部１４０は、本実施形態における設定手段を構成する。
【００３４】
画像転送方式選択部１４２は、レジスタ制御部１４０からのセレクト信号およびミラー機構１０６からのステータス信号１３０に基づいて、画像転送方式を選択する選択制御信号を生成し、画素位置変換部１３２、ラインバッファ制御部１３４およびライン同期信号制御部１３８に出力する。
【００３５】
画像転送方式選択部１４２は、まず、レジスタ制御部１４０からのセレクト信号により、ステータス信号１３０に応じて自動で選択するか、または、制御レジスタ設定値に基づいて選択を行うかを決定する。
【００３６】
例えば、２ビットのセレクト信号において、”００”が転送停止、“０１”が自動制御、“１０”が２画素同時転送方式、“１１”が２ライン同時転送方式を表すというような定義を用いることができる。この場合、画像転送方式選択部１４２は、セレクト信号が自動制御（“０１”）を示す場合、さらに、入力されるステータス信号１３０に応じて、転送方式の変換を有効とするか無効とするかの選択制御信号を生成する。一方で、セレクト信号が２画素同時転送方式（“１０”）を示す場合、画像転送方式選択部１４２は、入力されるステータス信号１３０にかかわらず、転送方式の変換の無効を示す選択制御信号を生成する。これに対し、セレクト信号が２ライン同時転送方式（“１１”）を示す場合、画像転送方式選択部１４２は、入力されるステータス信号１３０にかかわらず、転送方式の変換の有効を示す選択制御信号を生成する。セレクト信号が転送停止（“００”）を示す場合は、転送の停止を指示する制御信号が生成される。このように、自動制御の機能を有効または無効とすることが可能に構成することにより、より汎用性の高いシステムを構築することが可能となる。
【００３７】
画素位置変換部１３２、ラインバッファ制御部１３４およびライン同期信号制御部１３８は、画像転送方式選択部１４２からの制御信号により、転送停止および転送開始の制御を行う。
【００３８】
画素位置変換部１３２は、画像転送方式選択部１４２からの制御信号に応じて、セレクト部１１４から転送されてくる画像データを、ライン同期信号１５０、フレーム有効信号１５２およびライン有効信号１５４に従い、ラインバッファ１３６に格納する。
【００３９】
自動制御が行われる場合、撮像用画像素子１０２Ａ側の選択を示すステータス信号１３０（ｏｐｅｎ）が入力されている間は、画素位置変換部１３２には、転送方式の変換が無効であることを示す選択制御信号が入力される。転送方式の変換が無効である場合、２画素同時転送方式となるので、画素位置変換部１３２は、２画素ずつラインバッファに書き込み要求を行う。これに対して、ＡＥ用画像素子１０２Ｂ側の選択を示すステータス信号１３０（ｃｌｏｓｅ）が入力されている間は、画素位置変換部１３２には、転送方式の変換が有効であることを示す選択制御信号が入力される。転送方式の変換が有効である場合、複数ライン同時転送方式となるので、画素位置変換部１３２は、画像データの複数ライン各々の画素を、各ラインバッファに対し１画素ずつ書き込み要求を行う。画素位置変換部１３２は、本実施形態における格納手段を構成する。
【００４０】
ラインバッファ１３６は、複数ラインを格納するラインバッファである。ラインバッファ１３６は、画素位置変換部１３２からの書き込み要求およびラインバッファ制御部１３４からの読み込み要求を同時に処理することができるよう構成されている。ラインバッファ１３６は、同一ラインの画素が連続した状態で画像データを保存する。２ライン同時転送方式を備えるシステムにおいては、２ラインを１組として２組のトグルにて書き込み、読み込みが切り替わる仕組みとなる。
【００４１】
ライン同期信号制御部１３８は、前段から転送されるライン同期信号１５０と、フレーム有効信号１５２と、画像転送方式選択部１４２から入力される選択制御信号とに基づいて、後段へ出力するライン同期信号１６０およびフレーム有効信号１６２を生成する。
【００４２】
特に自動制御が行われる場合、ＡＥ用画像素子１０２Ｂ側の選択を示すステータス信号１３０（ｃｌｏｓｅ）が入力されている間は、ライン同期信号制御部１３８には、転送方式の変換が有効であることを示す選択制御信号が入力される。転送方式の変換が有効である場合、ライン同期信号制御部１３８は、ＡＥ用画像素子１０２Ｂ側からのライン同期信号の周期を計測し、計測された周期に基づいて、疑似ライン周期の疑似ライン同期信号１６０および該疑似ライン同期信号１６０に同期したフレーム有効信号’１６２を生成する。疑似ライン周期は、計測された周期のレーン数分の１の周期とすることができる。説明する実施形態では、レーン数は、２であるので、測定された周期の１／２の周期の疑似ライン同期信号１６０が生成される。
【００４３】
疑似ライン同期信号を生成することにより、複数ライン同時転送方式の入力においても、複数画素転送方式の出力への切り替えが可能となり、ライン単位で演算処理装置１０４への転送が可能となる。
【００４４】
一方、転送方式の変換が無効である場合、ライン同期信号制御部１３８は、撮像用画像素子１０２Ａ側からのライン同期信号のタイミングで、そのままの周期で疑似ライン同期信号１６０およびフレーム有効信号’１６２を生成する。ライン同期信号制御部１３８は、本実施形態における信号生成手段を構成する。
【００４５】
ラインバッファ制御部１３４は、ライン同期信号制御部１３８からの疑似ライン同期信号１６０およびフレーム有効信号’１６２に従い、ラインバッファ１３６に格納された同一ラインの複数画素を読み出す。そして、ラインバッファ制御部１３４は、ライン同期信号’１６０に同期したライン有効信号’１６４とともに、データバス１６６，１６８を介して、後段へ画像データを転送する。転送方式の変換の有効および無効を示すいずれの選択制御信号が入力される場合でも、ラインバッファ制御部１３４は、ラインバッファ１３６に格納された同一ラインの複数画素を読み出し、前段からの画像データを２画素同時転送方式にて後段へ転送する。ラインバッファ制御部１３４は、本実施形態における転送手段を構成する。
【００４６】
画像転送方式変換部１１６からは、画像転送方式選択部１４２からの選択制御信号により制御された疑似ライン同期信号１６０、フレーム有効信号１６２’およびライン有効信号’１６４が後段のインタフェース制御部１１８へ出力される。さらに、画像転送方式変換部１１６からは、データバス１６６，１６８を介して、後段のインタフェース制御部１１８へ画像データが転送される。データバス１６６，１６８は、それぞれ、疑似ライン同期信号に同期して複数画素を同時に出力する。データバス１６６，１６８は、１画素のビット数分のバス幅を有する。擬似ライン同期信号１６０は、差動シリアルバス１２８への転送トリガとなり、各有効信号１６２，１６４は、データの転送量を把握することを可能とし、効率よくデータ転送を行うことを可能とする。
【００４７】
好ましい実施形態において、画像転送方式変換部１１６は、ステータス信号１３０の切り替えを検知した場合に、撮像用画像素子１０２Ａ側からのおよびＡＥ用画像素子１０２Ｂ側からのフレーム有効信号の両方または一方の状態に基づいて画像データの後段への伝達を制御することができる。
【００４８】
この好ましい実施形態では、より具体的には、画像転送方式選択部１４２は、フレーム有効信号’１６２の状態により、各ブロック１３２，１３４，１３８への選択制御信号を決定することができる。一例としては、画像転送方式選択部１４２は、フレーム転送途中でステータス信号１３０の状態の切り替えが行われた場合、フレーム有効信号’１６２がネゲートするまで、選択制御信号の切り替えを遅延させることができる。フレーム有効信号’１６２のネゲート時は、フレーム転送の終了を意味し、上記構成により転送途中のフレームデータを補償することができる。つまり、転送中のフレームを転送終了してからデータパスを切り替えることにより、異常な画像データの生成を防止することができる。
【００４９】
さらに、ライン同期信号制御部１３８は、切り替えた先の転送がフレームの転送途中だった場合、次のフレーム有効信号１６２のアサートが検知されるまで、転送を停止させることができる。撮像用画像素子１０２Ａでは、１枚のフレームで１回の転送だけが行われるが、ＡＥ用画像素子１０２Ｂからは、常に転送が入力され続けている可能性があるためである。画像転送方式選択部１４２およびライン同期信号制御部１３８の一方または両方は、好適な実施形態における変換制御手段を構成する。
【００５０】
図４は、本実施形態による撮像システム１００における画像転送方式変換部１１６の入出力を説明するタイミングチャートである。以下、図４（Ａ）〜図４（Ｃ）を参照して、ＡＥ用画像素子１０２Ｂからの２ライン同時転送方式の画像データを転送する際の動作について説明する。図４（Ａ）は、画像転送方式変換部１１６の入力側の信号のタイミングチャートを示す。図４（Ｂ）および図４（Ｃ）は、画像転送方式変換部１１６の出力側の信号のタイミングチャートを示す。図４（Ｂ）は、画像領域の開始時の動作を示す。図４（Ｃ）は、画像領域の終了時の動作を示す。なお、図４中のＶブランク期間とは、画像領域ではない領域である非画像領域の期間をいう。
【００５１】
自動制御の場合は、ＡＥ用画像素子１０２Ｂ側の選択を示すステータス信号１３０（ｃｌｏｓｅ）に切り替えられたことに応答して、２ライン同時転送方式で転送され、インタフェース制御部１１０Ｂで受けた画像データおよび制御信号が、画像転送方式変換部１１６に入力される。
【００５２】
画像転送方式選択部１４２は、ＡＥ用画像素子１０２Ｂ側の選択を示すステータス信号１３０（ｃｌｏｓｅ）が入力されると、転送方式の変換が有効であることを示す選択制御信号をライン同期信号制御部１３８、画素位置変換部１３２およびラインバッファ制御部１３４に出力する。
【００５３】
まず、ライン同期信号制御部１３８の動作について、図４を参照しながら説明する。ライン同期信号制御部１３８は、転送方式の変換が有効である場合、フレーム有効信号１５２がアサートされたタイミングから、ライン同期信号１５０のアサート周期の計測を開始する。
【００５４】
画像領域の開始時においては、図４（Ｂ）に示すように、疑似ライン同期信号１６０は、フレーム有効信号１５２がネゲート時には、ライン同期信号１５０のアサートタイミングでアサートされる。一方、フレーム有効信号１５２がアサート時には、疑似ライン同期信号１６０は、計測された周期の１／２の周期の疑似ライン周期タイミングにて信号がアサートされる。ライン同期信号１５０がアサートされる毎に疑似ライン周期発行カウンタがリセットされ、疑似ライン周期は、２ラインごとに同期をとることが可能となる。
【００５５】
画像領域の終了時においては、図４（Ｃ）に示すように、疑似ライン同期信号１６０は、フレーム有効信号１５２がネゲートされると、疑似ライン周期タイミングでのアサートを停止し、ライン同期信号１５０のアサートタイミングでのみアサートされる。このように、画像領域の終了後に、疑似ライン周期の疑似ライン同期信号の生成を停止し、疑似ライン同期信号１６０のアサート周期を元の周期に戻すことにより、後段のインタフェース制御部１１８が、無駄にライン同期パケットを発行することを抑制することが可能となる。ひいては、消費電力を低減させることが可能となる。
【００５６】
続いて、画素位置変換部１３２およびラインバッファ制御部１３４の動作について、図４を参照しながら説明する。画素位置変換部１３２は、転送方式の変換が有効であることを示す選択制御信号が入力されると、バス１６６，１６８毎にラインバッファにそれぞれ書き込み要求を行う。一方、ラインバッファ制御部１３４は、ライン単位で２画素ずつ読み込み要求を行い、バス１６６，１６８に２画素同時転送方式にて画像データを転送する。上述したように、レジスタ制御部１４０には、１ラインあたりの画素数を設定する制御レジスタ設定値が保持され、画像転送方式選択部１４２を介して、ラインバッファ制御部１３４に通知される。ラインバッファ制御部１３４は、この情報に基づいて、その画素数分の読み込み要求を行うと、次の疑似ライン同期信号がアサートされるまで読み込みを停止する。
【００５７】
このようにして、ＡＥ用画像素子１０２側からの画像データを、同一ラインの複数要素を並列に転送する転送方式へ変換し、変換された転送データをインタフェース制御部１１８から出力させることができる。
【００５８】
以下、撮像用画像素子１０２Ａからの２画素同時転送方式の画像データを転送する際の動作について説明する。自動制御の場合は、撮像用画像素子１０２Ａ側の選択を示すステータス信号１３０（ｏｐｅｎ）が入力されたことに基づいて、インタフェース制御部１１０Ａに入力された２画素同時転送方式の画像データおよび制御信号が、画像転送方式変換部１１６に入力される。
【００５９】
画像転送方式選択部１４２は、撮像用画像素子１０２Ａ側の選択を示すステータス信号１３０（ｏｐｅｎ）が入力されると、転送方式の変換が無効であることを示す選択制御信号をライン同期信号制御部１３８、画素位置変換部１３２およびラインバッファ制御部１３４に出力する。ライン同期信号制御部１３８は、転送方式の変換が無効である場合、ライン同期信号１５０のアサート周期の計測、疑似ライン周期タイミングでのライン動同期信号のアサートを行わず、ライン同期信号１５０のアサートタイミングにて疑似ライン同期信号１６０をアサートする。
【００６０】
画素位置変換部１３２は、２画素同時転送方式にて２画素ずつラインバッファに書き込み要求を行う。この際、ラインバッファ１３６の４ライン分のラインバッファは、２ライン分のラインバッファとして機能する。そして、１ラインずつのトグル動作を行うように書き込み要求が行われる。
【００６１】
ラインバッファ制御部１３４は、転送方式の変換が無効である場合でも、ライン単位で２画素ずつ読み込み要求を行う。４ライン分のラインバッファが２ライン分のラインバッファとして機能しているので、読み込み要求は、トグル動作となるように読み込み要求が行われる。
【００６２】
以下、図５を参照しながら、さらに、セレクト部１１４の詳細な構成について説明する。図５は、本実施形態による撮像システム１００におけるセレクト部１１４のより詳細なハードウェアブロックを示す。図５に示すセレクト部１１４は、レジスタ制御部１７０と、データパス選択部１７２と、セレクタ１７４とを含み構成される。
【００６３】
レジスタ制御部１７０は、各種設定の制御レジスタ設定値を保持する。制御レジスタ設定値には、データパスの選択に関する設定値が保持される。データパス選択の設定値は、ステータス信号１３０に応じてデータパスを切り替えるか、ステータス信号１３０にかかわらずデータパスを固定するかを示す。レジスタ制御部１７０は、データパス選択の設定値に基づいて、データパス選択部１７２に対し、セレクト信号を出力する。レジスタ制御部１７０へのレジスタ設定は、例えば、ＣＰＵや演算処理装置１０４から行うことができる。
【００６４】
データパス選択部１７２は、レジスタ制御部１７０からのセレクト信号およびミラー機構１０６からのステータス信号１３０に基づいて、データパスを選択する選択制御信号を生成し、セレクタ１７４に出力する。
【００６５】
データパス選択部１７２は、まず、レジスタ制御部１７０からのセレクト信号により、ステータス信号１３０に応じて自動で選択するか、または、レジスタ設定値に基づいて選択を行うかを決定する。
【００６６】
画像転送方式変換部１１６と同様に、例えば、２ビットのセレクト信号において、”００”が転送停止、“０１”が自動制御、“１０”が２画素同時転送方式（撮像用パス）、“１１”が２ライン同時転送方式（ＡＥ用パス）を表すというような定義を用いることができる。この場合、データパス選択部１７２は、セレクト信号が自動制御（“０１”）を示す場合、さらに、入力されるステータス信号１３０に応じて、撮像用パスを選択するかＡＥ用パスを選択するかの選択制御信号を生成する。一方で、セレクト信号が撮像用パス（“１０”）を示す場合、データパス選択部１７２は、入力されるステータス信号１３０にかかわらず、撮像用パスを示す選択制御信号を生成する。これに対し、セレクト信号がＡＥ用パス（“１１”）を示す場合、データパス選択部１７２は、入力されるステータス信号１３０にかかわらず、ＡＥ用パスを示す選択制御信号を生成する。セレクト信号が転送停止（“００”）を示す場合は、転送の停止を指示する制御信号が生成される。
【００６７】
セレクタ１７４は、データパス選択部１７２からの制御信号に基づき、データパスを切り替えて、転送停止、転送開始の制御を行う。セレクタ１７４は、撮像用パスを示す信号に基づいて、インタフェース制御部１１０Ａからインタフェース制御部１１８へのデータパスを選択する。セレクタ１７４は、ＡＥ用パスを示す信号に基づいて、インタフェース制御部１１０Ｂからインタフェース制御部１１８へのデータパスを選択する。
【００６８】
好ましい実施形態において、セレクト部１１４は、ステータス信号１３０の切り替えを検知した場合に、撮像用画像素子１０２Ａ側からのおよびＡＥ用画像素子１０２Ｂ側からのフレーム有効信号１２６−２Ａ，１２６−２Ｂの両方または一方の状態に基づいて、選択した画像パスの画像データの後段への伝達を制御することができる。
【００６９】
この好ましい実施形態では、より具体的には、データパス選択部１７２は、現在選択されている側のフレーム有効信号（１２６−２Ａまたは１２６−２Ｂ）の状態、および、切り替える先のフレーム有効信号（１２６−２Ｂまたは１２６−２Ａ）の状態の一方または両方により、セレクタ１７４への選択制御信号を決定することができる。一例としては、データパス選択部１７２は、フレーム転送途中でステータス信号１３０の状態の切り替えが行われた場合、現在選択されている側のフレーム有効信号１２６−２がネゲートするまで、選択制御信号の切り替えを遅延させることができる。フレーム有効信号１２６−２のネゲートは、フレーム転送の終了を意味し、上記構成によりフレームデータを補償することができる。
【００７０】
さらに、データパス選択部１７２は、切り替えた先の転送がフレームの転送途中だった場合、切り替える先のフレーム有効信号１２６−２の次のアサートが検知されるまで、転送を停止させることができる。データパス選択部１７２は、好適な実施形態における選択制御手段を構成する。
【００７１】
以下、図６を参照しながら、制御レジスタ設定値およびミラー機構１０６からのステータス信号１３０に応じて切り替えられる動作について説明する。図６（Ａ）は、本実施形態におけるミラー動作とデータ転送について説明する。
【００７２】
図６（Ａ）に示すように、ミラー動作は、ＨＩＧＨが第１状態（ｏｐｅｎ）を示し、この状態では、レンズからの画像が撮像用画像素子１０２Ａに到達する。一方、ＬＯＷが第２状態（Ｃｌｏｓｅ）を示し、この状態では、レンズからの画像がＡＥ用画像素子１０２Ｂに到達する。撮像動作および自動露出動作において、網掛け部分は、露光の期間を表す。これに対し、空白の部分は、データ転送の期間を表す。撮像動作では、１つの露光およびデータ転送が行われる。自動露出動作では、複数の動作が繰り返され、１つ１つの動作は、撮像動作と同様に露光およびデータ転送を含む。
【００７３】
ミラー機構１０６が、ミラーが閉じたことを検知し、撮像動作のデータ転送が終了した場合、自動露出動作のデータ転送が開始される。一方、ミラー機構１０６が、ミラーが開いたことを検知し、自動露出動作のデータ転送が終了している場合、撮像動作のデータ転送が開始される。
【００７４】
図６（Ｂ）は、本実施形態による撮像システム１００の動作を説明する状態遷移図である。図６（Ｂ）に示す状態Ｓ０は、電源ＯＦＦでリセット状態を示す。状態Ｓ１は、アイドル状態であり、リセット解除後のデフォルトの状態である。このとき、制御レジスタは、’Ｂ００の値となり、転送停止状態となる。
【００７５】
状態Ｓ２は、ＡＥ用画像素子１０２Ｂにレンズからの画像が到達する状態である。状態Ｓ２では、自動露出動作によるデータが転送される。状態Ｓ３は、撮像用画像素子にレンズからの画像が到達する状態である。状態Ｓ３では、撮像動作によるデータが転送される。
【００７６】
状態Ｓ１から状態Ｓ２への遷移は、制御レジスタが、’ｂ０１（つまり自動制御）、’ｂ１０（つまり、２画素同時転送方式（撮像用パス））となった場合に行われる。また、自動制御時には、ＡＥ用画像素子１０２Ｂ側からのフレーム有効信号がアサートされると（撮像用フレーム有効信号＝ＯＮ）、状態Ｓ２に再度移行される。さらに、ＡＥ用画像素子１０２Ｂ側からのフレーム有効信号がネゲート（撮像用フレーム有効信号＝ＯＦＦ）となり、かつ、ステータス信号１３０が第１状態（ミラー＝ｏｐｅｎ）に切り替わったことにより、状態Ｓ３へ遷移する。
【００７７】
状態Ｓ１から状態Ｓ３への遷移は、制御レジスタが、’ｂ１１（つまり、２ライン同時転送方式（ＡＥ用パス））となった場合に行われる。自動制御時には、撮像用画像素子１０２Ａ側からのフレーム有効信号がアサートされる（ＡＥ用フレーム有効信号＝ＯＮ）と、状態Ｓ３に再度移行する。また、撮像用画像素子１０２Ａ側からのフレーム有効信号がネゲートされ（ＡＥ用フレーム有効信号＝ＯＦＦ）、かつ、ステータス信号１３０が第２状態（ミラー＝ｃｌｏｓｅ）に切り替わったことにより、状態Ｓ２へ移行する。
【００７８】
なお、制御レジスタが自動制御モード（’ｂ０１）以外の場合は、状態Ｓ２と状態Ｓ３との間の自動移行は、行われない。
【００７９】
以上説明した実施形態では、画像転送方式変換部１１６は、セレクト部１１４の後段に設けられるものとして説明した。しかしながら、画像転送方式変換部１１６の設ける箇所は、上述した実施形態に限定されるものではない。例えば、以下に図７を参照して説明するように、セレクタ部の前段に画像転送方式変換部が設けられてもよい。図７は、他の実施形態による撮像システム３００のハードウェアブロック図を示す。なお、図７に示す画像処理エンジン３０８は、図１〜図６を参照して説明した実施形態と同様な構成を備えるので、以下、相違点を中心に説明する。また、図７において、図１に示した実施形態と同様な機能を有するブロックに対しては、３００番台の下２ケタが同一の符番を付して説明するものとする。
【００８０】
図７に示す撮像システム３００は、複数の画像素子３０２と、演算処理装置３０４と、ミラー機構３０６と、画像処理エンジン３０８とを含み構成される。図７には、さらに、画像処理エンジン３０８の詳細なハードウェアブロック構成が示されている。図７に示す画像処理エンジン３０８は、複数の入力側のインタフェース制御部３１０と、複数の画像処理ブロック３１２と、画像転送方式変換部３１６と、セレクト部３１４と、出力側のインタフェース制御部３１８とを含み構成される。説明する実施形態において、インタフェース制御部３１０および画像処理ブロック３１２は、それぞれ、画像素子３０２の数に対応して２つずつ設けられている。
【００８１】
インタフェース制御部３１０Ａ，３１０Ｂで生成された画像データおよび制御信号は、それぞれ、画像処理ブロック３１２Ａ，３１２Ｂに転送される。画像処理ブロック３１２Ａ，３１２Ｂは、受領した画像データに対し、エンコード処理などの各種画像処理を施す。撮像用の画像処理ブロック３１２Ａは、画像データおよび制御信号をセレクト部３１４に直接出力する。一方、ＡＥ用の画像処理ブロック３１２Ｂは、画像転送方式変換部３１６を経由して、セレクト部３１４に画像データおよび制御信号を出力する。
【００８２】
画像転送方式変換部３１６は、ミラー機構３０６からのステータス信号３３０に基づいて、ＡＥ用画像素子３０２Ｂからの複数ライン同時転送方式を選択する。説明する実施形態において、画像転送方式変換部３１６は、ステータス信号３３０によりＡＥ用画像素子１０２Ｂ側が選択された場合（ステータス信号３３０が第２状態（ｃｌｏｓｅ）である場合）に、転送方式の変換を有効とする選択制御信号を生成する。そして、画像転送方式変換部３１６は、ＡＥ用画像素子３０２Ｂ側からの画像データおよび制御信号を、複数ライン同時転送方式から複数画素同時転送方式へ転送方式を変換し、変換された画像データおよび制御信号を後段のセレクト部３１４に出力する。
【００８３】
セレクト部３１４は、撮像用画像素子３０２Ａからの画像データと制御信号およびＡＥ用画像素子３０２Ｂから画像転送方式変換部３１６を経た画像データと制御信号のうちのいずれかを選択し、後段のインタフェース制御部３１８に出力する。説明する実施形態において、セレクト部３１４は、ミラー機構３０６からのステータス信号３３０に基づいて、撮像用画像素子３０２Ａ側の選択が示される場合に、撮像用画像素子３０２Ａ側のインタフェース制御部３１０Ａからインタフェース制御部３１８へのデータパスを選択する。同時に、セレクト部３１４は、ミラー機構３０６からのステータス信号３３０に基づいて、ＡＥ用画像素子１０２Ｂ側の選択が示される場合に、ＡＥ用画像素子３０２Ｂ側のインタフェース制御部３１０Ｂからインタフェース制御部３１８へのデータパスを選択する。
【００８４】
このように、制御信号および画像データは、インタフェース制御部３１０Ａ，３１０Ｂからインタフェース制御部３１８へと転送される。インタフェース制御部３１８は、前段から入力される制御信号から画像領域情報を生成し、差動シリアルバスを介して後段の演算処理装置３０４に対し、撮像用画像素子３０２Ａからの画像データを、または、画像転送方式変換部３１６により転送方式が変換された画像データを、複数画素同時転送方式で出力する。
【００８５】
図７に示すように、セレクト部３１４の前段に画像転送方式変換部３１６を配置することも可能である。
【００８６】
以上説明したように、上述までの実施形態によれば、複数ライン各々の要素が並列に転送された転送データに対する複数ラインを用いた処理を可能としながら、信号に応じて、同一ラインの複数要素を並列に転送する転送方式にて出力することが可能な情報処理装置、撮像システムおよびデータ転送方法を提供することができる。
【００８７】
上記構成によれば、特にＤＳＰなどの演算処理装置１０４を介さずに、外部のステータス信号１３０により自動で転送方式の変換の有効または無効の切り替えを行うので、より高速に画像データを取得することが可能となる。
【００８８】
なお、上述した実施形態では、要素は、画素であり、転送データは、画像データであり、選択を示す信号は、ミラー機構が、いずれの画像素子に画像を到達させる状態にあるかを示すステータス信号を用いるものとして説明した。しかしながら、上述した実施形態に限定されるものではなく、他の実施形態では、ミラー機構以外の他の部品の状態を表すステータス信号や他の信号に基づいて、転送方式を変換するか否かを制御してもよい。さらに他の実施形態では、画素および画像データに代えて、他の情報要素および他のデータを対象としてもよい。
【００８９】
さらに、上述した実施形態では、画像処理エンジン１０８，３０８を情報処理装置の一例として説明した。しかしながら、他の実施形態では、情報処理装置は、画像処理エンジン１０８，３０８を備える一眼レフカメラやデジタル一眼カメラなどの静止画像撮像装置、ビデオカメラやハンディカムなどの動画像撮像装置、複写機や複合機などの画像形成装置、スキャナなどの画像読取装置、ファクシミリなどの画像転送装置、スマートフォンやタブレットコンピュータなどの携帯情報端末、パーソナルコンピュータなどの汎用情報処理装置など如何なる装置であってもよい。
【００９０】
なお、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（VHSIC（Very High Speed Integrated Circuits） Hardware Description Language）、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体により配布することができる。
【００９１】
これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００９２】
１００，３００…撮像システム、１０２Ａ，３０２Ａ…撮像用画像素子、１０２Ｂ，３０２Ｂ…ＡＥ用画像素子、１０４，３０４…演算処理装置、１０６，３０６…ミラー機構、１０８，３０８…画像処理エンジン、１１０，１１８，３１０，３１８…インタフェース制御部、１１２，３１２…画像処理ブロック、１１４，３１４…セレクト部、１１６，３１６…画像転送方式変換部、１２２，１２８…差動シリアルバス、１２４，１５６，１５８，１６６，１６８…データバス、１３０，３３０…ステータス信号、１３２…画素位置変換部、１３４…ラインバッファ制御部、１３６…ラインバッファ、１３８…ライン同期信号制御部、１４０，１７０…レジスタ制御部、１４２…画像転送方式選択部、１６６，１６８…バス、１７２…データパス選択部、１７４…セレクタ、２００…画像データ、２１０，２２０…データ配列
【先行技術文献】
【特許文献】
【００９３】
【特許文献１】特許第４８７７９９５号公報
【図１】
0006743427.tif 000002
【図２】
0006743427.tif 000003
【図３】
0006743427.tif 000004
【図４】
0006743427.tif 000005
【図５】
0006743427.tif 000006
【図６】
0006743427.tif 000007
【図７】
0006743427.tif 000008