(57)【要約】【課題】画像データおよびそれ以外のデータをより効率的に出力可能な信号処理装置を提供する。【解決手段】撮像素子１２から入力した画像データを処理し出力用センサＩ／Ｆ４６から出力する。撮像素子１２から入力されるデータのうち像面位相差ＡＦに係るデータなど画像データ以外の付加データをデータ処理部４８で処理して処理結果をバッファ５０に保持する。出力用センサＩ／Ｆ４６からの画像データの出力が完了するとセレクタ４４を切り替えて、バッファ５０処理結果を出力済みの画像データの最後に添付して出力用センサＩ／Ｆ４６から出力する。【選択図】図２
2018006979.tif 000002
【特許請求の範囲】
【請求項１】
画像データを出力する画像データ出力用インターフェースと、
前記画像データに関連する画像データ以外の付加データを処理するデータ処理部と、
前記データ処理部による処理結果を前記画像データ出力用インターフェースを通して出力する付加データ出力手段とを備え、
前記付加データ出力手段は、前記付加データを前記画像データの一部として出力する
ことを特徴とする信号処理装置。
【請求項２】
前記付加データ出力手段は、画像データ領域の垂直サイズを拡大して、拡大した画像データ領域と元の画像データの差分のサイズ内で前記付加データを出力することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記付加データ出力手段は、画像データ領域の水平サイズを拡大して、拡大した画像データ領域と元の画像データの差分のサイズ内で前記付加データを出力することを特徴とする請求項１に記載の信号処理装置。
【請求項４】
前記付加データ出力手段は、画像データ領域の水平及び垂直サイズを拡大して、拡大した画像データ領域と元の画像データの差分のサイズ内で前記付加データを出力することを特徴とする請求項１に記載の信号処理装置。
【請求項５】
前記差分のサイズが前記付加データのサイズよりも大きいとき、前記拡大した画像データと前記付加データのサイズの差分のデータに、ダミーデータを付加して出力することを特徴とする請求項２〜４の何れか一項に記載の信号処理装置。
【請求項６】
前記付加データを出力する付加データ出力用インターフェースと、
前記付加データの処理結果を前記画像データ出力用インターフェースと前記付加データ出力用インターフェースとの間で切り替えて出力可能な付加データ出力制御手段とを備えることを特徴とする請求項１〜５の何れか一項に記載の信号処理装置。
【請求項７】
画像データを出力する画像データ出力用インターフェースと、
前記画像データに関連する画像データ以外の付加データを処理するデータ処理部と、
前記付加データを出力する付加データ出力用インターフェースと、
前記付加データの処理結果を前記画像データ出力用インターフェースと前記付加データ出力用インターフェースとの間で切り替えて出力可能な付加データ出力制御手段と
を備えることを特徴とする信号処理装置。
【請求項８】
前記画像データを前記画像データ出力用インターフェースから出力している間に、並行して前記付加データ出力用インターフェースから前記付加データの一部を出力することを特徴とする請求項７に記載の信号処理装置。
【請求項９】
前記画像データを処理する画像データ処理部と、
前記付加データの処理結果を保持するバッファと、
前記画像データ出力用インターフェースへの接続を前記画像データ処理部と前記バッファとの間で切り替えるセレクタとを備える
ことを特徴とする請求項１〜８の何れか一項に記載の信号処理装置。
【請求項１０】
請求項１〜６の何れか一項に記載の信号処理装置の画像データ出力用インターフェースからデータを受け取り信号処理を行う後段信号処理装置であって、受け取った画像データと付加データを連続したメモリ領域に格納することを特徴とする後段信号処理装置。
【請求項１１】
請求項１〜６の何れか一項に記載の信号処理装置の画像データ出力用インターフェースからデータを受け取り信号処理を行う後段信号処理装置であって、受け取った画像データと付加データを不連続なメモリ領域に格納することを特徴とする後段信号処理装置。
【請求項１２】
請求項１〜９の何れか一項に記載の信号処理装置を搭載することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、前段処理回路および後段処理回路を通して信号処理を行う信号処理装置に関する。
【背景技術】
【０００２】
撮像素子からの画像データに対して前段処理部で前処理を施し、その後、後段処理部に転送して後処理を行うデジタルカメラが知られている。また、後段処理部であるバックエンジンだけでも画像処理を行える最小限のカメラシステムを構成し、バックエンジンでは受信できないような高ピクセルレートの画像データを扱う場合に、前段処理部であるフロントエンジンを追加的に利用可能とすることでスケーラブルとする構成も知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１７５８２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、前段処理部が例えば画像データを利用して画像以外の結果を算出する場合、後段処理部への結果のデータ転送には、画像データは高速なセンサインターフェースを用いて転送されるものの、前述の結果などの転送には別途インターフェースを設ける必要があった。
【０００５】
本発明は、画像データおよびそれ以外のデータをより効率的に出力可能な信号処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の信号処理装置は、画像データを出力する画像データ出力用インターフェースと、画像データに関連する画像データ以外の付加データを処理するデータ処理部と、データ処理部による処理結果を画像データ出力用インターフェースを通して出力する付加データ出力手段とを備え、付加データ出力手段が、付加データを画像データの一部として出力することを特徴としている。
【０００７】
付加データ出力手段は、例えば画像データ領域の垂直サイズを拡大して、拡大した画像データ領域と元の画像データの差分のサイズ内で付加データを出力する。また、付加データ出力手段は、例えば画像データ領域の水平サイズを拡大して、拡大した画像データ領域と元の画像データの差分のサイズ内で付加データを出力する。また更に付加データ出力手段は、例えば画像データ領域の水平及び垂直サイズを拡大して、拡大した画像データ領域と元の画像データの差分のサイズ内で付加データを出力する。この差分のサイズが付加データのサイズよりも大きいとき、拡大した画像データと付加データのサイズの差分のデータに、ダミーデータを付加して出力してもよい。
【０００８】
信号処理装置は、付加データを出力する付加データ出力用インターフェースと、付加データの処理結果を画像データ出力用インターフェースと付加データ出力用インターフェースとの間で切り替えて出力可能な付加データ出力制御手段とを備えてもよい。
【０００９】
また本発明の信号処理装置は、画像データを出力する画像データ出力用インターフェースと、画像データに関連する画像データ以外の付加データを処理するデータ処理部と、付加データを出力する付加データ出力用インターフェースと、付加データの処理結果を画像データ出力用インターフェースと付加データ出力用インターフェースとの間で切り替えて出力可能な付加データ出力制御手段とを備えることを特徴としている。
【００１０】
このとき、画像データを画像データ出力用インターフェースから出力している間に、並行して付加データ出力用インターフェースから付加データの一部を出力してもよい。
【００１１】
また信号処理装置は、画像データを処理する画像データ処理部と、付加データの処理結果を保持するバッファと、画像データ出力用インターフェースへの接続を画像データ処理部とバッファとの間で切り替えるセレクタとを更に備えてもよい。
【００１２】
本発明の後段信号処理装置は、画像データ領域のサイズを拡大する構成の信号処理装置の画像データ出力用インターフェースからデータを受け取り信号処理を行う後段信号処理装置であって、受け取った画像データと付加データを連続したメモリ領域に格納することを特徴としている。
【００１３】
本発明の後段信号処理装置は、画像データ領域のサイズを拡大する構成の信号処理装置の画像データ出力用インターフェースからデータを受け取り信号処理を行う後段信号処理装置であって、受け取った画像データと付加データを不連続なメモリ領域に格納することを特徴としている。
【００１４】
また本発明の撮像装置は、上記信号処理装置を搭載することを特徴としている。
【発明の効果】
【００１５】
本発明によれば、画像データおよびそれ以外のデータをより効率的に出力可能な信号処理装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態であるカメラの構成を示すブロック図である。
【図２】フロントエンドプロセッサを中心とする電気的な構成を示すブロック図である。
【図３】１フレームの画像データの構成を示す模式図である。
【図４】データを付加した１フレームの画像データの第１の構成を示す模式図である。
【図５】データを付加した１フレームの画像データの第２の構成を示す模式図である。
【図６】付加データを別フレームとして画像データ出力用センサＩ／Ｆを通して出力する際の画像データの構成を示す模式図である。
【図７】画像データおよび付加データを連続／不連続なアドレス空間に格納した状態を例示する模式図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である信号処理装置が搭載されたカメラの構成を示すブロックである。
【００１８】
カメラ１０は、例えば像面位相差ＡＦ機能付きのＣＭＯＳ撮像素子（ＣＩＳ）１２を搭載する一眼レフのデジタルカメラであり、レンズ１４と撮像素子１２の間にはアップ／ダウンが可能なミラー１６が配置される（なお図１にはミラーダウン状態が示される）。被写体像の撮影は、ミラーアップ状態で行われ、レンズ１４を通して形成された被写体像は、撮像素子１２に結像され画像信号として取得される。撮像素子１２で検出された画像信号は、特定用途向け集積回路（ＡＳＩＣ）等を用いたフロントエンドプロセッサ（信号処理装置）１８に送られ、ノイズリダクション（ＮＲ）などの所定の信号処理が行われた後、ＤＳＰ等を用いたバックエンドプロセッサ２０へと送られる。またミラーアップ状態では、ライブビュー画像の取得も可能であり、このとき像面位相差ＡＦ機能を用いてオートフォーカス（ＡＦ）が行われ、ＡＦ、ＡＥ（自動露出）、ＷＢ（ホワイトバランス）に必要なデータなども撮像素子１２から取得される。
【００１９】
一方、ミラーダウン状態でレンズ１４に入射した光は、ミラー１６の主ミラー１６Ｍに反射されスクリーン２２に結像される。スクリーン２２に形成された被写体像は、ペンタプリズム２４等を介して接眼レンズ２６へと導かれ、ユーザは接眼レンズ２６を通してこの被写体像を観察可能である。また、ペンタプリズム２４を通した光はＡＥセンサ２８にも導かれ、自動露出（ＡＥ）制御に用いられる。更に、ミラー１６は副ミラー１６Ｓを備え、ミラーダウン状態において、主ミラー１６Ｍを透過した一部の光は副ミラー１６Ｓで反射されてＡＦセンサ３０で検知され、オートフォーカス（ＡＦ）制御に用いられる。なお、ＡＥセンサ２８やＡＦセンサ３０からの信号は、例えばミラーダウン状態でファインダを覗きながら撮影を行う場合になどに利用される。
【００２０】
図２は、本実施形態のフロントエンドプロセッサ１８を中心とする電気的な構成を示すブロック図である。
【００２１】
図２に示されるように、撮像素子１２からの各種データは、入力用センサＩ／Ｆ（センサインターフェース）３２を通して入力され、画像データはオプティカルブラック（ＯＢ）検波部３４に送られ黒レベルが算出される。そしてオプティカルブラック（ＯＢ）減算部３６において、画像データからオプティカルブラック（ＯＢ）検波部３４で算出された黒レベルが減算され、ゲイン調整部３８でゲイン調整が行われる。欠陥補正部４０では、欠陥画素とされる画素に対応する画像データが補間され、ノイズリダクション（ＮＲ）部４２において、画像データに対してノイズ低減処理が施される。ノイズ低減処理が施された画像データは、セレクタ４４を介して出力用センサＩ／Ｆ４６を通して、バックエンドプロセッサ２０へと出力される。
【００２２】
また、図２に示されるように、入力用センサＩ／Ｆ３２から入力されたデータは、オプティカルブラック検波部３４以下に並列なデータ処理部４８にも入力され、例えば像面位相差ＡＦ機能に係る信号に対しては位相差処理が施され、ＡＥやＷＢに係る信号に対しては、ＡＥ処理、ＷＢ処理がそれぞれ施される。データ処理部４８で処理されたデータは、バッファ５０に一時的に保持され、後述するようにセレクタ４４や通信インターフェース５２へと出力される。また、データ処理部４８は、データ処理の状態に合わせて、ＩＮＴポート５４を介して割り込み信号をバックエンドプロセッサ２０へと通知し、バックエンドプロセッサ２０に通信インターフェース５２を通したデータの準備完了を通知するなどの要求を伝達する。
【００２３】
フロントエンドプロセッサ１８は、更にバックエンドプロセッサ２０からの制御信号を受ける通信インターフェース５６を備える。バックエンドプロセッサ２０から受け取った制御信号は、レジスタ５８に蓄えられ、フロントエンドプロセッサ１８では、レジスタ５８の制御信号に基づき各種設定を行う。なお通信インターフェース５２、５６は、出力用センサＩ／Ｆ４６の通信速度に比べて低速であり、例えばＳＰＩやＩ２Ｃなどが利用される。
【００２４】
セレクタ４４は、ノイズリダクション部４２から画像データが出力される間は、ノイズリダクション部４２を出力用センサＩ／Ｆ４６に接続して、各種処理が施された画像データをバックエンドプロセッサ２０へと転送する。一方、画像データに対してＯＢ検波（３４）、ＯＢ減算（３６）、ゲイン調整（３８）、欠陥補正（４０）、ノイズリダクション（４２）が行われている間、データ処理部４８では並行して同画像データに対応する像面位相差ＡＦやＡＥ、ＷＢ処理が行われ、それらの結果がバッファ５０に蓄えられる。
【００２５】
従来のノイズリダクション部４２からの画像データの出力は図３に示す様なデータで画像データに対して画像の位置を示すタイミングデータ、すなわち画像開始、終了信号、水平開始、終了信号などが付加された信号としてセンサＩ／Ｆから出力される。ここで、画像データ以外のデータを付加する場合を示せば、ノイズリダクション部４２からの規定のサイズの画像データの出力が完了すると、直ちにセレクタ４４が切り替えられ、前述の画像データの直後にバッファ５０に蓄えられた画像以外のデータが順次出力され、バッファ５０に一時的に保持された像面位相差ＡＦ、ＡＥ、ＷＢ処理の演算結果が、出力用センサＩ／Ｆ４６から出力された画像データの一部として出力用センサＩ／Ｆ４６からバックエンドプロセッサ２０へ転送される。
【００２６】
図４はセレクタ４４の切り替えにより作成され、出力用センサＩ／Ｆ４６から出力されるデータの模式図であり、１枚の撮影画像の画像データの最後に画像データの一部として同撮影画像に関する像面位相差ＡＦ、ＡＥ、ＷＢ処理の演算結果が添付された状態を示す。図４に図示される通り、添付される画像以外の付加データは、画像データの一部として取り扱われるように、元の画像データの水平サイズで区切られ、画像データ同様に水平開始信号、水平終了信号が付加され、画像垂直サイズが付加データのサイズを画像水平サイズで分割した分拡張される。図４では画像データ領域の垂直サイズを拡大し、拡大した画像データ領域と元の画像データの差分のサイズ内で付加データを出力している。付加データを画像水平サイズで除したときに余りが出る場合には、ゼロなどのダミーのデータを付加してサイズの調整を行う。
【００２７】
なお、図５のように水平サイズを拡大して出力してもよく、その場合、画像データ領域の水平サイズを拡大して、拡大した画像データ領域と元の画像データの差分のサイズ内で付加データを出力する。さらに、水平、垂直に分割して出力してもよい。すなわち、画像データ領域の水平及び垂直サイズを拡大して、拡大した画像データ領域と元の画像データの差分のサイズ内で付加データを出力してもよい。
【００２８】
画像以外のデータが付加された図４の画像を受け取ったバックエンドプロセッサ２０は、図３に示す画像と同様に画像開始、終了信号、水平開始、終了信号などを分離して画像データをメモリへと格納する（不図示）。画像データ以外のデータが付加された場合も、付加データは同様にメモリに格納され、演算結果が必要な処理において参照される。また、ここでは画像データと付加データが連続したアドレス（連続したメモリ領域）に格納されるが、画像データと付加データを連続したアドレスに格納せず、不連続なメモリ領域に格納してもよい。
【００２９】
すなわち本実施形態では、セレクタ４４とバッファ５０を用いて、像面位相差ＡＦ、ＡＥ、ＷＢ処理の演算結果など、画像データ以外の撮像素子１２から得られたデータ（情報）を、画像データの最後に付加データとして添付して、より高速な出力用センサＩ／Ｆ４６を通してバックエンドプロセッサ２０に転送することができる。
【００３０】
また、例えば像面位相差ＡＦに用いられるセンサの一部は、画像データの読み出しシーケンスのかなり前半に読み出されものもある。したがって、そのようなセンサ出力に対する演算結果は、出力用センサＩ／Ｆ４６を介した画像データの転送と同時並行して、バッファ５０から通信インターフェース５２を通してバックエンドプロセッサ２０に転送しておき、画像データの付加データとしては、画像データを出力している間に通信インターフェース５２から出力しきれず、バッファ５０に残っているデータを添付する構成とすることで、より効率的にデータの転送を行うことができる。さらに、通信インターフェース５２より出力したデータを再度画像データの後に付加して送信することも考えられる。
【００３１】
以上のように、本実施形態によれば、撮像素子から得られる画像データと、それ以外のデータを画像データ出力用のセンサＩ／Ｆを利用して、フロントエンドプロセッサからバックエンドプロセッサへとより効率的に転送することができる。
【００３２】
また、通常の通信インターフェースを通して、画像データ以外のデータを画像データ出力用のセンサＩ／Ｆを通した画像データの出力と並列に出力し、画像データの出力完了後に、画像データ以外のデータの出力を通信インターフェースから画像データ出力用のセンサＩ／Ｆに切り替えることでより効率的にデータの転送を行うことができる。なお、同構成においては、画像データの付加データ（同一フレーム）としてではなく、図６のように別データ（別フレーム）として画像データ出力用のセンサＩ／Ｆを通してデータを出力する構成であってもよい。
【００３３】
バックエンドプロセッサ２０は、フロントエンドプロセッサ１８から受け取ったデータを受信し、画像データの送受信に伴って付与された画像の開始信号などは分離してメモリへ記録する。この時付加テータを持たない通常の画像、図３の場合、メモリ上には画像データが配置され、画像データは連続したアドレス空間へと記録される。また、図４に示したように、付加データを含む場合にも同様に開始信号などは分離されて画像データと付加データが図７左側に示すように連続したアドレス空間へと記録される。同様に図５の場合も連続したアドレス空間へと記録される。
【００３４】
しかしながら、前述のように付加データと画像データが連続したアドレス空間にあると画像処理を行う際に、不都合を生じる場合がある。例えば、フィルタ処理などを行う場合に画像データを入力してオフセットさせながら出力する場合など付加データを破壊しないように考慮する必要がある。または、サイズ変更や移動などを行う場合、画像データは使わなくなったが付加データがまだ利用する必要がある場合など、メモリが断片化してしまいメモリの利用効率が悪くなってしまう。
【００３５】
そこで、画像データと付加データを連続したアドレス空間へと格納する方法とは別に、画像データと付加データを別のアドレス空間に格納する方法が考えられる。例えば、図４の場合であれば、図７右図に示すように、画像データをアドレスＡの開始位置から格納し、画像データが最後まで連続してメモリに格納された後に、アドレスＢへの付加データの格納を開始することで画像データと付加データを分離したメモリ空間へと格納することが出来る。
【００３６】
分離したメモリ空間へと配置された画像データと付加データはそれぞれ独立して扱うことが出来るために、画像処理が終わって大きな画像データをメモリから破棄する場合に付加データの利用を待たずに破棄できメモリの利用効率が向上する。また、付加データも画像データの有効期間に左右されずに利用することが可能になる。
【００３７】
さらに、メモリ空間の連続、非連続で格納場所を指定したが、例えば、画像データはＲＡＭへ付加データはキャッシュメモリへと異なるメモリに対して振り分けても構わない。さらに、画像データはＲＡＭへ格納せずに画像処理を行った後に記録媒体（例えば不揮発性の取り外し可能な記録装置）へ記録して付加データをＲＡＭやキャッシュメモリへ格納することも考えられる。
【００３８】
なお、本実施形態ではＣＭＯＳの撮像素子を例に説明を行なったが、撮像素子はＣＣＤなど他の形式の撮像素子でもよい。また本実施形態では、一眼レフのデジタルカメラを例に説明を行なったが、本実施形態はミラーレスのデジタルカメラやコンパクトカメラ、あるいはカメラ機能を備えたその他の電子機器に適用することもできる。また、本実施形態では、フロントエンドプロセッサでは画像データに対してノイズリダクション処理を行ったが、その他の処理であってもよい。
【００３９】
また、画像データ以外のデータを全て画像データに付加データとして転送する場合には、通信インターフェース５２、ＩＮＴポート５４を省略することもできる。
【符号の説明】
【００４０】
１０  デジタルカメラ
１２  撮像素子
１８  フロントエンドプロセッサ（信号処理装置）
２０  バックエンドプロセッサ
４４  セレクタ
４６  出力用センサＩ／Ｆ
４８  データ処理部
５０  バッファ
５２  通信インターフェース（Ｉ／Ｆ）
【図１】
2018006979.tif 000003
【図２】
2018006979.tif 000004
【図３】
2018006979.tif 000005
【図４】
2018006979.tif 000006
【図５】
2018006979.tif 000007
【図６】
2018006979.tif 000008
【図７】
2018006979.tif 000009