(57)【要約】【課題】高解像度の動画像を処理し得る安価な画像処理装置を提供する。【解決手段】画像処理を行う第１の集積回路素子と、画像処理を行う第２の集積回路素子と、撮像素子を用いて順次取得される動画像に含まれる第１のフレーム画像を第１の集積回路素子に振り分け、動画像に含まれる第２のフレーム画像を第２の集積回路素子に振り分ける振り分け手段とを有し、第１の集積回路素子は、フォーマットが互いに異なる複数の第１の出力画像を第１のフレーム画像から生成し、複数の第１の出力画像を第２の集積回路素子に順次送信し、第２の集積回路素子は、フォーマットが互いに異なる複数の第２の出力画像を第２のフレーム画像から生成し、フォーマット別に第１の出力画像と第２の出力画像とを順次出力する。【選択図】図１
2017147495.tif 000002
【特許請求の範囲】
【請求項１】
画像処理を行う第１の集積回路素子と、
画像処理を行う第２の集積回路素子と、
撮像素子を用いて順次取得される動画像に含まれる第１のフレーム画像を前記第１の集積回路素子に振り分け、前記動画像に含まれる第２のフレーム画像を前記第２の集積回路素子に振り分ける振り分け手段とを有し、
前記第１の集積回路素子は、フォーマットが互いに異なる複数の第１の出力画像を前記第１のフレーム画像から生成し、前記複数の第１の出力画像を前記第２の集積回路素子に順次送信し、
前記第２の集積回路素子は、前記フォーマットが互いに異なる複数の第２の出力画像を前記第２のフレーム画像から生成し、前記フォーマット別に前記第１の出力画像と前記第２の出力画像とを順次出力する
ことを特徴とする画像処理装置。
【請求項２】
前記フォーマットは、解像度である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、表示部と、ライン出力端子とを更に有し、
前記表示部に出力される前記第１の出力画像とは異なる前記フォーマットの前記第１の出力画像が前記ライン出力端子に出力される
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第１の集積回路素子は、前記表示部に出力される前記第１の出力画像を、前記ライン出力端子に出力される前記第１の出力画像よりも先に、前記第２の集積回路素子に出力する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１の集積回路素子は、第１の記録用画像を前記第１のフレーム画像から更に生成し、
前記第２の集積回路素子は、第２の記録用画像を前記第２のフレーム画像から更に生成し、
前記第１の記録用画像と前記第２の記録用画像とを少なくとも用いて動画像データを生成する合成手段を更に有する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第１の集積回路素子は、前記第２の集積回路素子を経由することなく、前記第１の記録用画像を前記合成手段に送信する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記合成手段は、前記動画像データを記録媒体に記録する
ことを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記撮像素子を更に有する
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
撮像素子を用いて順次取得される動画像に含まれる第１のフレーム画像を第１の集積回路素子に振り分け、前記動画像に含まれる第２のフレーム画像を第２の集積回路素子に振り分け、
フォーマットが互いに異なる複数の第１の出力画像を前記第１のフレーム画像から前記第１の集積回路素子によって生成し、前記複数の第１の出力画像を前記第１の集積回路素子から前記第２の集積回路素子に順次送信し、
前記フォーマットが互いに異なる複数の第２の出力画像を前記第２のフレーム画像から前記第２の集積回路素子によって生成し、前記フォーマット別に前記第２の集積回路素子から前記第１の出力画像と前記第２の出力画像とを順次出力する
ことを特徴とする画像処理方法。
【請求項１０】
コンピュータに、
撮像素子を用いて順次取得される動画像に含まれる第１のフレーム画像を第１の集積回路素子に振り分け、前記動画像に含まれる第２のフレーム画像を第２の集積回路素子に振り分け、
フォーマットが互いに異なる複数の第１の出力画像を前記第１のフレーム画像から前記第１の集積回路素子によって生成し、前記複数の第１の出力画像を前記第１の集積回路素子から前記第２の集積回路素子に順次送信し、
前記フォーマットが互いに異なる複数の第２の出力画像を前記第２のフレーム画像から前記第２の集積回路素子によって生成し、前記フォーマット別に前記第２の集積回路素子から前記第１の出力画像と前記第２の出力画像とを順次出力する
ことを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近時では、高解像度の動画像を撮影し得る撮像装置が提案されている。今後、更なる高解像度化の要請に応えることも必要となる。
特許文献１には、テレビジョンカメラからパラレルの映像信号を時分割多重化してシリアル信号として映像装置側に伝送する際、テレビジョンカメラ側から映像装置側への制御信号も併せて時分割多重化するという手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−４１３１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、高解像度の動画像を処理し得るＩＣは高価であり、かかる高価なＩＣを用いた画像処理装置は高価となってしまう。
本発明の目的は、高解像度の動画像を処理し得る安価な画像処理装置を提供することにある。
【課題を解決するための手段】
【０００５】
実施形態の一態様によれば、画像処理を行う第１の集積回路素子と、画像処理を行う第２の集積回路素子と、撮像素子を用いて順次取得される動画像に含まれる第１のフレーム画像を前記第１の集積回路素子に振り分け、前記動画像に含まれる第２のフレーム画像を前記第２の集積回路素子に振り分ける振り分け手段とを有し、前記第１の集積回路素子は、フォーマットが互いに異なる複数の第１の出力画像を前記第１のフレーム画像から生成し、前記複数の第１の出力画像を前記第２の集積回路素子に順次送信し、前記第２の集積回路素子は、前記フォーマットが互いに異なる複数の第２の出力画像を前記第２のフレーム画像から生成し、前記フォーマット別に前記第１の出力画像と前記第２の出力画像とを順次出力することを特徴とする画像処理装置が提供される。
【発明の効果】
【０００６】
本発明によれば、高解像度の動画像を処理し得る安価な画像処理装置を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施形態による画像処理装置の概略的な構成を示すブロック図である。
【図２】一実施形態による画像処理装置の構成を示すブロック図である。
【図３】一実施形態による画像処理装置の動作の概略を示す図である。
【発明を実施するための形態】
【０００８】
［一実施形態］
一実施形態による画像処理装置を、図１乃至図３を用いて説明する。図１は、本実施形態による画像処理装置の概略的な構成を示すブロック図である。なお、ここでは、本実施形態による画像処理装置１０が撮像機能を有している場合、即ち、本実施形態による画像処理装置１０が撮像装置である場合を例に説明するが、これに限定されるものではない。
【０００９】
図１に示すように、本実施形態による画像処理装置１０は、所定の画像処理を行うＩＣ（集積回路素子、画像処理デバイス）１００と、ＩＣ１００に接続されたメモリ１０４とを有している。また、本実施形態による画像処理装置１０は、所定の画像処理を行うＩＣ１００′と、ＩＣ１００′に接続されたメモリ１０４′とを有している。メモリ１０４、メモリ１０４′としては、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）がそれぞれ用いられている。撮像素子１０１（図２参照）によって取得される動画像（動画像データ）の各々のフレーム画像（フレーム、画像データ）が、振り分け部（振り分け手段）１０３によって、ＩＣ１００とＩＣ１００′とに交互に振り分けられるようになっている。後述するように、ＩＣ１００′によってフレーム画像に対して画像処理が行われ、これにより、複数のフォーマット（形態、態様、形式）の画像（画像データ）が生成される。具体的には、後述するように、表示用の画像データ（出力画像）と、ライン出力用の画像データ（出力画像）と、記録用の画像データ（記録用画像）とが、ＩＣ１００′による画像処理によって生成される。ＩＣ１００′によって生成される表示用の画像データとライン出力用の画像データとは、ＩＣ１００′からＩＣ１００に送信される。また、後述するように、ＩＣ１００によってフレーム画像に対して画像処理が行われ、これにより、複数のフォーマットの画像が得られる。具体的には、後述するように、表示用の画像データと、ライン出力用の画像データと、記録用の画像データとが、ＩＣ１００による画像処理によって生成される。ＩＣ１００による画像処理によって生成される記録用の画像データと、ＩＣ１００′による画像処理によって生成される記録用の画像データとが、合成部１２９によって合成され、これにより動画像データが生成される。こうして生成された記録用の動画像データは、記録媒体１３１（図２参照）に記録される。ＩＣ１００′からＩＣ１００に送信される表示用の画像データと、ＩＣ１００によって生成される表示用の画像データとが、ＩＣ１００から順次出力、即ち、交互に出力されるようになっている。また、ＩＣ１００′からＩＣ１００に送信されるライン出力用の画像データと、ＩＣ１００によって生成されるライン出力用の画像データとが、ＩＣ１００から順次出力、即ち、交互に出力されるようになっている。即ち、分散処理によって生成された画像データ（出力画像）がフォーマット別にＩＣ１００から画像データがされるようになっている。
【００１０】
図２は、本実施形態による画像処理装置１０の構成を示すブロック図である。撮像素子１０１は、被写体からの光、即ち、被写体像を電気信号に変換するものであり、例えば、ＣＭＯＳイメージセンサ等が用いられている。撮像素子１０１の後段には、例えばアナログフロントエンド（ＡＦＥ：Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）１０２が配されている。アナログフロントエンド１０２は、撮像素子１０１によって得られたアナログの電気信号に対して相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）を行う。また、アナログフロントエンド１０２は、アナログ信号をデジタル信号に変換する処理であるＡ／Ｄ変換をも行う。
【００１１】
アナログフロントエンド１０２の後段には、振り分け部１０３が配されている。振り分け部１０３は、撮像素子１０１によって取得される動画像の各々のフレームの画像データを、ＩＣ１００とＩＣ１００′とに交互に振り分けるためのものである。振り分け部１０３としては、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等が用いられている。振り分け部１０３の一方の出力端子から出力される画像データは、ＩＣ１００の入力端子（入力ポート）１０９を介してＩＣ１００に入力されるようになっている。振り分け部１０３の他方の出力端子から出力される画像データは、ＩＣ１００′の入力端子（入力ポート）１０９′を介してＩＣ１００′に入力されるようになっている。このように、本実施形態では、撮像素子１０１を用いて取得される動画像の各々のフレームの画像データが、ＩＣ１００とＩＣ１００′とに交互に入力されるようになっている。
【００１２】
入力端子１０９を介してＩＣ１００に入力される画像データは、ＩＣ１００内に設けられたスケーラ１１０に入力される。スケーラ１１０は、ＩＣ１００に入力される画像データの画角を、ぶれ補正処理のための余白を加味した画角に変更するためのものである。スケーラ１１０の後段には、現像部１１１が配されている。現像部１１１は、現像部１１１に入力される現像前の画像データ、即ち、ＲＡＷ画像データに対して、現像処理を行うためのものである。現像部１１１によって現像処理が施された画像データ、即ち、現像後の画像データは、メモリ１０４ａに入力される。メモリ１０４ａと、後述するメモリ１０４ｂ〜１０４ｄは、メモリ１０４の一部をそれぞれ構成するものであり、これらメモリ１０４ａ〜１０４ｄには、メモリ１０４内の個別のアドレス空間がそれぞれ割り当てられる。図２においては、煩雑になるのを防止するために、ＩＣ１００を示すボックスの内側にメモリ１０４ａ〜１０４ｄを図示しているが、実際には、メモリ１０４ａ〜１０４ｄは、ＩＣ１００の外部に位置している。また、同様に、メモリ１０４ａ′〜１０４ｄ′は、実際には、ＩＣ１００′の外部に位置している。なお、メモリ１０４がＩＣ１００に内蔵されていてもよいし、メモリ１０４′がＩＣ１００′に内蔵されていてもよい。
【００１３】
現像後の画像データは、メモリ１０４ａから出力され、ぶれ補正部１１３に入力されるようになっている。ぶれ補正部１１３は、手ぶれ等による像ぶれを補正するとともに、スケーラ１１０によって変更された画角を変更前の画角に戻すためのものである。ぶれ補正部１１３によってぶれ補正処理が施された画像データは、スケーラ１１４に入力される。スケーラ１１４は、表示部１３０の規格に適合するように画像データの解像度（画素数）を変換するためのものである。スケーラ１１４から出力される画像は、処理部１１５に入力されるようになっている。処理部１１５は、スケーラ１１４から出力される画像データに対し、撮影アシスト情報等を付加するためのものである。処理部１１５によって撮影アシスト情報等が付加された画像データは、メモリ１０４ｂに入力されるようになっている。メモリ１０４ｂは、表示部１３０のクロックに同期するように画像データを出力する。メモリ１０４ｂから出力される画像データは、処理部１１７に入力されるようになっている。処理部１１７は、表示部１３０への出力のフォーマットに適合するように画像データの形式を変換する、即ち、表示用の画像データを生成するためのものである。処理部１１７から出力される画像データは、ＩＣ１００の出力端子（出力ポート）１１８を介して表示部１３０に出力される。表示部１３０としては、例えば、画像処理装置１０の背面や電子ビューファインダ等に設けられた液晶パネルや有機ＥＬパネル等が挙げられる。
【００１４】
ぶれ補正部１１３によってぶれ補正が施された画像は、メモリ１０４ｃにも入力されるようになっている。メモリ１０４ｃは、例えば、ライン出力系のクロックに同期するように画像データを出力する。メモリ１０４ｃから出力される画像データは、スケーラ１２０に入力されるようになっている。スケーラ１２０は、ライン出力の伝送フォーマットに適合するように画像データを変換する、即ち、ライン出力用の画像データを生成するためのものである。スケーラ１２０の後段には、スイッチ１２７が配されている。スイッチ１２７は、出力端子（出力ポート）１２１から出力される画像データを切り替えるためのものである。スケーラ１２０から出力される画像データが出力端子１２１に達するようにスイッチ１２７を設定した場合には、スケーラ１２０から出力される画像データが出力端子１２１を介してＩＣ１００の外部に出力される。一方、メモリ１０４ｂから出力される画像データが出力端子１２１に達するようにスイッチ１２７を設定した場合には、メモリ１０４ｂから出力される画像データが出力端子１２１を介してＩＣ１００の外部に出力される。出力端子１２１は、ライン出力端子１３２に接続されている。出力端子１２１を介して出力される画像データは、ライン出力端子１３２を介して画像処理装置１０の外部に出力される。ライン出力端子１３２としては、ＨＤＭＩ（登録商標）端子やＳＤＩ端子等が挙げられる。
【００１５】
メモリ１０４ｃから出力される画像データは、コーデック（ＣＯＤＥＣ：ＣＯｄｅｒ／ＤＥＣｏｄｅｒ）１２２にも入力されるようになっている。コーデック１２２は、Ｉフレームの画像データを生成する。コーデック１２２から出力される画像データは、ストリームバッファとして機能するメモリ１０４ｄに入力される。メモリ１０４ｄから出力される画像データは、出力端子１２４（出力ポート）を介してＩＣ１００の外部に出力され、合成部（合成手段）１２９に入力される。合成部１２９としては、例えばＤＳＰが用いられる。
【００１６】
ＩＣ１００には、例えばＩＣ１００′との間でのネゴシエーションを行うためのネゴシエーション部１２５が設けられている。これにより、例えば、ＩＣ１００′からＩＣ１００への画像データの転送を所定のタイミングで行うことが可能となっている。ネゴシエーション部１２５は、メモリ１０４との間のネゴシエーション、即ち、メモリ１０４に対する制御をも行う。ＩＣ１００には、例えばＩＣ１００′からの画像データを入力するための入力端子（入力ポート）１２６が設けられている。入力端子１２６の後段には、スイッチ１２８が配されている。スイッチ１２８は、入力端子１２６を介してＩＣ１００に入力される画像データの経路を切り替えるためのものである。入力端子１２６を介して入力される画像データがメモリ１０４ｂに達するようにスイッチ１２８が設定された場合には、ＩＣ１００′からの画像信号が入力端子１２６とスイッチ１２８とを経由してメモリ１０４ｂに入力される。一方、入力端子１２６を介して入力される画像データがメモリ１０４ｃに達するようにスイッチ１２８が設定された場合には、ＩＣ１００′からの画像データが入力端子１２６とスイッチ１２８とを経由してメモリ１０４ｃに入力される。
【００１７】
ＩＣ１００′としては、例えば、ＩＣ１００と同様のＩＣが用いられている。従って、ＩＣ１００′の各構成要素は、ＩＣ１００の各構成要素と同様となっている。ＩＣ１００′においては、各構成要素を示す符号の末尾に“′”が付されている。なお、ここでは、ＩＣ１００′として、ＩＣ１００と同様のＩＣを用いる場合を例に説明するが、これに限定されるものではなく、ＩＣ１００とＩＣ１００′とが同様のＩＣでなくてもよい。
【００１８】
ＩＣ１００′の出力端子１２１′とＩＣ１００の入力端子１２６が電気的に接続されている。ＩＣ１００′の出力端子１２１′から出力される画像データは、ＩＣ１００の入力端子１２６に入力される。ＩＣ１００の出力端子１２４は、合成部１２９の一方の入力端子に接続されている。また、ＩＣ１００′の出力端子１２４′は、合成部１２９の他方の入力端子に接続されている。ＩＣ１００′の出力端子１２４′から出力される記録用の画像データは、ＩＣ１００を経由することなく、合成部１２９に入力される。合成部１２９は、ＩＣ１００から出力される画像データとＩＣ１００′から出力される画像データとが交互に位置するような動画像データを生成し、生成した動画像データ、即ち、記録用の動画像データを記録媒体１３１に記録する。記録媒体１３１としては、例えばフラッシュメモリ等が用いられる。
【００１９】
ＩＣ１００′は、入力端子１０９′を介して入力される画像データに対して所定の画像処理を行うことにより、ライン出力用の画像データと、表示用の画像データとを生成する。そして、こうして取得されたライン出力用の画像データと表示用の画像データとが、出力端子１２１′を介してＩＣ１００′からＩＣ１００に順次送信、即ち、交互に送信される。一方、ＩＣ１００は、入力端子１０９を介して入力される画像データに対して所定の画像処理を行うことにより、ライン出力用の画像データと、表示用の画像データとを生成する。ＩＣ１００は、ＩＣ１００′による画像処理によって生成されたライン出力用の画像データと、ＩＣ１００による画像処理によって生成されたライン出力用の画像データとを、出力端子１２１を介して交互に出力する。これにより、ライン出力用の動画像データが、ライン出力端子１３２を介して画像処理装置１０の外部に出力される。また、ＩＣ１００は、ＩＣ１００′による画像処理によって生成された表示用の画像データと、ＩＣ１００による画像処理によって生成された表示用の画像データとを、出力端子１１８を介して交互に出力する。これにより、表示用の動画像データが、表示部１３０に供給される。
【００２０】
このように、本実施形態による画像処理装置は、動画像データに対する画像処理をＩＣ１００とＩＣ１００′とで分散して行う。
【００２１】
ここで、参考例による画像処理装置について以下に説明する。参考例による画像処理装置は、２つのＩＣ１００，１００′を用いるのではなく、１つのＩＣ１００によって動画像データに対する画像処理を行うものである。参考例による画像処理装置では、図１，図２に示す構成要素のうちのＩＣ１００′とメモリ１０４′とが設けられていない。参考例による画像処理装置では、アナログフロントエンド１０２からの出力がＤＳＰ１０３を介してＩＣ１００の入力端子１０９に入力される。また、参考例による画像処理装置では、出力端子１２４から出力される動画像データがＤＳＰ１２９を介して記録媒体１３１に記録される。参考例による画像処理装置では、ＩＣ１００の入力端子１２６には、ＩＣ１００′からの信号は入力されず、スイッチ１２８は設けられていない。
【００２２】
メモリ１０４に対して入出力される信号（画像データ）は、フォーマットがＹＵＶ４：２：２の１６ｂｉｔの色差信号とする。メモリ１０４の帯域幅、即ち、メモリ帯域幅は、６６６Ｍｂｐｓ×３２ｂｉｔ×２＝４２．６Ｇｂｐｓとする。メモリ帯域幅の５０％がコーデック１２２による処理、即ち、コーデック処理によって占有されると仮定すると、コーデック処理以外の処理において用い得るメモリ帯域幅は、２１．３Ｇｂｐｓである。コーデック処理以外の処理において用い得るメモリ帯域幅のうちの４０％が、撮影アシスト機能やＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）に用いられると仮定する。そうすると、コーデック処理、撮影アシスト機能、及び、ＧＵＩ以外の処理に用い得るメモリ帯域幅は、２１．３×０．６＝１２．８Ｇｂｐｓとなる。
【００２３】
ここでは、記録媒体１３１に記録される動画像データ、即ち、記録用の画像データは、画素数が横１９２０×縦１０８０ピクセル、フレーム周波数が６０Ｈｚとする。また、ライン出力端子１３２を介して出力される動画像データ、即ち、ライン出力用の画像データは、記録用の画像データと同様に、画素数が１９２０×１０８０ピクセル、フレーム周波数が６０Ｈｚとする。１９２０×１０８０ピクセル、フレーム周波数６０Ｈｚの動画像のビットレートは、２Ｍ×６０×１６＝２Ｇｂｐｓである。表示部１３０への出力のフォーマットは、例えば、ワイドＶＧＡ＋（ＷＶＧＡ＋：Ｗｉｄｅ  Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ  ｐｌｕｓ）とし、画素数は８５４×４８０ピクセルとし、フレーム周波数は６０Ｈｚとする。
【００２４】
撮像素子１０１から出力されるアナログの電気信号は、アナログフロントエンド１０２によって、デジタルの信号に変換される。アナログフロントエンド１０２から出力されるデジタルの信号は、ＤＳＰ１０３を介してＩＣ１００に伝送される。ＩＣ１００に入力される画像データは、スケーラ１１０に入力される。スケーラ１１０は、ＩＣ１００に入力される画像データの画角を、ぶれ補正処理のための余白を加味した画角に変更する。スケーラ１１０に入力される画像データは、例えば１．５倍のサイズの画像データに変換される。スケーラ１１０に入力される画像データが例えば２メガピクセル（１９２０×１０８０ピクセル）の画像データである場合には、かかる画像データは、スケーラ１１０によって、例えば３メガバイト（２８８０×１６２０ピクセル）の画像データに変換される。現像部１１１は、スケーラ１１０によって画角が変換された画像データに対して現像処理を行う。かかる現像処理においては、例えばホワイトバランスの調整等が行われる。現像部１１１によって現像処理が施された画像データは、メモリ１０４ａを介してぶれ補正部１１３に入力される。ぶれ補正部１１３に入力された画像データは、ぶれ補正部１１３によってぶれ補正が施されるとともに、元の画角に戻される。従って、ぶれ補正部１１３から出力される画像データのサイズは、例えば２メガピクセルとなる。
【００２５】
ぶれ補正部１１３から出力される画像データは、スケーラ１１４に入力される。スケーラ１１４に入力された画像データは、スケーラ１１４によって表示用の解像度（画素数）に変換され、処理部１１５に入力される。処理部１１５に入力された画像データには、処理部１１５によってピーキング表示やゼブラ表示等の撮影アシスト情報が付加される。ピーキング表示とは、ピントが合った部分の輪郭を強調表示するものであり、これによって、ピントが合っている位置を視認しやすくすることが可能となる。ゼブラ表示とは、輝度の高い部分のみに縞状の模様を付すものであり、ユーザが明るさを調整する際の目安となり、白とびの防止に寄与するものである。処理部１１５によって撮影アシスト情報が付加された画像データは、メモリ１０４ｂを介して、処理部１１７に入力される。処理部１１７に入力された画像データは、表示部１３０への出力のフォーマットに適合するように変換され、出力端子１１８を介して表示部１３０に出力される。
【００２６】
ぶれ補正部１１３から出力される画像データは、メモリ１０４ｃを介して、スケーラ１２０にも入力される。スケーラ１２０における変換倍率は、例えば等倍に設定される。スケーラ１２０から出力される画像データは、出力端子１２１を介してＩＣ１００の外部に出力され、ライン出力端子１３２を介して参考例による画像処理装置の外部に出力される。
【００２７】
また、ぶれ補正部１１３から出力される画像データは、メモリ１０４ｃを介してコーデック１２２に入力される。コーデック１２２に入力された画像データは、記録媒体１３１への記録のフォーマットに適合するようにコーデック１２２によって変換される。そして、コーデック１２２から出力された画像データは、ストリームバッファとして機能するメモリ１０４ｄを介し、出力端子１２４を介してＩＣ１００の外部に出力される。出力端子１２４を介してＩＣ１００の外部に出力された画像データは、ＤＳＰ１２９を介して記録媒体１３１に記録される。例えば、画素数が１９２０×１０８０ピクセルであり、フレーム周波数が６０Ｈｚである画像データが記録媒体１３１に記録される。
【００２８】
参考例による画像処理装置における各部のビットレートは、例えば以下の通りとなる。即ち、スケーラ１１０からぶれ補正部１１３までにおけるビットレートＢＲ１０１は、例えば３Ｍ×６０×１６≒３Ｇｂｐｓとなる。ぶれ補正部１１３からスケーラ１１４までにおけるビットレートＢＲ１０２は、例えば２Ｍ×６０×１６≒２Ｇｂｐｓとなる。スケーラ１１４から出力端子１１８までにおけるビットレートＢＲ１０３は、例えば０．４Ｍ×６０×１６≒０．４Ｇｂｐｓとなる。スケーラ１２０から出力端子１２１までにおけるビットレートＢＲ１０４は、例えば２Ｍ×６０×１６≒２Ｇｂｐｓとなる。メモリ１０４ｃから出力端子１２４までにおけるビットレートＢＲ１０５は、２Ｍ×６０×１６≒２Ｇｂｐｓとなる。
【００２９】
参考例による画像処理装置の各部のビットレートが上記のようになっている場合には、参考例による画像処理装置の各部において使用されるメモリ帯域幅は、以下の通りとなる。即ち、メモリ１０４ａにおいて使用される帯域幅は、ＢＲ１０１×２＝６Ｇｂｐｓとなる。また、メモリ１０４ｂにおいて使用される帯域幅は、ＢＲ１０３×２＝０．８Ｇｂｐｓとなる。メモリ１０４ｃにおいて使用される帯域幅は、ＢＲ１０２＋ＢＲ１０４＋ＢＲ１０５＝６Ｇｂｐｓとなる。従って、参考例による画像処理装置においては、メモリ１０４ａ、１０４ｂ、１０４ｃにおいて使用される帯域幅は、６Ｇｂｐｓ＋０．８Ｇｂｐｓ＋６Ｇｂｐｓ＝１２．８Ｇｂｐｓとなる。
【００３０】
上述したように、参考例による画像処理装置において、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用い得るメモリ帯域幅は、１２．８Ｇｂｐｓである。従って、この場合には、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用い得るメモリ帯域幅のうちの１００．０％が、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用いられることとなる。このように、参考例による画像処理装置は、上記のような画素数の画像データであれば、処理することが可能である。
【００３１】
ここで、以下のような高解像度の画像データを参考例による画像処理装置によって処理し得るか否かについて検討する。ここでは、記録媒体１３１に記録される動画像データは、画素数が横４０９６×縦２１６０ピクセルであり、フレーム周波数が２４Ｈｚであるものとする。また、ライン出力用の画像データは、画素数が１９２０×１０８０ピクセルであり、フレーム周波数が２４Ｈｚであるものとする。また、表示用の出力のフォーマットは、ＷＶＧＡ＋であるものとする。即ち、表示用の動画像データは、画素数が８５４×４８０ピクセルであり、フレーム周波数が２４Ｈｚであるものとする。
【００３２】
この場合、参考例による画像処理装置における各部のビットレートは、例えば以下の通りとなる。即ち、スケーラ１１０からぶれ補正部１１３までにおけるビットレートＢＲ１０１は、例えば１３．３Ｍ×２４×１６≒５．１Ｇｂｐｓとなる。ぶれ補正部１１３からスケーラ１１４までにおけるビットレートＢＲ１０２は、例えば８．８Ｍ×２４×１６≒３．４Ｇｂｐｓとなる。スケーラ１１４から出力端子１１８までにおけるビットレートＢＲ１０３は、例えば０．４Ｍ×２４×１６≒０．２Ｇｂｐｓとなる。スケーラ１２０から出力端子１２１までにおけるビットレートＢＲ１０４は、例えば２Ｍ×２４×１６≒０．８Ｇｂｐｓとなる。メモリ１０４ｃから出力端子１２４までにおけるビットレートＢＲ１０５は、例えば８．８Ｍ×２４×１６≒３．４Ｇｂｐｓとなる。
【００３３】
参考例による画像処理装置の各部におけるビットレートが上記のようになっている場合には、参考例による画像処理装置の各部において使用されるメモリ帯域幅は、以下の通りとなる。即ち、メモリ１０４ａにおいて使用される帯域幅は、ＢＲ１０１×２＝１０．２Ｇｂｐｓとなる。また、メモリ１０４ｂにおいて使用される帯域幅は、ＢＲ１０３×２＝０．４Ｇｂｐｓとなる。メモリ１０４ｃにおいて使用される帯域幅は、ＢＲ１０２＋ＢＲ１０４＋ＢＲ１０５＝７．６Ｇｂｐｓとなる。従って、メモリ１０４ａ、１０４ｂ、１０４ｃにおいて使用される帯域幅は、１０．２Ｇｂｐｓ＋０．４Ｇｂｐｓ＋７．６Ｇｂｐｓ＝１８．２Ｇｂｐｓとなる。
【００３４】
上述したように、参考例による画像処理装置において、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用い得るメモリ帯域幅は、１２．８Ｇｂｐｓである。従って、この場合には、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用い得るメモリ帯域幅のうちの例えば１４２．２％が、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用いられる。従って、上記のような画素数及びフレーム周波数の動画像に対しては、参考例による画像処理装置は所望の画像処理を行い得ない。
【００３５】
次に、上記のような高解像度の画像データを本実施形態による画像処理装置によって処理し得るか否かについて検討する。記録媒体１３１に記録される動画像データ、即ち、記録用の画像データは、上記と同様に、画素数が４０９６×２１６０ピクセルであり、フレーム周波数が２４Ｈｚであるものとする。また、ライン出力用の画像データは、上記と同様に、画素数が１９２０×１０８０ピクセルであり、フレーム周波数が２４Ｈｚであるものとする。また、表示用の出力のフォーマットは、上記と同様に、ＷＶＧＡ＋であるものとする。即ち、表示用の動画像データは、上記と同様に、画素数が８５４×４８０ピクセルであり、フレーム周波数が２４Ｈｚであるものとする。このように、記録用の画像データと、ライン出力用の画像データと、表示用の画像データとは、フォーマットが互いに異なっている。
【００３６】
撮像素子１０１を用いて順次取得される動画像データは、アナログフロントエンド１０２を介して、振り分け部１０３に入力される。振り分け部１０３に入力される動画像データは、例えば、画素数が４０９６×２１６０ピクセルであり、フレーム周波数が２４Ｈｚである。振り分け部１０３に入力される動画像データの各々のフレームは、ＩＣ（メインＩＣ）１００と、ＩＣ（サブＩＣ）１００′とに交互に振り分けられる。２つのＩＣ１００、１００′に画像データが交互に振り分けられるため、ＩＣ１００と１００′とにそれぞれ入力される動画像データのフレーム周波数は、それぞれ例えば１２Ｈｚとなる。即ち、ＩＣ１００と１００′とにそれぞれ入力される動画像データのフレームレートは、撮像素子１０１を用いて取得される動画像データのフレームレートの２分の１となる。４０９６×２１６０ピクセル、フレーム周波数１２Ｈｚの動画データのビットレートは、８．８Ｍ×１２×１６＝１．７Ｇｂｐｓである。
【００３７】
ＩＣ１００′側においては、振り分け部１０３によって振り分けられた画像データが入力端子１０９′を介してスケーラ１１０′に入力される。入力端子１０９′を介してＩＣ１００′に入力される画像データの画素数は、上述したように、４０９６×２１６０ピクセルである。かかる画像データのフレーム周波数は、上述したように、２４Ｈｚの半分の１２Ｈｚである。スケーラ１１０′に入力された画像データは、スケーラ１１０′によって画角が変更される。具体的には、スケーラ１１０′から出力される画像データのサイズは、８．８Ｍ×１．５＝１３．３メガピクセルとなる。スケーラ１１０′から出力される画像データは、現像部１１１′に入力され、現像部１１１′によって現像処理が行われた後、メモリ１０４ａ′を介してぶれ補正部１１３′に入力される。ぶれ補正部１１３′に入力された画像データは、ぶれ補正部１１３′によってぶれ補正が施された後、画角が変更される。これにより、画像データのサイズは、８．８メガピクセルに戻される。こうして得られた画素数が４０９６×２１６０ピクセルの画像データは、メモリ１０４ｃ′に書き込まれるとともに、スケーラ１１４′に入力される。スケーラ１１４′に入力された画像データは、スケーラ１１４′によって表示用の出力のフォーマットに適合するように画素数が変換され、処理部１１５′に入力される。処理部１１５′に入力された画像データには、処理部１１５′によってピーキング表示やゼブラ表示等の撮影アシスト情報が付加され、メモリ１０４ｂ′に書き込まれる。一方、メモリ１０４ｃ′に書き込まれた画像データは、スケーラ１２０′によって画素数の変換が行われる。この場合には、画像データの画素数が、４０９６×２１６０ピクセルから１９２０×１０８０ピクセルへとスケーラ１２０′によって変換される。
【００３８】
ＩＣ１００側においても、ＩＣ１００′と同様の処理が行われる。即ち、ＩＣ１００においても、振り分け部１０３によって振り分けられた画像データが入力端子１０９を介してスケーラ１１０に入力される。入力端子１０９を介してＩＣ１００に入力される動画像データの各フレームの画素数は、上述したように、４０９６×２１６０ピクセルである。かかる動画像データのフレーム周波数は、上述したように、２４Ｈｚの半分の１２Ｈｚである。スケーラ１１０に入力された画像データは、スケーラ１１０によって画角が変更される。具体的には、スケーラ１１０から出力される画像データのサイズは、８．８Ｍ×１．５＝１３．３メガピクセルとなる。スケーラ１１０から出力される画像データは、現像部１１１に入力され、現像部１１１によって現像処理が行われた後、メモリ１０４ａを介してぶれ補正部１１３に入力される。ぶれ補正部１１３に入力された画像データは、ぶれ補正部１１３によってぶれ補正が施された後、画角が変更される。これにより、画像データのサイズは、８．８メガピクセルに戻される。こうして得られた画素数が４０９６×２１６０ピクセルの画像データは、メモリ１０４ｃに書き込まれるとともに、スケーラ１１４に入力される。スケーラ１１４に入力された画像データは、スケーラ１１４によって表示用の出力のフォーマットに適合するように画素数が変換され、処理部１１５に入力される。処理部１１５に入力された画像データには、処理部１１５によってピーキング表示やゼブラ表示等の撮影アシスト情報が付加され、メモリ１０４ｂに書き込まれる。一方、メモリ１０４ｃに書き込まれた画像データは、スケーラ１２０によって画素数の変換が行われる。この場合には、画像データの画素数が、４０９６×２１６０ピクセルから１９２０×１０８０ピクセルへとスケーラ１２０によって変換される。
【００３９】
本実施形態では、上述したように、表示用の画像データと外部出力用の画像データとがＩＣ１００′からＩＣ１００に送信される。ピン数削減のため、これらの画像データをＩＣ１００′からＩＣ１００に送信するための出力端子１２１′の数は１つとされている。即ち、ＩＣ１００′の出力端子１２１′が、表示用の画像データと外部出力用の画像データとをＩＣ１００に転送する際に共用される。メモリ１０４ｂ′からの出力とスケーラ１２０′からの出力とに対し、スイッチ１２７′が例えば２４Ｈｚで交互に切り替えられる。これにより、ＩＣ１００′によって生成された表示用の画像データとライン出力用の画像データとが出力端子１２１′を介して交互に出力されることとなる。このようにして多重化された表示用の画像データとライン出力用の画像データとが、ＩＣ１００′からＩＣ１００に伝送される。なお、表示用の画像データとライン出力用の画像データとの多重化の詳細については後述することとする。
【００４０】
ＩＣ１００′によって多重化された表示用の画像データとライン出力用の画像データとは、出力端子１２１′を介してＩＣ１００′から出力され、ＩＣ１００の入力端子１２６に入力される。ＩＣ１００においては、スイッチ１２８が、例えば２４Ｈｚで交互に切り替えられる。これにより、表示用の画像データとライン出力用の画像データとが、メモリ１０４ｂとメモリ１０４ｃとに交互に振り分けられる。ＩＣ１００′からＩＣ１００に送信された表示用の画像データは、ＩＣ１００のメモリ１０４ｂに格納される。一方、ＩＣ１００′からＩＣ１００に送信されたライン出力用の画像データは、ＩＣ１００のメモリ１０４ｃに格納される。メモリ１０４ｂに格納された表示用の画像データを読み出す際には、ＩＣ１００によって生成された表示用の画像データとＩＣ１００′からＩＣ１００に転送された表示用の画像データとを交互に読み出す。これによって、例えば２４Ｈｚの表示用の画像データが生成される。こうして得られた表示用の画像データは、処理部１１７及び出力端子１１８を介して表示部１３０に出力される。
【００４１】
メモリ１０４ｃに記憶されたライン出力用の画像データを読み出す際にも、メモリ１０４ｂに記憶された表示用の画像データを読み出す際と同様の処理が行われる。即ち、ＩＣ１００によって生成されたライン出力用の画像データとＩＣ１００′からＩＣ１００に転送されたライン出力用の画像データとを交互に読み出すことによって、フレーム周波数が２４Ｈｚのライン出力用の画像データを生成する。こうして得られたライン出力用の画像データは、スケーラ１２０によって画角の設定が行われる。この場合には、スケーラ１２０による画角の変換は行われず、スケーラ１２０に入力された画像データは等倍で出力される。スケーラ１２０から出力されるフレーム周波数が２４Ｈｚの画像データは、出力端子１２１を介してＩＣ１００の外部に出力され、ライン出力端子１３２を介して画像処理装置１０の外部に出力される。
【００４２】
図３は、本実施形態による画像処理装置の動作の概略を示す図である。図３におけるＴ００，Ｔ０１，Ｔ０２，・・・は、本実施形態による画像処理装置によって行われる画像処理における処理周期を示している。なお、図３において、“Ｔ”、“ＲＡＷ”、“Ｐａｎｅｌ”、“ＴＶ”の後に付された００，０１，０２、・・・は通し番号であり、同じ通し番号が付された画像データは互いに関連している。例えば、Ｐａｎｅｌ００、ＴＶ００は、処理周期Ｔ００において振り分け部１０３によって振り分けられる画像データＲＡＷ００に関連している。Ｐａｎｅｌ００は、画像データＲＡＷ００に対して画像処理を行うことにより得られる表示用の画像データであり、ＴＶ００は、画像データＲＡＷ００に対して画像処理を行うことにより得られるライン出力用の画像データである。なお、図３においては、煩雑になるのを避けるため、コーデック１２２，１２２′によって行われる処理については図示を省略している。なお、本願明細書においては、通し番号を特に示さずに、“Ｔ”、“ＲＡＷ”、“Ｐａｎｅｌ”、“ＴＶ”の後に“＊＊”を付すこともある。
【００４３】
図３の第１段目には、振り分け部１０３によって振り分けられる画像データ（ＲＡＷデータ）ＲＡＷ００，ＲＡＷ０１，・・・が示されている。図３においてドットが付されていない画像データは、ＩＣ１００′によって画像処理が行われる画像データ又はＩＣ１００′による画像処理によって生成される画像データを示している。一方、図３においてドットが付されている画像データは、ＩＣ１００によって画像処理が行われる画像データ又はＩＣ１００による画像処理によって生成される画像データを示している。
【００４４】
図３の第２段目から第５段目には、ＩＣ１００′の各部における画像データが示されている。具体的には、図３の第２段目には、ＩＣ１００′の入力端子１０９′を介してＩＣ１００′に入力される画像データＲＡＷ００，ＲＡＷ０２，・・・が示されている。図３の第３段目には、スケーラ１１４′によって解像度が変更され、処理部１１５′によって撮影アシスト情報が付加された後にメモリ１０４ｂ′に格納される表示用の画像データＰａｎｅｌ００，Ｐａｎｅｌ０２，・・・が示されている。図３の第４段目には、スケーラ１２０′によって解像度を変換することによって得られるライン出力用の画像データＴＶ００，ＴＶ０２，・・・が示されている。図３の第５段目には、ＩＣ１００′の出力端子１２１′を介して交互に出力される画像データＰａｎｅｌ００，ＴＶ００，Ｐａｎｅｌ０２，ＴＶ０２，・・・が示されている。
【００４５】
図３の第６段目から第８段目には、ＩＣ１００の各部における画像データが示されている。具体的には、図３の第６段目には、入力端子１０９を介してＩＣ１００に入力される画像データＲＡＷ０１，ＲＡＷ０３，・・・が示されている。図３の第７段目には、出力端子１１８を介してＩＣ１００の外部に出力される表示用の画像データＰａｎｅｌ００，Ｐａｎｅｌ０１，・・・が示されている。図３の第８段目には、出力端子１２１を介してＩＣ１００の外部に出力されるライン出力用の画像データＴＶ００，ＴＶ０１，・・・が示されている。
【００４６】
図３に示すように、撮像素子１０１によって取得される動画像データの各フレームの画像データＲＡＷ００，ＲＡＷ０１，・・・は、振り分け部１０３によって、ＩＣ１００′と、ＩＣ１００とに交互に振り分けられる。撮像素子１０１によって取得される動画像データの各フレームの画像データＲＡＷ００，ＲＡＷ０１，・・・の画素数は、例えば４０９６×２１６０ピクセルである。
【００４７】
振り分け部１０３から入力端子１０９′を介してＩＣ１００′に入力される画像データＲＡＷ００，ＲＡＷ０２，・・・の各々に対して、ＩＣ１００′によって画像処理が施され、以下のような画像データが順次取得される。即ち、画素数が８５４×４８０ピクセルである表示用の画像データＰａｎｅｌ００，Ｐａｎｅｌ０２，・・・がＩＣ１００′による画像処理によって生成される。また、画素数が１９２０×１０８０ピクセルであるライン出力用の画像データＴＶ００，ＴＶ０２，・・・がＩＣ１００′による画像処理によって生成される。なお、表示用の画像データＰａｎｅｌ００は、ＩＣ１００′による画像処理が画像データＲＡＷ００に対して行われることによって得られた画像データである。また、表示用の画像データＰａｎｅｌ０２は、ＩＣ１００′による画像処理が画像データＲＡＷ０２に対して行われることによって得られた画像データである。また、ライン出力用の画像データＴＶ００は、ＩＣ１００′による画像処理が画像データＲＡＷ００に対して行われることによって得られた画像データである。また、ライン出力用の画像データＴＶ０２は、ＩＣ１００′による画像処理が画像データＲＡＷ０２に対して行われることによって得られた画像データである。こうして得られた表示用の画像データＰａｎｅｌ＊＊とライン出力用の画像データＴＶ＊＊とが、スイッチ１２７′を交互に切り替えることによって、ＩＣ１００′の出力端子１２１′を介して交互にＩＣ１００に出力される。
【００４８】
上述したように、ライン出力用の画像データＴＶ＊＊の画素数は１９２０×１０８０ピクセルであるのに対し、表示用の画像データＰａｎｅｌ＊＊の画素数は８５４×４８０ピクセルである。従って、表示用の画像データＰａｎｅｌ＊＊も、ライン出力用の画像データＴＶ＊＊も、画素数が大きい方のフォーマットである１９２０×１０８０ピクセルの伝送フォーマットによって、ＩＣ１００′からＩＣ１００に伝送される。表示用の画像データＰａｎｅｌ＊＊は、表示用の画像データＰａｎｅｌ＊＊の画素数とは異なる画素数の伝送フォーマットによって伝送されることとなる。このため、１９２０×１０８０ピクセルの伝送フォーマットで伝送される画像データのうちの一部が表示用の画像データＰａｎｅｌ＊＊としてＩＣ１００において用いられることとなる。
【００４９】
ＩＣ１００′からＩＣ１００に転送された表示用の画像データＰａｎｅｌ＊＊とライン出力用の画像データＴＶ＊＊とは、ＩＣ１００のスイッチ１２８によって、メモリ１０４ｂとメモリ１０４ｃとに交互に振り分けられる。ＩＣ１００′からＩＣ１００に転送された表示用の画像データＰａｎｅｌ＊＊は、スイッチ１２８を介してメモリ１０４ｂに入力され、メモリ１０４ｂによって一時的に保持される。一方、ＩＣ１００′からＩＣ１００に伝送されたライン出力用の画像データＴＶ＊＊は、スイッチ１２８を介してメモリ１０４ｃに入力され、メモリ１０４ｃによって一時的に保持される。
【００５０】
振り分け部１０３から入力端子１０９を介してＩＣ１００に入力される画像データＲＡＷ０１，ＲＡＷ０３，・・・の各々に対して、ＩＣ１００によって画像処理が施され、以下のような画像データが順次取得される。即ち、画素数が８５４×４８０ピクセルである表示用の画像データＰａｎｅｌ０１，Ｐａｎｅｌ０３，・・・が、ＩＣ１００による画像処理によって得られる。また、画素数が１９２０×１０８０ピクセルであるライン出力用の画像データＴＶ０１，ＴＶ０３，・・・が、ＩＣ１００による画像処理によって得られる。そして、ＩＣ１００′による画像処理によって得られた表示用の画像データＰａｎｅｌ＊＊と、ＩＣ１００による画像処理によって得られた表示用の画像データＰａｎｅｌ＊＊とが、ＩＣ１００の出力端子１１８を介して交互に出力される。また、ＩＣ１００′による画像処理によって得られたライン出力用の画像データＴＶ＊＊と、ＩＣ１００による画像処理によって得られたライン出力用の画像データＴＶ＊＊とが、ＩＣの出力端子１２１を介して交互に出力される。
【００５１】
なお、上述したように、ＩＣ１００′からＩＣ１００に転送されるライン出力用の画像データＴＶ００，・・・の画素数は、１９２０×１０８０ピクセルである。１９２０×１０８０ピクセルの画素数の画像データは、ライン出力の伝送フォーマットに適合している。このため、ＩＣ１００′からＩＣ１００に転送されるライン出力用の画像データＴＶ００，・・・に対しては、スケーラ１２０による画素数の変換は行われない。ＩＣ１００′からＩＣ１００に転送されるライン出力用の画像データＴＶ００，・・・は、メモリ１０４ｃに一時的に格納された後、スケーラ１２０によって画素数が変換されることなく、出力端子１２１を介して出力される。一方、ＩＣ１００のぶれ補正部１１３によってぶれ補正が行われた段階の画像データの画素数は、４０９６×２１６０ピクセルである。４０９６×２１６０ピクセルの画素数の画像データは、ライン出力の伝送フォーマットに適合しない。このため、ＩＣ１００のぶれ補正部１１３から出力される画像データに対しては、スケーラ１２０によって画素数の変換を行う必要がある。従って、ＩＣ１００のぶれ補正部１１３から出力される４０９６×２１６０ピクセルの画像データは、メモリ１０４ｃに一時的に格納された後、スケーラ１２０によって、１９２０×１０８０ピクセルの画素数の画像データに変換される。このように、スケーラ１２０は、ＩＣ１００による画像処理によって生成された画像データに対しては画素数の変換を行い、ＩＣ１００′からＩＣ１００に転送された画像データに対しては画素数の変換を行わない。
【００５２】
処理周期Ｔ００においては、振り分け部１０３から入力端子１０９′を介してＩＣ１００′に入力される画像データＲＡＷ００に対して、ＩＣ１００′によって画像処理が行われる。これにより、表示用の画像データＰａｎｅｌ００とライン出力用の画像データＴＶ００とが生成される。これらの画像データＰａｎｅｌ００，ＴＶ００のうちの表示用の画像データＰａｎｅｌ００は、ライン出力用の画像データＴＶ００よりも先にＩＣ１００′からＩＣ１００に転送される。具体的には、表示用の画像データＰａｎｅｌ００は、処理周期Ｔ００内において、ＩＣ１００′からＩＣ１００に転送される。ＩＣ１００′からＩＣ１００に転送された表示用の画像データＰａｎｅｌ００は、処理周期Ｔ００内において、出力端子１１８を介して表示部１３０に出力される。一方、処理周期Ｔ００において生成されたこれらの画像データＰａｎｅｌ００，ＴＶ００のうちのライン出力用の画像データＴＶ００は、処理周期Ｔ００の次の処理周期Ｔ０１において、ＩＣ１００′からＩＣ１００に転送される。ＩＣ１００′からＩＣ１００に転送されたライン出力用の画像データＴＶ００は、処理周期Ｔ０１内において、出力端子１２１を介し、更にライン出力端子１３２を介して、画像処理装置１０の外部に出力される。なお、表示用の画像データＰａｎｅｌ００を、ライン出力用の画像データＴＶ００よりも先にＩＣ１００′からＩＣ１００に転送するのは、表示用の画像データはライン出力用の画像データよりも高いリアルタイム性が要求されるためである。
【００５３】
処理周期Ｔ０１においては、振り分け部１０３から入力端子１０９を介してＩＣ１００に入力される画像データＲＡＷ０１に対して、ＩＣ１００によって画像処理が行われる。これにより、表示用の画像データＰａｎｅｌ０１とライン出力用の画像データＴＶ０１とが生成される。これらの画像データＰａｎｅｌ０１，ＴＶ０１のうちの表示用の画像データＰａｎｅｌ０１は、処理周期Ｔ０１内において、出力端子１１８を介して表示部１３０に出力される。一方、処理周期Ｔ０１において生成されたこれらの画像データＰａｎｅｌ０１，ＴＶ０１のうちのライン出力用の画像データＴＶ０１は、処理周期Ｔ０１の次の処理周期Ｔ０２内において、出力端子１２１を介して、ＩＣ１００の外部に出力される。出力端子１２１を介してＩＣ１００の外部に出力された画像データＴＶ０１は、ライン出力端子１３２を介して、画像処理装置１０の外部に出力される。
【００５４】
処理周期Ｔ０２においては、振り分け部１０３から入力端子１０９′を介してＩＣ１００′に入力される画像データＲＡＷ０２に対して、上記と同様の画像処理がＩＣ１００′によって行われる。また、処理周期Ｔ０３においては、振り分け部１０３から入力端子１０９を介してＩＣ１００に入力される画像データＲＡＷ０３に対して、上記と同様の画像処理がＩＣ１００によって行われる。このような処理が交互に繰り返し行われることによって、動画像データに対する画像処理がＩＣ１００とＩＣ１００′とによって分散して行われる。
【００５５】
一方、記録媒体１３１に記録される動画像データは、以下のような処理によって生成される。即ち、ＩＣ１００′のメモリ１０４ｃ′には、画素数が４０９６×２１６０ピクセルの画像データが格納される。ＩＣ１００′のコーデック１２２′は、このような画像データに対して所定の画像処理を行う。コーデック１２２′からは、記録媒体１３１の記録フォーマットに適合するような画像データが出力される。コーデック１２２′から出力される画像データは、上述したように、ストリームバッファとして機能するメモリ１０４ｄ′に入力される。ＩＣ１００のメモリ１０４ｃには、画素数が４０９６×２１６０ピクセルの画像データが格納される。ＩＣ１００のコーデック１２２は、このような画像データに対して所定の画像処理を行う。コーデック１２２からは、記録媒体１３１の記録フォーマットに適合するような画像データが出力される。コーデック１２２から出力される画像データは、上述したように、ストリームバッファとして機能するメモリ１０４ｄに入力される。ＩＣ１００のネゴシエーション部１２５とＩＣ１００′のネゴシエーション部１２５′との間でネゴシエーションが行われる。これにより、メモリ１０４ｄ′に格納された画像データとメモリ１０４ｄに格納された画像データとが交互に合成部１２９に出力される。合成部１２９は、ＩＣ１００とＩＣ１００′とから交互に伝送される画像データを、所定の記録フォーマットで記録媒体１３１に記録する。こうして、動画像データが記録媒体１３１に記録されることとなる。
【００５６】
本実施形態による画像処理装置のＩＣ１００′における各部のビットレートは、例えば以下の通りとなる。即ち、スケーラ１１０′からぶれ補正部１１３′までにおけるビットレートＢＲ１０１′は、例えば１３．３Ｍ×１２×１６≒２．５Ｇｂｐｓとなる。ぶれ補正部１１３′からスケーラ１１４′までにおけるビットレートＢＲ１０２′は、例えば８．８Ｍ×１２×１６≒１．７Ｇｂｐｓとなる。スケーラ１１４′から出力端子１１８′までにおけるビットレートＢＲ１０３′は、例えば０．４Ｍ×１２×１６≒０．１Ｇｂｐｓとなる。スケーラ１２０′から出力端子１２１′までにおけるビットレートＢＲ１０４′は、例えば２Ｍ×２４×１６≒０．８Ｇｂｐｓとなる。メモリ１０４ｃ′から出力端子１２４′までにおけるビットレートＢＲ１０５′は、例えば８．８Ｍ×１２×１６≒１．７Ｇｂｐｓとなる。
【００５７】
本実施形態による画像処理装置のＩＣ１００′における各部のビットレートが上記のような場合には、ＩＣ１００′の各部において使用されるメモリ帯域幅は、以下の通りとなる。即ち、メモリ１０４ａ′において使用される帯域幅は、ＢＲ１０１′×２＝５．０Ｇｂｐｓとなる。メモリ１０４ｂ′において使用される帯域幅は、ＢＲ１０３′＝０．１Ｇｂｐｓとなる。メモリ１０４ｃ′において使用される帯域幅は、ＢＲ１０２′＋ＢＲ１０４′＋ＢＲ１０５′＝４．２Ｇｂｐｓとなる。従って、メモリ１０４ａ′、１０４ｂ′、１０４ｃ′において使用される帯域幅は、５．０Ｇｂｐｓ＋０．１Ｇｂｐｓ＋４．２Ｇｂｐｓ＝９．３Ｇｂｐｓとなる。上述したように、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用い得るメモリ帯域幅は、例えば１２．８Ｇｂｐｓである。従って、この場合には、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用い得るＩＣ１００′のメモリ帯域幅のうちの例えば７２．７％が、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用いられる。このように、本実施形態では、ＩＣ１００′におけるメモリ帯域幅には、十分な余裕がある。
【００５８】
本実施形態による画像処理装置のＩＣ１００における各部のビットレートは、例えば以下の通りとなる。即ち、スケーラ１１０からぶれ補正部１１３までにおけるビットレートＢＲ１０１は、例えば１３．３Ｍ×１２×１６≒２．５Ｇｂｐｓとなる。ぶれ補正部１１３からスケーラ１１４までにおけるビットレートＢＲ１０２は、例えば８．８Ｍ×１２×１６≒１．７Ｇｂｐｓとなる。スケーラ１１４′から出力端子１１８′までにおけるビットレートＢＲ１０３は、例えば０．４Ｍ×１２×１６≒０．１Ｇｂｐｓとなる。スケーラ１２０′から出力端子１２１′までにおけるビットレートＢＲ１０４は、例えば２Ｍ×２４×１６≒０．８Ｇｂｐｓとなる。メモリ１０４ｃ′から出力端子１２４′までにおけるビットレートＢＲ１０５は、例えば８．８Ｍ×１２×１６≒１．７Ｇｂｐｓとなる。
【００５９】
本実施形態による画像処理装置のＩＣ１００における各部のビットレートが上記のような場合には、ＩＣ１００の各部において使用されるメモリ帯域幅は、以下の通りとなる。即ち、メモリ１０４ａにおいて使用される帯域幅は、ＢＲ１０１×２＝５．０Ｇｂｐｓとなる。メモリ１０４ｂ′において使用される帯域幅は、ＢＲ１０３×２＝０．２Ｇｂｐｓとなる。メモリ１０４ｃ′において使用される帯域幅は、ＢＲ１０２＋ＢＲ１０４′＋ＢＲ１０４＋ＢＲ１０５＝５．０Ｇｂｐｓとなる。従って、メモリ１０４ａ、１０４ｂ、１０４ｃにおいて使用される帯域幅は、５．０Ｇｂｐｓ＋０．２Ｇｂｐｓ＋５．０Ｇｂｐｓ＝１０．２Ｇｂｐｓとなる。上述したように、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用い得るメモリ帯域幅は、例えば１２．８Ｇｂｐｓである。従って、この場合には、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用い得るＩＣ１００のメモリ帯域幅のうちの例えば７９．７％が、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用いられる。このように、本実施形態では、ＩＣ１００におけるメモリ帯域幅にも、十分な余裕がある。
このように、本実施形態では、ＩＣ１００とＩＣ１００′のいずれにおいてもメモリ帯域幅に十分な余裕がある。従って、本実施形態による画像処理装置は、実現可能である。
【００６０】
このように、本実施形態による画像処理装置は、動画像データに対する画像処理がＩＣ１００とＩＣ１００′とによって分散して処理される。そして、ＩＣ１００とＩＣ１００′とによる分散処理によって生成された画像データを統合することによって所望の動画像データが生成される。このため、本実施形態によれば、高解像度の動画像を処理するための高価なＩＣを用いることなく高解像度の動画像を処理することが可能となり、ひいては、高解像度の動画像を処理し得る画像処理装置を安価に提供することが可能となる。また、複数のＩＣを組み合わせることによって高解像度化に対応し得るため、本実施形態によれば高解像度化に柔軟に対応することができる。
【００６１】
［変形実施形態］
上記実施形態に限らず種々の変形が可能である。
例えば、上記実施形態では、２つのＩＣ１００，１００′によって分散処理を行う場合を例に説明したが、これに限定されるものではなく、３つ以上のＩＣによって分散処理を行うようにしてもよい。例えば、４つのＩＣによって分散処理を行うようにしてもよい。
【００６２】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６３】
１００、１００′…ＩＣ
１０１、１０１′…撮像素子
１０２、１０２′…アナログフロントエンド
１０３、１０３′…振り分け部
１０４ａ〜１０４ｄ、１０４ａ′〜１０４ｄ′…メモリ
１０９、１０９′…入力端子
１１０、１１０′…スケーラ
１１１、１１１′…現像部
１１３、１１３′…ぶれ補正部
１１４、１１４′…スケーラ
１１５、１１５′…処理部
１１７、１１７′…処理部
１１８、１１８′…出力端子
１２０、１２０′…スケーラ
１２１、１２１′…出力端子
１２２、１２２′…コーデック
１２４、１２４′…出力端子
１２５、１２５′…ネゴシエーション部
１２６、１２６′…入力端子
１２７、１２７′、１２８、１２８′…スイッチ
１２９、１２９′…合成部
【図１】
2017147495.tif 000003
【図２】
2017147495.tif 000004
【図３】
2017147495.tif 000005