(57)【要約】【課題】入力画像データに対する画像認識と表示制御を行うシステムのコスト低減に寄与する。【解決手段】中央処理装置（７）、描画制御部（８）、表示制御部（３）、画像認識モジュール（２）、外部メモリ(１７)に対するアクセス制御が可能なメモリコントローラ(１５)、及び外部から画像データ入力と必要なフォーマット変換を行うことが可能な画像データ入力部(４，５)を有し、1チップに形成される。表示制御部はメモリコントローラを介して外部メモリから読み出した画像データの表示制御を行う。画像データ入力部は外部から入力した画像データ又は必要なフォーマット変換を行った画像データを、メモリコントローラを介して外部メモリの第1領域に格納する。画像認識モジュール又は中央処理装置は第1領域の画像データ又はそれに対して必要なデータ加工が行われた第２領域の画像データを用いて画像処理を実行し、その処理結果を外部メモリの第３領域に格納する。【選択図】図１
2008021228.tif 000002
【特許請求の範囲】
【請求項１】
中央処理装置と、
描画制御部と、
表示制御部と、
画像認識モジュールと、
外部に接続される外部メモリに対するアクセス制御が可能なメモリコントローラと、
外部から画像データを入力し、それに対して必要なフォーマット変換を行うことが可能な画像データ入力部と、を有し、1個の半導体基板に形成されたデータ処理装置であって、
前記表示制御部は前記メモリコントローラを介して前記外部メモリから読み出した画像データの表示制御を行い、
前記画像データ入力部は外部から入力した画像データ又は必要なフォーマット変換を行った画像データを、前記メモリコントローラを介して前記外部メモリの第１領域に格納し、
前記画像認識モジュールは前記第1領域の画像データ又はそれに対して必要なデータ加工が行われた第２領域の画像データを用いて画像処理を実行し、その処理結果を前記外部メモリの第３領域に格納する、データ処理装置。
【請求項２】
前記画像認識モジュール又は前記中央処理装置は前記第１領域又は必要なデータ加工が行われた前記第２領域の画像データを用いて画像認識を行い、
前記描画制御部は前記画像認識の結果に基づいて前記外部メモリの第４領域にＲＧＢ形式のグラフィックデータを格納する、請求項２記載のデータ処理装置。
【請求項３】
前記表示制御部は、前記第１領域に格納された画像データ又はそれに対して必要なフォーマット変換を行ったＲＧＢ形式の画像データと、前記第４領域のグラフィックデータとを、外部に接続される表示装置に重ねて出力可能である、請求項２記載のデータ処理装置。
【請求項４】
前記画像認識モジュール、前記画像データ入力部及び表示制御部が接続される第１バスと、
前記中央処理装置及び前記メモリコントローラが接続される第２バスと、
前記第１バスに接続された回路からのバスリクエストに対する調停を行う第1調停回路と、
前記第１停回路の調停結果とその他の回路からのバスリクエストとに対する調停を行う第２調停回路と、を更に有する、請求項２記載のデータ処理装置。
【請求項５】
制御レジスタを有し、
前記第１調停回路及び第２調停回路は、前記制御レジスタの設定値にしたがって調停の制御形態が変更可能である、請求項４記載のデータ処理装置。
【請求項６】
前記制御レジスタに第１の値が設定されたとき、
前記第１調停回路は第１バスに接続されるバスマスタからのバスリクエストの競合をラウンドロビンにより調停し、
前記第２調停回路は第２バスに接続されるバスマスタからのバスリクエストの競合をラウンドロビンにより調停すると共に、当該調停結果と前記第１調停回路による調停結果との間の競合をラウンドロビンにより調停する請求項５記載のデータ処理装置。
【請求項７】
前記制御レジスタに第２の値が設定されたとき、
前記第１調停回路は第１バスに接続される前記画像データ入力部及び前記表示制御部からのバスリクエスト間の競合をラウンドロビンにより調停し、
前記第２調停回路は、前記第２バスに接続されるバスマスタからのバスリクエスト間の競合を第１のラウンドロビンにより調停し且つ当該第１のラウンドロビンによる調停結果と前記画像認識モジュールからのバスリクエストとの間の競合に対しては第２のラウンドロビンによる調停を行い、前記第１調停回路による調停結果と、前記第２のラウンドロビンによる調停結果との間の競合に対しては、前記第１調停回路による調停結果に高い優先度を認めた優先レベル制御を行う、請求項５記載のデータ処理装置。
【請求項８】
前記制御レジスタに第３の値が設定されたとき、
前記第１調停回路は第１バスに接続される前記画像認識モジュール及び前記表示制御部からのバスリクエスト間の競合をラウンドロビンにより調停し、
前記第２調停回路は、前記第２バスに接続されるバスマスタからのバスリクエスト間の競合を第１のラウンドロビンにより調停し、前記第１調停回路による調停結果と、前記第１のラウンドロビンによる調停結果と、前記画像認識モジュールからのバスリクエストとの間の競合に対しては、前記第１調停回路による調停結果に最も高い優先度を認め、前記画像認識モジュールからのバスリクエストに対して次位の優先度を認めた優先レベル制御を行う、請求項５記載のデータ処理装置。
【請求項９】
中央処理装置と、
描画制御部と、
表示制御部と、
画像認識モジュールと、
外部に接続される外部メモリに対するアクセス制御が可能なメモリコントローラと、
外部から画像データを入力し、それに対して必要な第１フォーマット変換を行うことが可能な画像データ入力部と、を有し、１個の半導体基板に形成されたデータ処理装置であって、
前記表示制御部は前記メモリコントローラを介して前記外部メモリから読み出した画像データの表示制御を行い、
前記画像認識モジュールは前記メモリに格納された画像データを用いて画像処理を実行可能であるデータ処理装置。
【請求項１０】
前記画像データ入力部は外部から入力した画像データ又は前記必要な第１フォーマット変換を行った画像データを、前記メモリコントローラを介して前記外部メモリの第1領域に格納し、
前記画像認識モジュールは前記第１領域の画像データ又はそれに対して必要なデータ加工が行われた第２領域の画像データを用いて画像処理を実行し、その処理の結果を前記外部メモリの第３領域に格納する、請求項９記載のデータ処理装置。
【請求項１１】
前記画像処理は、前記第１フォーマット変換を行なった画像データとして、ＹＵＶ形式の画像データからフォーマット変換されたＹデータによる画像データを用いて、画像のエッジを抽出する処理である請求項１０記載のデータ処理装置。
【請求項１２】
前記画像認識モジュール又は前記中央処理装置は前記第１領域又は必要なデータ加工が行われた前記第２領域の画像データを用いて画像認識を行い
前記描画制御部は前記画像認識の結果に基づいて前記外部メモリの第４領域にＲＧＢ形式のグラフィックデータを格納する、請求項１０記載のデータ処理装置。
【請求項１３】
前記表示制御部は、前記第１領域に格納された画像データ又はそれに対して必要な第２フォーマット変換を行ったＲＧＢ形式の画像データと、前記第４領域のグラフィックデータとを、外部に接続される表示装置に重ねて出力可能である、請求項１２記載のデータ処理装置。
【請求項１４】
前記画像データ入力部は前記第１フォーマット変換を行う第１フォーマット変換回路を有し、
前記第１フォーマット変換回路は、ＹＵＶ形式からＲＧＢ形式への画像データの変換、ＲＧＢ形式からＹＵＶ形式への画像データの変換、及びＹＵＶ形式の画像データからＹデータによる画像データへの変換の各変換機能を有する請求項１０記載のデータ処理装置。
【請求項１５】
前記中央処理装置及び描画制御は、前記第１領域が保有するＲＧＢ形式の画像データ又はＹデータによる画像データに対して歪み補正又は鳥瞰図加工を行うことが可能であり、
歪み補正又は鳥瞰図加工が行われたＲＧＢ形式の画像データに対してＹＵＶ形式へのフォーマット変換を行う第２フォーマット変換回路を更に有し、
前記歪み補正又は鳥瞰図加工と、前記第２フォーマット変換回路によるフォーマット変換が前記必要なデータ加工である、請求項１０記載のデータ処理装置。
【請求項１６】
前記表示制御部は前記第２フォーマット変換を行う第３フォーマット変換回路を有し、
前記第３フォーマット変換回路は、ＹＵＶ形式からＲＧＢ形式への画像データの変換、Ｙデータによる画像データに対するＵＶデータの付加の各変換機能を有する請求項１３記載のデータ処理装置。
【請求項１７】
前記画像認識モジュール、前記画像データ入力部及び前記表示制御部が接続された第１バスと、
前記中央処理装置とメモリコントローラが接続された第２バスと、を更に有し、
前記描画制御部は中央処理装置からの指示に基づいて前記メモリコントローラを介して前記外部メモリに画像データを格納し、
前記表示制御部は前記メモリコントローラを介して前記外部メモリから読み出した画像データを外部の表示装置に出力する、請求項９記載のデータ処理装置。
【請求項１８】
第１調停回路及び第２調停回路を更に有し、
前記第１調停回路は第１バスに接続されるバスマスタからのバスリクエストの競合をラウンドロビンにより調停し、
前記第２調停回路は第２バスに接続されるバスマスタからのバスリクエストの競合をラウンドロビンにより調停すると共に、当該調停結果と前記第１調停回路による調停結果との間の競合をラウンドロビンにより調停する請求項１７記載のデータ処理装置。
【請求項１９】
第１調停回路及び第２調停回路を更に有し、
前記第１調停回路は第１バスに接続される前記画像データ入力部及び前記表示制御部からのバスリクエスト間の競合をラウンドロビンにより調停し、
前記第２調停回路は、前記第２バスに接続されるバスマスタからのバスリクエスト間の競合を第１のラウンドロビンにより調停し且つ当該第１のラウンドロビンによる調停結果と前記画像認識モジュールからのバスリクエストとの間の競合に対しては第２のラウンドロビンによる調停を行い、前記第１調停回路による調停結果と、前記第２のラウンドロビンによる調停結果の競合に対しては、前記第１調停回路による調停結果に高い優先度を認めた優先レベル制御を行う、請求項１７記載のデータ処理装置。
【請求項２０】
第１調停回路及び第２調停回路を更に有し、
前記第１調停回路は第１バスに接続される前記画像認識モジュール及び前記表示制御部からのバスリクエスト間の競合をラウンドロビンにより調停し、
前記第２調停回路は、前記第２バスに接続されるバスマスタからのバスリクエスト間の競合を第１のラウンドロビンにより調停し、前記第１調停回路による調停結果と、前記第１のラウンドロビンによる調停結果と、前記画像認識モジュールからのバスリクエストとの間の競合に対しては、前記第１調停回路による調停結果に最も高い優先度を認め、前記画像認識モジュールからのバスリクエストに対して次位の優先度を認めた優先レベル制御を行う、請求項１７記載のデータ処理装置。
【請求項２１】
前記第２調停回路はバス使用を許容したバスリクエストに係るバス使用の最大持ち時間を既定データ量の転送までとする制御を行う請求項１８乃至２０のいずれか１項記載のデータ処理装置。
【請求項２２】
前記第２調停回路は、前記表示制御部からのバスリクエストに対して複数のタイムスライスを割り当ててラウンドロビンによる調停を行う、請求項１８乃至２０のいずれか１項記載のデータ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像データに対する画像認識と表示制御を行うデータ処理装置に関し、例えば車載用のナビゲーションシステム等に適用して有効な技術に関する。
【背景技術】
【０００２】
画像データをリアルタイムに入力し、入力画像データに対する特徴抽出等の画像認識、認識結果を利用した画像表示制御等を行うデータ処理システムとして、車載用のナビゲーションシステム、監視カメラシステム等がある。ナビゲーションシステムに適用されるデータ処理装置として、例えば、特許文献１には画像認識装置、グラフィック描画装置及び中央処理措置（ＣＰＵ）等を備えた駐車補助装置のコントローラについて記載がある。特許文献２には、画像認識部、グラフィックレンダリング及びＣＰＵ等を備えたナビゲーションメインユニットについて記載がある。上記特許文献１におけるコントローラ（１６）、特許文献２におけるナビゲーションメインユニット（１４）のいずれにおいても、表示制御のリアルタイム性、画像認識のために必要なデータトラフィック量等について考慮する記載はない。また、コントローラ（１６）やナビゲーションメインユニット（１４）を1チップで構成することについての示唆もない。
【０００３】
【特許文献１】特開２０００−７９８６０号公報
【特許文献２】特開２００６−４２１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明者は入力画像データに対する画像認識と表示制御を行うデータ処理システムのコストを低減することについて検討した。画像認識と表示制御に用いるメモリには大きな記憶容量が必要であることから、そのための大容量メモリは搭載せずに当該データ処理装置を1チップで構成することの有用性を見出した。更にこれを実現する上においては第1に、大容量の外部メモリに対するアクセス競合を回避するとき、リアルタイム性を保証でき、大きなデータ転送量（データトラフィック）を確保するのに都合のよいバス調停の必要性が見出された。リアルタイム性とは一定時間内に特定のデータ処理を完了させなければならないという性質である。大きなデータトラフィックを単に高データバンド幅とも記す。
【０００５】
この点に関し、本発明者による検討事項を述べる。表示コントローラによる表示データのアクセスにリアルタイム性が保証できないと、表示コントローラ内のバッファが枯渇して表示画面が乱れてしまう。画像入力部で入力した画像データをメモリに蓄積する動作にリアルタイム性が保証できないと、画像入力部のバッファがオーバーフローしてしまうため、取込んだ画像データに欠損が発生する。画像認識モジュールによる認識対象画像データの取り込みにリアルタイム性が保証できない場合、１表示フレーム毎に画像認識を行うことができず、表示フレームに対して飛び飛びの画像認識しか行うことができず、画像認識精度が低下する。一般に、リアルタイム性と高データバンド幅との両立と言う点に関しては、例えば、リアルタイム性が要求される幾つかのリアルタイム性モジュールに最優先レベルを割り当てて、それらモジュールによるメモリアクセスにリアルタイム性を確保し、また高データバンド幅が要求されるモジュールは、リアルタイム性モジュールと同等に扱わずにＣＰＵや描画モジュールと同等に扱ってラウンドロビン形態でバス調停を行えばよい。ここで、画像認識モジュールは、１フレーム間に何画面もの画像データを読み書きする必要があり、リアルタイム性と高データバンド幅の両方を要求することが必要になる。しかしながら、リアルタイム性の要求にしたがって画像認識モジュールを、表示コントローラ及び画像データ入力部と共に最優先レベルに割り当ててリアルタイム性を確保しようとすると、それらの回路がバス権を占有する期間が集中して偏るため、ＣＰＵ、描画モジュールなどのリアルタイム性を要求しないモジュール（非リアルタイム性モジュール）が必要なデータバンド幅を確保することが出来なくなる。逆に、画像認識モジュールをＣＰＵ及び描画モジュールと同等に扱ってラウンドロビン形態でバス調停を行うと、今度はリアルタイム性の保証が出来なくなる。したがって、表示コントローラ等のリアルタイム性モジュールと、描画制御モジュール等の高データバンド幅モジュールと、リアルタイム性及び高データバンド幅の双方を必要とする画像認識モジュール等を用いるデータ処理システムにおいて、夫々の要求を満足させるために、リアルタイム性モジュール及び高データバンド幅モジュールとは別チップで画像認識モジュールを形成し、画像認識モジュールには専用メモリを割り当てて対処せざるを得ないとされていた。
【０００６】
第２には、画像認識と表示制御を1チップ内で行う場合には、入力画像データのデータフォーマットに応じてチップ内部で画像データのフォーマットを柔軟に変換できる機能の搭載が必要にあることが見出された。即ち、画像認識のためのデータ処理量を少なくすると言う観点ではＹＵＶ形式の画像データを扱うのが好都合である半面、認識結果を用いたグラフィック処理ではＲＧＢ形式の画像データを扱うのが表現上好適であり、画像表示制御においても同じくＲＧＢ形式の画像データを扱うのが好適である。しかも、ＹＵＶ、ＲＧＢの何れの形式の外部入力画像データにも対処しなければならない場合も想定されるからである。
【０００７】
本発明の目的は、入力画像データに対する画像認識と表示制御を行うシステムのコスト低減に寄与するデータ処理装置を提供することにある。
【０００８】
本発明の別の目的は、入力画像データに対する画像認識と表示制御を行うデータ処理装置を１チップで構成することにある。
【０００９】
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１０】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【００１１】
〔１〕本発明に係るデータ処理システム（１）は、中央処理装置（７）と、描画制御部（８）と、表示制御部（３）と、画像認識モジュール（２）と、外部に接続される外部メモリ(１７)に対するアクセス制御が可能なメモリコントローラ(１５)と、外部から画像データを入力し、それに対して必要なフォーマット変換を行うことが可能な画像データ入力部(４，５)と、を有し、1個の半導体基板に形成される。前記表示制御部は前記メモリコントローラを介して前記外部メモリから読み出した画像データの表示制御を行う。前記画像データ入力部は外部から入力した画像データ又は必要なフォーマット変換を行った画像データを、前記メモリコントローラを介して前記外部メモリの第1領域（ＦＢ１，ＦＢ１０，ＦＢ１５，ＦＰ２０，ＦＢ２２，ＦＢ２７，ＦＢ３３）に格納する。前記描画制御部又は前記中央処理装置は前記第１領域に格納されたデータを用いて歪み補正又は鳥瞰図加工等の画像処理を行い、前記外部メモリの第２領域に格納する。前記画像認識モジュールは前記第1領域の画像データ又はそれに対して必要なデータ加工が行われた第２領域の画像データを用いて画像処理を実行し、その処理結果を前記外部メモリの第３領域（ＦＢ２，ＦＢ３，ＦＢ４，ＦＢ１２，ＦＢ１８，ＦＢ２４，ＦＢ３０，ＦＢ３６）に格納する。上記によれば、データ処理装置は、表示制御、画像データ入力及び画像認識のために外部メモリを共通に利用できるように単一の半導体集積回路化されているから、データ処理装置並びにこれを用いるデータ処理システムのコスト低減に寄与する。外部からの入力画像データに対するフォーマット変換機能、画像認識のための画像処理に伴うデータ加工機能により、入力画像データに対して複数のデータフォーマットに対応可能である。
【００１２】
《表示のためのＲＧＢ変換機能》
本発明の一つの具体的な形態として、前記画像認識モジュール又は前記中央処理装置は前記第１領域又は必要なデータ加工が行われた前記第２領域の画像データを用いて画像認識を行い、その結果を第３領域に格納する。前記描画制御部は前記第３領域に格納された前記画像認識の結果に基づいて前記外部メモリの第４領域（ＦＢ５、ＦＢ１３，ＦＢ１９，ＦＢ２５，ＦＢ３１，ＦＢ３７）にＲＧＢ形式のグラフィックデータを格納する。
【００１３】
前記表示制御部は、前記第１領域に格納された画像データ又はそれに対して必要なフォーマット変換を行った第２領域のＲＧＢ形式の画像データと、前記第４領域のグラフィックデータ（認識処理後のデータを用いた演算処理結果）とを、外部に接続される表示装置に重ねて出力可能である。その結果、ＹＵＶ形式で外部から入力した画像に対する画像認識結果と当該入力画像をＲＧＢ形式で表示装置に表示させることができる。
【００１４】
《バス調停》
本発明の別の具体的な形態として、前記画像認識モジュール、前記画像データ入力部及び表示制御部が接続される第１バス(ＢＵＳ１)と、前記中央処理装置及び前記メモリコントローラが接続される第２バス(ＢＵＳ２)を有する。更に、前記第１バスに接続された回路からのバスリクエストに対する調停を行う第1調停回路(ＡＲＢ１)と、前記第１停回路の調停結果とその他の回路からのバスリクエストとに対する調停を行う第２調停回路(ＡＲＢ２)とを有する。これによれば、リアルタイム性モジュール間でのバス調停の結果に対してはその他の回路からのバスリクエストとの間でバス調停を行うから、非リアルタイム性モジュールにバス権が渡らなくなる事態の回避が容易である。
【００１５】
本発明更に別の具体的な形態として、制御レジスタを有し、前記第１調停回路及び第２調停回路は、前記制御レジスタの設定値にしたがって調停の制御形態が変更可能である。
【００１６】
例えば前記制御レジスタに第１の値が設定されたとき（ＴｙｐＡ）、前記第１調停回路は第１バスに接続されるバスマスタからのバスリクエストの競合をラウンドロビンにより調停する。前記第２調停回路は第２バスに接続される複数のバスマスタからのバスリクエストの競合をラウンドロビンにより調停すると共に、当該調停結果と前記第１調停回路による調停結果との間の競合をラウンドロビンにより調停する。リアルタイム性モジュール間でのバス調停、非リアルタイム性モジュール間でのバス調停、夫々の調停結果に対する調停の夫々にラウンドロビンを採用するから、第１バスに接続されたリアルタイム性モジュールに対するリアルタイム性の確保、第２バスに接続された非リアルタイム性モジュールのデータバンド幅激減の抑制、第１バスに接続された画像認識モジュールに対する高データバンド幅の保証を夫々実現することができる。
【００１７】
前記制御レジスタに第２の値が設定されたとき（ＴｙｐＢ）、前記第１調停回路は第１バスに接続される前記画像データ入力部及び前記表示制御部からのバスリクエスト間の競合をラウンドロビンにより調停する。前記第２調停回路は、前記第２バスに接続される複数のバスマスタからのバスリクエスト間の競合を第１のラウンドロビンにより調停し且つ当該第１のラウンドロビンによる調停結果と前記画像認識モジュールからのバスリクエストとの間の競合に対しては第２のラウンドロビンによる調停を行い、前記第１調停回路による調停結果と、前記第２のラウンドロビンによる調停結果との間の競合に対しては、前記第１調停回路による調停結果に高い優先度を認めた優先レベル制御を行う。これによれば、第１の値が設定された場合に比べて、非リアルタイム性モジュールが取得可能なデータバンド幅は減少し、画像認識モジュールが取得可能なデータバンド幅は増大する。
【００１８】
前記制御レジスタに第３の値が設定されたとき（ＴｙｐＣ）、前記第１調停回路は第１バスに接続される前記画像認識モジュール及び前記表示制御部からのバスリクエスト間の競合をラウンドロビンにより調停する。前記第２調停回路は、前記第２バスに接続される複数のバスマスタからのバスリクエスト間の競合を第１のラウンドロビンにより調停し、前記第１調停回路による調停結果と、前記第１のラウンドロビンによる調停結果と、前記画像認識モジュールからのバスリクエストとの間の競合に対しては、前記第１調停回路による調停結果に最も高い優先度を認め、前記画像認識モジュールからのバスリクエストに対して次位の優先度を認めた優先レベル制御を行う。これによれば、第２の値が設定された場合に比べて、非リアルタイム性モジュールが取得可能なデータバンド幅は減少し、画像認識モジュールが取得可能なデータバンド幅は増大する。
【００１９】
〔２〕本発明の別の観点によるデータ処理装置（１）は、中央処理装置（７）と、描画制御部（８）と、表示制御部（３）と、画像認識モジュール（２）と、外部に接続される外部メモリ(１７)に対するアクセス制御が可能なメモリコントローラ(１５)と、外部から画像データを入力し、それに対して必要な第1フォーマット変換を行うことが可能な画像データ入力部（４，５）と、を有し、１個の半導体基板に形成される。前記表示制御部は前記メモリコントローラを介して前記外部メモリから読み出した画像データの表示制御を行う。前記画像認識モジュールは前記外部メモリに格納された画像データを用いて画像処理を実行可能である。上記によれば、データ処理装置は、表示制御、画像データ入力及び画像認識のために外部メモリを共通に利用できるように単一の半導体集積回路化されているから、データ処理装置並びにこれを用いるデータ処理システムのコスト低減に寄与する。外部からの入力画像データに対するフォーマット変換機能、画像認識のための画像処理に伴うデータ加工機能により、入力画像データに対して複数のデータフォーマットに対応可能である。
【００２０】
《ＹＵＶデータ処理》
本発明の一つの具体的な形態として、前記画像データ入力部は外部から入力した画像データ又は前記必要な第１フォーマット変換を行った画像データを、前記メモリコントローラを介して前記外部メモリの第1領域（ＦＢ１，ＦＢ１０，ＦＢ１５，ＦＢ２０，ＦＢ２２，ＦＢ２７，ＦＢ３３）に格納する。前記画像認識モジュールは前記第１領域の画像データ又はそれに対して必要なデータ加工が行われた前記第２領域の画像データを用いて画像処理を実行し、その処理の結果を前記外部メモリの前記第３領域（ＦＢ２，ＦＢ３，ＦＢ４，ＦＢ１２，ＦＢ１８，ＦＢ２４，ＦＢ３０，ＦＢ３６）に格納する。
【００２１】
更に具体的な形態として、前記画像処理は、前記第１フォーマット変換を行なった画像データとして、ＹＵＶ形式の画像データからフォーマット変換されたＹデータによる画像データを用いて、画像のエッジを抽出するフィルタ処理である。
【００２２】
更に具体的な形態として、前記画像認識モジュール又は前記中央処理装置は前記第１領域又は必要なデータ加工が行われた前記第２領域の画像データを用いて画像認識を行い、その結果を前記第３領域に格納する。前記描画制御部は前記画像認識の結果に基づいて前記外部メモリの第４領域（ＦＢ５、ＦＢ１３，ＦＢ１９，ＦＢ２５，ＦＢ３１，ＦＢ３７）にＲＧＢ形式のグラフィックデータを格納する。
【００２３】
更に具体的な形態として、前記表示制御部は、前記第１領域に格納されたＹＵＶ形式データをＲＧＢ形式の画像データに変換処理し、変換されたＲＧＢ形式の画像データを、外部に接続される表示装置に出力可能である。また、前記表示制御部は、前記変換されたＲＧＢ形式の画像データと共に前記第４領域の画像データを、外部に接続される表示装置に重ねて出力可能である。
【００２４】
《フォーマット変換》
本発明の一つの具体的な形態として、前記画像データ入力部は前記第１フォーマット変換を行う第１フォーマット変換回路（４Ａ，５Ａ）を有する。前記第１フォーマット変換回路は、ＹＵＶ形式からＲＧＢ形式への画像データの変換、ＲＧＢ形式からＹＵＶ形式への画像データの変換、及びＹＵＶ形式の画像データからＹデータによる画像データへの変換の各変換機能を有する。
【００２５】
本発明の一つの具体的な形態として、前記中央処理装置及び描画制御部は、前記第１領域が保有するＲＧＢ形式の画像データ又はＹデータによる画像データに対して歪み補正又は鳥瞰図加工を行うことが可能であり、
歪み補正又は鳥瞰図加工が行われたＲＧＢ形式の画像データに対してＹＵＶ形式へのフォーマット変換を行う第２フォーマット変換回路(１０)を更に有する。前記歪み補正又は鳥瞰図加工と、前記第２フォーマット変換回路によるフォーマット変換が前記必要なデータ加工である。
【００２６】
本発明の一つの具体的な形態として、前記表示制御部は第２フォーマット変換を行う第３フォーマット変換回路（３Ａ）を有する。前記第３フォーマット変換回路は、ＹＵＶ形式からＲＧＢ形式への画像データの変換、Ｙデータによる画像データに対するＵＶデータの付加の各変換機能を有する。
【００２７】
《バス構成》
本発明の一つの具体的な形態として、前記前記画像認識モジュール、前記画像データ入力部及び前記表示制御部が接続された第１バス(ＢＵＳ１)と、前記中央処理装置とメモリコントローラが接続された第２バス(ＢＵＳ２)と、を更に有する。前記描画制御部は中央処理装置からの指示に基づいて前記メモリコントローラを介して前記外部メモリに画像データを格納する。前記表示制御部は前記メモリコントローラを介して前記外部メモリから読み出した画像データを外部の表示装置に出力する。
【００２８】
《バス調停＿ＴｙｐＡ》
更に具体的な形態として、第１調停回路（ＡＲＢ１）及び第２調停回路(ＡＲＢ２)を更に有する。前記第１調停回路は第１バスに接続されるバスマスタからのバスリクエストの競合をラウンドロビンにより調停する。前記第２調停回路は第２バスに接続されるバスマスタからのバスリクエストの競合をラウンドロビンにより調停すると共に、当該調停結果と前記第１調停回路による調停結果との間の競合をラウンドロビンにより調停する。リアルタイム性モジュール間でのバス調停、非リアルタイム性モジュール間でのバス調停、夫々の調停結果に対する調停の夫々にラウンドロビンを採用するから、第１バスに接続されたリアルタイム性モジュールに対するリアルタイム性の確保、第２バスに接続された非リアルタイム性モジュールのデータバンド幅激減の抑制、第２バスに接続された画像認識モジュールに対する高データバンド幅の保証を夫々実現することができる。
【００２９】
更に具体的な形態として、前記第２調停回路はバス使用を許容したバスリクエストに係るバス使用の最大持ち時間を既定データ量の転送までとする制御を行う。一つのバスマスタによるバス占有時間が長くなり過ぎないようにするためである。
【００３０】
更に具体的な形態として、前記第２調停回路は、前記表示制御部からのバスリクエストに対して複数のタイムスライスを割り当ててラウンドロビンによる調停を行う。表示制御のリアルタイム性を向上させるためである。
【００３１】
《バス調停＿ＴｙｐＢ》
更に具体的な別の形態として、第１調停回路及び第２調停回路を更に有し、前記第１調停回路は第１バスに接続される前記画像データ入力部及び前記表示制御部からのバスリクエスト間の競合をラウンドロビンにより調停する。前記第２調停回路は、前記第２バスに接続されるバスマスタからのバスリクエスト間の競合を第１のラウンドロビンにより調停し且つ当該第１のラウンドロビンによる調停結果と前記画像認識モジュールからのバスリクエストとの間の競合に対しては第２のラウンドロビンによる調停を行い、前記第１調停回路による調停結果と、前記第２のラウンドロビンによる調停結果の競合に対しては、前記第１調停回路による調停結果に高い優先度を認めた優先レベル制御を行う。これによれば、タイプＡのバス調停に比べて、非リアルタイム性モジュールが取得可能なデータバンド幅は減少し、画像認識モジュールが取得可能なデータバンド幅は増大する。
【００３２】
《バス調停＿ＴｙｐＣ》
更に具体的な別の形態として、第１調停回路及び第２調停回路を更に有し、前記第１調停回路は第１バスに接続される前記画像認識モジュール及び前記表示制御部からのバスリクエスト間の競合をラウンドロビンにより調停する。前記第２調停回路は、前記第２バスに接続されるバスマスタからのバスリクエスト間の競合を第１のラウンドロビンにより調停し、前記第１調停回路による調停結果と、前記第１のラウンドロビンによる調停結果と、前記画像認識モジュールからのバスリクエストとの間の競合に対しては、前記第１調停回路による調停結果に最も高い優先度を認め、前記画像認識モジュールからのバスリクエストに対して次位の優先度を認めた優先レベル制御を行う。これによれば、タイプＢのバス調停に比べて、非リアルタイム性モジュールが取得可能なデータバンド幅は減少し、画像認識モジュールが取得可能なデータバンド幅は増大する。
【発明の効果】
【００３３】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。
【００３４】
すなわち、本発明に係るデータ処理装置によれば、入力画像データに対する画像認識と表示制御を行うシステムのコスト低減に寄与する。入力画像データに対する画像認識と表示制御を行うデータ処理装置を１チップで構成することができる。
【発明を実施するための最良の形態】
【００３５】
《画像データ処理装置》
図１には本発明を適用した画像データ処理装置が示される。同図に示される画像データ処理装置１は、画像処理を行なう各種アクセラレータ等が搭載されＳＯＣ（システム・オン・チップ）として、例えば相補型ＭＯＳ集積回路製造技により単結晶シリコンのような１個の半導体基板に形成される。特に制限されないが、この画像データ処理装置１は車載用のナビゲーションシステムにおける各種画像処理に適用される。
【００３６】
画像データ処理装置１は、内部バスとして例えば第１バスＢＵＳ１と第２バスＢＵＳ２を有する。第１バスＢＵＳ１には、高データバンド幅とリアルタイム性が要求される画像認識処理アクセラレータ（ＩＭＧ：画像認識モジュール）２、特にリアルタイム性が要求される表示コントローラ(ＤＩＳＰＣＮＴ：表示制御部)３、画像データ入力部（ＶＤＯＩＮ１）４及び画像データ入力部（ＶＤＯＩＮ２）５がバスマスタモジュールとして接続される。第２バスＢＵＳ２には非リアルタイム性モジュールであるがある程度のデータバンド幅が必要なバスマスタモジュールとして、中央処理装置（ＣＰＵ）７、描画プロセッサ（ＧＲＦＣ）８、ダイレクト・メモリ・アクセス・コントローラ（ＤＭＡＣ）９、画像データのフォーマット変換回路（ＦＣＯＮＶＭ１）１０が接続される。第２バスＢＵＳ２にはその他に、バススレーブモジュールとして、サウンドアクセラレータ（ＳＮＤ）１２、ＡＴＡＰＩやＵＳＢ等のストレージ系インタフェース回路（ＳＴＲＧ）１３、汎用の外部バスとのインタフェース制御を行うバスステートコントローラ（ＢＳＣ）１４、メモリコントローラ（ＭＣＮＴ）１５が接続される。ＣＰＵ７には小容量のＳＲＡＭ（スタティック・ランダム・アクセス・メモリ）等から成るワークＲＡＭ（ＷＲＡＭ）１６が接続される。前記バスマスタモジュールとはバスアクセスのリクエストを発行する回路モジュールを意味する。バススレーブモジュールは前記バスリクエストに応答するバスレスポンスを返す回路モジュールを意味する。
【００３７】
メモリコントローラ１５はバスマスタからのバスリクエストに応答して画像データ処理装置１の外部に接続されるＤＤＲ−ＳＤＲＡＭ１７に対するアクセス制御が可能にされる。ＤＤＲ−ＳＤＲＡＭ１７は同期クロックの立ち上がり及び立ち下がりの両エッジに同期してリードデータの出力とライトデータの入力が可能にされるダブルデータレート型シンクロナスＤＲＡＭとされる。例えば最大３００ＭＨｚのクロックに同期動作される場合、並列入出力データビット数が４バイト(３２ビット)のとき、実質的な最大のデータトラフィック量は１ギガ・バイト／秒程度になる。このＤＤＲ−ＳＤＲＡＭ１７は画像データ処理装置１の共有メモリとして、画像データやグラフィックデータ等のフレームバッファ、プログラムメモリ、ワーク領域等に利用される。
【００３８】
画像データ入力部４は外部のビデオカメラ等からＹＵＶ形式の画像データに入力対応する。画像データ入力部５は外部のビデオカメラ等からＹＵＶ形式の画像データの入力とデジタルＲＧＢ形式の画像データの入力に対応する。画像データ入力部４，５は夫々必要に応じて入力画像データのフォーマット変換を行うフォーマット変換回路（ＦＣＯＮＶ）４Ａ，５Ａを有する。フォーマット変換部４ＡはＹＵＶからＲＧＢへのフォーマット変換（ＹＵＶ→ＲＧＢ）、ＹＵＶからＹデータ（輝度データ）へのフォーマット変換(ＹＵＶ→Ｙ)が可能にされる。フォーマット変換部５ＡはＹＵＶからＲＧＢへのフォーマット変換（ＹＵＶ→ＲＧＢ）、ＹＵＶから輝度信号Ｙを抽出するフォーマット変換(ＹＵＶ→Ｙ)、ＲＧＢからＹＵＶへのフォーマット変換（ＲＧＢ→ＹＵＶ）、及びＲＧＢからＹＵＶへの変換を介してＹデータへのフォーマット変換（ＲＧＢ→ＹＵＶ→Ｙ）が可能にされる。画像データ入力部４，５は、外部から入力された画像データ、更にはその画像データに対して所要のフォーマット変換を行った画像データを、ＤＤＲ−ＳＤＲＡＭ１７に格納させる。画像データ入力部４，５は夫々に専用の画像データ入力端子を外部端子として持ち、異なる画像データを並列に入力して処理することも可能になっている。
【００３９】
画像認識処理アクセラレータ２は、ＹＵＶフォーマットの画像データ又はＹデータの画像データ（モノクロ画像データ）に対して、例えば画像のエッジ部（端縁部）を識別可能にするためのフィルタリング処理等を行なう。フィルタリング処理の結果に対する画像認識は例えばＣＰＵ７が行う。ＣＰＵ７による画像認識の負担も軽減しようとする場合には画像認識に専用化したＣＰＵを追加し、このＣＰＵと画像認識処理アクセラレータ２によって画像認識モジュールを構成することも可能である。
【００４０】
表示コントローラ３は専用の画像データ出力端子を外部端子として持ち、外部に接続される液晶ディスプレイ（ＬＣＤ−ＤＳＰ）等の表示タイミングに従ってＤＤＲ−ＳＤＲＡＭ１７へのバスリクエストを発行し、ＤＤＲ−ＳＤＲＡＭ１７のフレームバッファに蓄えられた画像データやそこに描画されたグラフィックデータを入力する。入力したデータに対して必要なフォーマット変換を行って、液晶ディスプレイ（ＬＣＤ−ＤＳＰ）等の表示装置に出力する。表示コントローラ３は前記フォーマット変換を行うために、ＹＵＶ形式の画像データをＲＧＢ形式に変換するフォーマット変換回路（ＦＣＯＮＶ）３Ａ、Ｙデータによる画像データに色差信号ＵＶを付加してＹＵＶ形式のカラー画像に変換するＵＶ付加回路３Ｂを有する。特に制限されないが、表示コントローラ３は複数のレイヤーを重ねて表示制御を行うマルチレイヤー表示制御を行うようになっており、レイヤー毎に別々の画像データやグラフィックデータを重ねる処理を行うことができる。即ち、レイヤー毎にフレームバッファを設け、マルチレイヤー表示を行うときは複数のフレームバッファのデータを重ねて表示装置に出力する。
【００４１】
画像認識処理アクセラレータ２、表示コントローラ３及び画像データ入力部４，５の動作形態はＣＰＵ７によって初期設定される。画像認識処理アクセラレータ２の動作は例えばＣＰＵ７から発行されるコマンドに応答して開始される。表示コントローラ３の動作は例えば画像表示タイミングに同期して逐次行われる。画像データ入力部４，５の動作は例えば画像データの入力に同期して開始される。
【００４２】
描画プロセッサ８はＣＰＵ７に指示に従ってＤＤＲ−ＳＤＲＡＭ１７のフレームバッファに対する描画を行う。例えば描画プロセッサ８は、画像認識結果に従って指示されたグラフィック画像をフレームバッファに描画し、また、入力画像データに対し歪み補正処理を行い、歪み補正された入力画像データをフレームバッファに描画し、また、入力画像データに対して鳥瞰図加工処理を行い、鳥瞰図加工されたデータをフレームバッファに描画する動作等を行う。当然ＣＰＵ７の指示に従って地図データ等の描画に利用することも可能である。例えば描画プロセッサ８は、ＣＰＵ７から何を認識したかの画像認識結果と認識物の座標データを受け取り、ＣＰＵの設定に従い描画処理を行い、認識物を強調するためのマークや図柄などをＲＧＢ形式の画像データとしてフレームバッファに描画する。
【００４３】
ここでは、歪み補正や鳥瞰図加工が行われたＲＧＢフォーマットの画像データに対して画像認識を行う場合にはＹＵＶフォーマットに変換する必要があり、そのためのフォーマット変換に前記フォーマット変換回路（ＦＣＯＮＶ１）１０を用いる。歪み補正や鳥瞰図加工されて描画される画像データがＹのみ形式の場合は、前記フォーマット変換回路（ＦＣＯＮＶ１）によるフォーマット変換は行わない。
【００４４】
中央処理装置（ＣＰＵ）７は画像データ処理装置1全体の制御を行う。中央処理装置７は命令の実行シーケンスを制御する命令制御部、命令制御部で生成される制御信号に従って命令を実行するための演算制御やバスアクセス動作を制御する実行部、命令及びデータのキャッシュメモリ、仮想アドレスと物理アドレスの変換に利用されるアドレス変換バッファ等を有する。ＣＰＵ７のＯＳ（オペレーティング・システム）やアプリケーションプログラムは、特に制限されないが、ＤＤＲ−ＳＤＲＡＭ１７のプログラム領域に格納されている。
【００４５】
前記第１バスＢＵＳ１及び第２バスＢＵＳ２は、例えばアドレス、データ及びコントロール信号の各信号線群から成るアドレス・データバス形式を採用するものであってもよいし、必要なデータやアドレス等の情報をパケットとして受け渡しするスプリット・トランザクションバス形態を採用するものであってもよい。第１バスＢＵＳ１は第１調停回路ＡＲＢ１を有し、第２バスＢＵＳ２は第２調停回路ＡＲＢ２を有する。第１調停回路ＡＲＢ１は第１バスＢＵＳ１に接続されるバスマスタからのバスリクエストに対する調停を行う。第２調停回路ＡＲＢ２は前記第１停回路ＡＲＢ１の調停結果とその他の回路からのバスリクエストとに対する調停を行う。アドレス・データバス形式を採用する場合、調停回路は所定の調停論理に従ってバスリクエストを許容する回路に排他的にバスを占有させる。スプリット・トランザクションバス形態を採用する場合、調停回路は所定の調停論理に従ってバスリクエストに優劣を付け、その優劣に従ってバスレスポンスを対応する回路に返す制御を行う。
【００４６】
この画像データ処理装置１においては、高データバンド幅とリアルタイム性が要求される画像認識処理アクセラレータ２をオンチップ化したこと、その他にリアルタイム性が要求されるモジュール３，４，５と非リアルタイム性モジュールであってもある程度のデータバンド幅が必要なモジュール７，８，９，１０が同一チップ上に並存し、オンチップされた複数のバスマスタモジュールが外部のＤＤＲ−ＳＤＲＡＭ１７を共有すること、に伴って、バス調停及びデータフォーマット変換について特徴的な構成を備えることになる。以下、それについて詳述する。
【００４７】
《画像認識処理》
図２には画像認識処理の一例が例示される。ここでは自動車の先頭に備えられたカメラからの画像を認識する処理を一例とする。先ず、カメラからＹＵＶ形式の画像データが画像データ入力部４に供給されると、画像データ入力部４はフォーマット変換回路４Ａを用いて其の画像データに対してＹＵＶ形式からＹデータのみ形式の画像データ（モノクロ画像データ）にフォーマット変換して、ＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ１に書き込む。次に画像認識処理アクセラレータ２はフレームバッファＦＢ１に書き込まれたＹデータのみの形式の画像データ（以下単にＹ形式画像データとも記す）を読み込み、フィルタ処理、例えばメディアンフィルタ処理により画像のエッジをぼかさずにノイズを除去する処理を行ない、そのフィルタ処理の結果をフレームバッファＦＢ２に書き込む。この処理において画像認識処理アクセラレータ２は、その内部レジスタにＣＰＵ７から書き込み開始アドレス、ストライド及び画像処理を行なうｘ，ｙ方向のサイズが設定されており、その設定値に従い、フレームバッファに書き込むアドレスをＤＤＲ−ＳＤＲＡＭ１７への一回当りの転送データサイズづつインクリメントして生成している。例えば、書き込み開始アドレスをH’1000_0000、ストライドをH’200、画像処理するｘ，ｙ方向のサイズをそれぞれx =H’100、y= H’5、メモリへの一回当りの転送データサイズを１２８バイトとすると、書き込むアドレスは、H’1000_0000 → H’1000_0080 (フレームバッファ１ライン目終了) → H’1000_0200 → H’1000_0280 (フレームバッファ２ライン目終了) → H’1000_0400 → ・・・ → H’1000_0880 (フレームバッファ５ライン目終了)の様になる。
【００４８】
画像認識処理アクセラレータ２は更に、ＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ２に書き込んだ補正後のＹ形式画像データを読み込み、エッジ抽出処理を行なう。画像認識処理アクセラレータ２は抽出したエッジのＹ形式画像データをＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ３に書き込む。更に画像認識処理アクセラレータ２はフレームバッファＦＢ３に書き込んだＹ形式画像データを読み込み、２値化処理を行ない、これによって得られた２値化画像データをＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ４に格納する。
【００４９】
画像認識処理アクセラレータ２は上記画像処理の終了をＣＰＵ７に通知する。これを受けたＣＰＵ７は画像認識アプリケーションに規定された画像認識アルゴリズムに従って、フレームバッファＦＢ４の２値化画像データを読み込んで、車線と前方の自動車を認識する。画像認識アルゴリズムは、例えば２値画像中の白色画素の幾つかの集合が、特定の方向に傾いている、また、形状の相関値が認識したい物体に近い、等の判断を規定したものである。これによってＣＰＵ７は何を認識したかを示す情報、認識物の座標を取得する。ＣＰＵ７はその情報を描画プロセッサ８に渡し、認識物を強調させるためのＲＧＢ形式のグラフィックデータをＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ５に描画させる。例えば描画されたグラフィックデータは前方の自動車を強調するための輪郭、車線を強調するための強調ラインとされている。
【００５０】
表示コントローラ３は、表示タイミングに同期してＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ１又はＦＢ２に格納されているＹ形式画像データと、フレームバッファＦＢ５に描画されたグラフィックデータを読み出す。表示コントローラ３は、読み出したＹ形式画像データに対してＹＵＶ付加回路３Ｂを用いてＵＶデータを付加し、ＹＵＶ形式の画像データを生成し、このＹＵＶ形式の画像データを更にフォーマット変換回路３ＡでＲＧＢ形式の画像データに変換する。表示コントローラ３は、変換したＲＧＢ画像データと、フレームバッファＦＢ５からのＲＧＢ形式のグラフィックデータをレイヤー合成して外部に接続されるディスプレイ（ＤＩＳＰ）に表示する。
【００５１】
画像認識する対象は、主に車線（白線検知）、前方車、後方車、横断歩道、道路上に書かれたマーク(矢印や制限速度など)である。画像認識処理アクセラレータは、図２の説明ではメディアンフィルタ処理、エッジ検出処理、２値化処理をさせているが、γ補正、ランクフィルタ処理などの各種フィルタ処理、ヒストグラム処理、ラベリング処理など画像認識処理に必要なその他の処理を高速に行なってもよい。γ補正は、画像認識処理アクセラレータ内の濃度変換用メモリに、ＣＰＵ７により予め書き込まれたγ値補正テーブルに従い、輝度値を補正する処理である。各種フィルタ処理は、読み込んだ画像にフィルタを掛ける単位であるカーネル(例えば７×７のマトリックス)に、内部レジスタに設定された重み係数を変えることで行うことができる。カーネルのサイズは、レジスタ設定にて変更可能である。ヒストグラム処理は、Ｙ形式画像データ中の輝度値分布を求める処理である。ヒストグラム処理の結果は、画像認識処理アクセラレータ内のヒストグラムメモリに格納される。ラベリング処理は、２値画像中の白色画素に番号を付ける処理で、白色画素が縦横に繋がっている場合は1つの物体とみなし複数の番号を付けないものとする。
【００５２】
また、フレームバッファＦＢ１に格納された画像データ（モノクロ画像データ）を用いて、描画プロセッサ８又はＣＰＵ７によって、歪み補正処理及び鳥瞰図加工処理を行っても良い。歪み補正処理及び鳥瞰図加工処理された画像データは、ＤＤＲ−ＳＤＲＡＭ１７のフレームバッファに格納され、画像認識処理アクセラレータ２によって読み出され、引き続き前記フィルタ処理を行っても良い。歪み補正処理及び鳥瞰図加工処理以降の処理については、前記と同様の行われる。
【００５３】
図２の例では、画像認識処理アクセラレータ２のみで画像認識処理を行うことはできず、ＣＰＵ７が必要である。この点に関し、ＣＰＵ７とは別に画像認識処理アクセラレータ２内に専用のＣＰＵを設ける、又はＣＰＵ７に画像認識処理アクセラレータを搭載することで画像認識を単独で行うことも可能である。図２の例で画像認識処理アクセラレータ２は、読み込み３回、書き込み３回の計6回、ＤＤＲ−ＳＤＲＡＭ１７をアクセスしており、1つの画像データサイズがＶＧＡ（６４０×４８０画素）とすると１８４３２００バイト（１画素１バイト）のデータをＤＤＲ−ＳＤＲＡＭ１７とやり取りすることになる。例えば、画像認識処理アクセラレータ２がこの一連の処理を１フレーム間（３３．３ミリ秒）に完了させなければならないとしたら、１８４３２００÷０．０３３３≒５５．４Ｍｂ／ｓｅｃものデータバンド幅を要求する。画像認識処理アクセラレータ２にさらにフィルタ処理を行わせる場合もある。画像認識処理アクセラレータ２に高バンド幅とリアルタイム性の双方が要求されることは明らかである。
【００５４】
《バス調停》
図３には画像認識処理アクセラレータ２と表示コントローラ３のリアルタイム性の違いを例示する。画像認識処理アクセラレータ２は、１フレーム間（３３．３ミリ秒）に１０〜１３画面位の処理を行う。表示コントローラ３は、画像認識処理アクセラレータ２と比較して短い時間（約７．３マイクロ秒）内に表示コントローラ３内にある表示データバッファが空になる前に、第１バスＢＵＳ１にバスリクエストとしてデータ転送リクエストを発行し、ＤＤＲ−ＳＤＲＡＭ１７からデータを読み込んで、当該表示データバッファを満たさなければならない。前記表示データバッファに格納されるデータは、外部に接続される液晶ディスプレイ（ＬＣＤ−ＤＳＰ）等に対し所定のタイミング（ここでは上記約７．３マイクロ秒）に従って、出力される。表示データバッファに対するデータが準備されないことにより、出力が間に合わない場合には、表示乱れ等の問題が発生してしまう。このように表示コントローラ３の方が画像認識処理アクセラレータ２より制約時間が短く、厳しいリアルタイム性が要求される。
【００５５】
表示コントローラ３は画像認識処理アクセラレータ２より厳しいリアルタイム性が要求され、画像認識処理アクセラレータ２には高データバンド幅も要求されるといる性質の夫々を満足させるように、調停回路ＡＲＢ１，ＡＲＢ２はそれらに共有されるＤＤＲ−ＳＤＲＡＭ１７のアクセスに対するバスリクエストの競合を調停する。
【００５６】
図４には調停回路ＡＲＢ１，ＡＲＢ２による第１の調停形態が例示される。第１のバス調停形態において、第１調停回路ＡＲＢ１は第１バスＢＵＳ１に接続されるバスマスタである画像認識処理アクセラレータ（ＩＭＧ）２、画像データ入力部（ＶＤＯＩＮ１，ＶＤＯＩＮ２）４，５、表示コントローラ３からのバスリクエストの競合をラウンドロビンにより調停する。第２調停回路ＡＲＢ２は第２バスＢＵＳ２に接続されるバスマスタであるＣＰＵ７、ＤＭＡＣ９、描画プロセッサ（ＧＲＦ）８およびフォーマット変換回路（ＦＣＯＮＶ１）１０からのバスリクエストの競合をラウンドロビンにより調停すると共に、当該調停結果と前記第１調停回路ＡＲＢ１による調停結果との間の競合をラウンドロビンにより調停する。ラウンドロビンによる調停は、受け付け可能な全ての要求に対して優先度を動的に変更して調停を行うものであり、バス調停毎に、要求が許容されたバスリクエストの次の優先度を最低に付け代え、その他のバスリクエストの優先度を夫々１段階高位に付け代えるという手順を踏む。最もリアルタイム性の要求が強い表示コントローラ３からのバスリクエストに対しては表示０から表示９の連続する動的優先度を与えるようになっている。表示制御のリアルタイム性を向上させるためである。その他の回路モジュール（ＶＤＯＩＮ１，ＶＤＯＩＮ２，ＩＭＧ，ＣＰＵ，ＧＲＦ，ＤＭＡＣ，ＦＣＯＮＶ１）に対しては１個づつ動的優先度を与えるようになっている。第２調停回路ＡＲＢ２はバス使用を許容したバスリクエストに係るバス使用の最大持ち時間を既定データ量、例えば１２８バイトの転送までとする制御を行う。一つのバスマスタによるバス占有時間が長くなり過ぎないようにするためである。
【００５７】
図４のバス調停形態による調停結果の例を説明する。例えばこの調停の対象にされる全ての回路モジュールが初めにバスリクエストを同時に発行し、且つ全ての回路モジュールがバスリクエストを出し続けた場合は、表示０→ＣＰＵ→ 表示１→ＧＲＦＣ→表示２→ＤＭＡＣ→表示３→ＦＣＯＮＶ１→表示４→ＣＰＵ→・・・→ＶＤＯＩＮ１→ＤＭＡＣ→ＶＤＯＩＮ２→ＦＣＯＮＶ１→ＩＭＧ→ＣＰＵ→表示０→・・・のような順番でバスリクエストが認められるように調停される。実際は、表示コントローラ３、画像入力部４，５はバスリクエストを発行しつづけることはなく、決められた時間ごとにリクエストを発行する。そのため表示コントローラ３及び画像入力部４，５がバスリクエストを発行しない時は、図５に示すアービトレーションの結果を等価となる。バスリクエストを発行しない回路モジュールはそのときの調停対象からは外されるからである。この場合には、ＩＭＧ→ＣＰＵ→ＩＭＧ→ＧＲＦＣ→ＩＭＧ→ＤＭＡＣ→ＩＭＧ→ＦＣＯＮＶ１→ＩＭＧ→ＣＰＵ→・・・のように調停される。
【００５８】
この調停により、リアルタイム性モジュール間でのバス調停、非リアルタイム性モジュール間でのバス調停、そして双方の調停結果に対する調停の夫々に、ラウンドロビンを採用するから、第１バスＢＵＳ１に接続されたリアルタイム性モジュールに対するリアルタイム性の確保、第２バスＢＵＳ２に接続された非リアルタイム性モジュールのデータバンド幅激減の抑制、第１バスＢＵＳ１に接続された画像認識処理アクセラレータ２に対する高データバンド幅の保証を夫々実現することができる。
【００５９】
図６には一部に固定優先レベルを併用した第２の調停形態が例示される。前記第１調停回路ＡＲＢ１は第１バスＢＵＳ１に接続される画像データ入力部４，５及び前記表示コントローラ３からのバスリクエスト間の競合をラウンドロビンにより調停する。前記第２調停回路ＡＲＢ２は、前記第２バスＢＵＳ２に接続されるバスマスタモジュールであるＣＰＵ７、ＤＭＡＣ９、描画プロセッサ８およびフォーマット変換回路１０からのバスリクエスト間の競合を第１のラウンドロビンにより調停し且つ当該第１のラウンドロビンによる調停結果と前記画像認識処理アクセラレータ２からのバスリクエストとの間の競合に対しては第２のラウンドロビンによる調停を行い、前記第１調停回路ＡＲＢ１による調停結果と、前記第２のラウンドロビンによる調停結果の競合に対しては、前記第１調停回路ＡＲＢ１による調停結果に高い優先度を認めた優先レベル制御を行う。第１固定優先度（Ｌｅｖ０）は第２固定優先度（Ｌｅｖ１）よりも高い優先度が与えられている。
【００６０】
図６のバス調停形態による調停結果の例を説明する。例えばこの調停の対象にされる全てのバスマスタが初めにバスリクエストを同時に発行し、且つ画像認識処理アクセラレータ２、ＣＰＵ７、ＧＲＦＣ８、ＤＭＡＣ９、ＦＣＯＮＶ１がリクエストを出しつづけた時は、表示０→表示１→・・・→ＶＤＯＩＮ１→ＶＤＩＯＮ２→ＩＭＧ→ＣＰＵ→ＩＭＧ→ＧＲＦＣ→ＩＭＧ→ＤＭＡＣ→ＩＭＧ→ＦＣＯＮＶ１→ＩＭＧ→ＣＰＵ→・・・のように調停される。この場合も図４と同様に、表示コントローラ３、画像入力部４，５は、決められた時間ごとにバスリクエストを発行する。このため、表示コントローラ３と画像入力部４，５がバスリクエストを発行しない時は、図５と等価になる。図４のバス調停に比べて、非リアルタイム性モジュールが取得可能なデータバンド幅は減少し、画像認識処理アクセラレータ２が取得可能なデータバンド幅は増大する。
【００６１】
図７には更に深い固定優先レベルを一部に併用した第３の調停形態が例示される。第３のバス調停形態において、前記第１調停回路ＡＢＲ１は第１バスＢＵＳ１に接続される前記画像データ入力部４，５及び前記表示コントローラ３からのバスリクエスト間の競合をラウンドロビンにより調停する。前記第２調停回路ＡＲＢ２は、前記第２バスＢＵＳ２に接続されるバスマスタモジュールであるＣＰＵ７、ＤＭＡＣ９、描画プロセッサ８およびフォーマット変換回路１０からのバスリクエスト間の競合を第１のラウンドロビンにより調停し、前記第１調停回路ＡＲＢ１による調停結果と、前記第１のラウンドロビンによる調停結果と、前記画像認識処理アクセラレータ２からのバスリクエストとの間の競合に対しては、前記第１調停回路ＡＲＢ１による調停結果に最も高い優先度（Ｌｖｅ０）を認め、前記画像認識処理アクセラレータ２からのバスリクエストに対して次位の優先度（Ｌｅｖ１）を認め、第１ラウンドロビンによる調停結果には最下位の優先レベル（Ｌｅｖ２）を認めた優先レベル制御を行う。
【００６２】
図７のバス調停形態による調停結果の例を説明する。例えばこの調停の対象にされる全てのバスマスタが初めにバスリクエストを同時に発行し（１回）した時は、表示０→表示１→ ・・・ →ＶＤＯＩＮ１→ＶＤＯＩＮ２→ＩＭＧ→ＣＰＵ→ＧＲＦＣ→ＤＭＡＣ→ＦＣＯＮＶ１のように調停される。これによれば、図６のバス調停に比べて、非リアルタイム性モジュールが取得可能なデータバンド幅は減少し、画像認識モジュールが取得可能なデータバンド幅は増大する。
【００６３】
図８には図４、６、７のアービトレーション方法に従ってデータバンド幅を計算したものである。前提条件は、メモリコントローラ５とＤＤＲ−ＳＤＲＡＭ１７との間の総データバンド幅を５００メガ・バイト／秒（Ｍｂ／ｓｅｃ）とし、表示コントローラ３は２００Ｍｂ／ｓｅｃ、画像入力部４及び５は１００Ｍｂ／ｓｅｃを要求するものとし、転送サイズの比をリアルタイム性モジュール：非リアルタイム性モジュール＝４：１とする。ＴｙｐＡは図４の調停形態、ＴｙｐＢは図６の調停形態、ＴｙｐＣは図７の調停形態の場合を意味する。ＴｙｐＡ，ＴｙｐＢの場合は、画像認識処理アクセラレータ２、ＣＰＵ７、描画プロセッサ８、ＤＭＡＣ９、フォーマット変換回路（ＦＣＯＮＶ１）１０がバスリクエストを発行し続ける。ＴｙｐＣの場合は、ＣＰＵ７、描画プロセッサ８、ＤＭＡＣ９、フォーマット変換回路（ＦＣＯＮＶ１）１０がバスリクエストを発行し続け、画像認識処理アクセラレータ２は１８０Ｍｂ／ｓｅｃを要求するものとする。
【００６４】
図８のＴｙｐＡの調停結果の場合は、リアルタイム性モジュールと非リアルタイム性モジュールの転送サイズ比が４：１なので（リアルタイム性モジュールは１２８バイト／ｓｅｃ、非リアルタイム性モジュールは３２バイト／ｓｅｃ）、リアルタイム性モジュールが４００Ｍｂ／ｓｅｃ，非リアルタイム性モジュールが１００Ｍｂ／ｓｅｃを獲得する。表示コントローラ３は２００Ｍｂ／ｓｅｃ、画像データ入力部４，５は１００Ｍｂ／ｓｅｃを要求するので、画像認識処理アクセラレータ２が獲得可能なバンド幅は１００Ｍｂ／ｓｅｃである。非リアルタイム性モジュールは、１００Ｍｂ／ｓｅｃを均等に分け合い、ＣＰＵ７、描画プロセッサ（ＧＲＦＣ）８、ＤＭＡＣ９、フォーマット変換回路（ＦＣＯＮＶ１）１０がそれぞれ２５Ｍｂ／ｓｅｃのデータバンド幅を獲得することが可能である。
【００６５】
図８のＴｙｐＢの場合は、初めに表示コントローラ３は２００Ｍｂ／ｓｅｃ、画像データ入力部４，５は１００Ｍｂ／ｓｅｃを獲得する。残りの２００Ｍｂ／ｓｅｃを画像認識処理アクセラレータ２、ＣＰＵ７、描画プロセッサ（ＧＲＦＣ）８、ＤＭＡＣ９、フォーマット変換回路（ＦＣＯＮＶ１）１０が取り合う。リアルタイム性モジュールと非リアルタイム性モジュールの転送サイズ比が４：１なので、画像認識処理アクセラレータ２が１６０Ｍｂ／ｓｅｃのデータバンド幅を獲得し、ＣＰＵ７、描画プロセッサ（ＧＲＦＣ）８、ＤＭＡＣ９、フォーマット変換回路（ＦＣＯＮＶ１）１０がそれぞれ１０Ｍｂ／ｓｅｃのバンド幅を獲得することが可能である。
【００６６】
図８のＴｙｐＣの場合は、初めに表示コントローラ３は２００Ｍｂ／ｓｅｃ、画像データ入力部４，５は１００Ｍｂ／ｓｅｃを獲得する。次に画像認識処理アクセラレータ２が１８０Ｍｂ／ｓｅｃのバンド幅を獲得する。残りの２０Ｍｂ／ｓｅｃをＣＰＵ７、描画プロセッサ（ＧＲＦＣ）８、ＤＭＡＣ９、フォーマット変換回路（ＦＣＯＮＶ１）１０が均等に分け合い、それぞれ５Ｍｂ／ｓｅｃのデータバンド幅を獲得することが可能である。
【００６７】
ＴｙｐＡ、ＴｙｐＢ、ＴｙｐＣの何れもバス調停方式も、表示コントローラ３、画像データ入力部４，５のリアルタイム性を保証でき、非リアルタイム性モジュールであるＣＰＵ７、描画プロセッサ８、ＤＭＡＣ９、及びフォーマット変換回路（ＦＣＯＮＶ１）１０のデータバンド幅を確保でき、更に、画像認識処理アクセラレータ２のリアルタイム性保証と高データバンド幅の確保が可能である。
【００６８】
ＴｙｐＡ、ＴｙｐＢ、ＴｙｐＣのバス調停方式の何れか一つに固定してもよいし、選択化可能であってもよい。例えばＣＰＵ７によってアクセス可能なコントロールレジスタを設け、前記第１調停回路ＡＲＢ１及び第２調停回路ＡＲＢ２は、前記コントロールレジスタの設定値に従って調停の制御形態をＴｙｐＡ、ＴｙｐＢ、Ｔｙｐの内の一つに設定されるようにすればよい。
【００６９】
《データフォーマット変換》
図９には画像データ処理装置１による画像処理をデータの流れに従って全体的に示される。ＣＰＵ７及び描画プロセッサ８を用いて行う歪み補正又は鳥瞰図加工(Ｓ３)はＲＧＢ又はＹのみ形式の画像データでしか行えない。画像認識処理(Ｓ５)はＹのみ又はＹＵＶ形式の画像データでしか行えない。描画処理(Ｓ６)はＲＧＢ形式の画像データでしか行えない。表示コントローラ３はディスプレイにＲＧＢ形式の画像データを出力しなければならない(Ｓ８)。これら処理と対応画像フォーマットの関係は図１０に示される。そのような処理を実現する関係で、画像データ処理装置１は複数の画像フォーマット変換回路３Ａ，３Ｂ，４Ａ，５Ａ，１０を備える。
【００７０】
画像データ処理装置１には外部のビデオカメラ等からＹＵＶ形式又はＲＧＢ形式の画像データが供給される（Ｓ１）。画像データ入力部４，５は供給された画像データの取り込みと第１フォーマット変換処理を行なうことができる（Ｓ２）。Ｓ２の第１フォーマット変換処理では、ＹＵＶ形式の画像データをＹのみ形式の画像データに、又はＹＵＶ形式の画像データをＲＧＢ形式の画像データにすることができる。また、ＲＧＢ形式の画像データが取り込まれた場合には前記第１フォーマット変換（Ｓ２）は行われない。歪み補正又は鳥瞰図加工(Ｓ３)は、描画プロセッサ８又はＣＰＵ７で行う。第２フォーマット変換処理（Ｓ４）は歪み補正又は鳥瞰図加工された画像データに対してＲＧＢフォーマットをＹＵＶフォーマットに変換する。また、Ｙのみ形式の画像データに対して歪み補正又は鳥瞰図加工された場合には、前記第２フォーマット変換は行われない。
【００７１】
画像認識処理（Ｓ５）は例えば画像認識処理アクセラレータ２とＣＰＵ７行う。描画処理（Ｓ６）は描画プロセッサ８で行う。第３フォーマット変換及びディスプレイ出力処理（Ｓ７）は表示コントローラ３で行う。ステップＳ７の第３フォーマット変換処理ではステップＳ３の処理結果データ、描画処理Ｓ６の結果データ、画像認識処理Ｓ５の途中結果データ（エッジ検出処理やγ補正の結果データ）を入力する。この第３フォーマット変換処理では、Ｙのみ形式の画像データにＵＶデータを付加してＹＵＶ形式の画像データにすることができ、また、ＹＵＶ形式の画像データをＲＧＢ形式の画像データに変換することもできる。表示コントローラ３は、Ｙのみ画像データ→ＹＵＶフォーマット→ＲＧＢフォーマットの変換を一貫して行うことができる。ステップＳ７の処理では、画像認識結果に基づいて描画(Ｓ６)されたＲＧＢ形式のグラフィックデータと、ステップＳ３の処理で歪み補正又は鳥瞰図加工されたＲＧＢ形式の画像データとをマルチレイヤーでディスプレイに出力すことができる。また、ステップＳ７の処理では、ステップＳ３の処理で歪み補正又は鳥瞰図加工されたＹのみ形式の画像データまたは、ステップＳ３の処理で歪み補正または鳥瞰図加工されてステップＳ４でフォーマット変換されたＹＵＶデータに対してＲＧＢ変換を行った画像データに対し、画像認識処理（Ｓ５）の結果に対して描画(Ｓ６)されたＲＧＢ形式のグラフィックデータを重ねて外部に接続されるディスプレイにマルチレイヤーで出力することができる。図１１には表示コントローラ３内部でのフォーマット変換とマルチレイヤー出力におけるデータの流れが例示される。
【００７２】
図１２には図９において画像データ入力部４，５を介してＹＵＶ形式の画像データを入力した場合の画像フォーマット変換処理の組合せ例を示す。図１３には図９においてＲＧＢ形式の画像データを入力した場合の画像フォーマット変換処理の組合せ例を示す。図１２、図１３のフォーマット変換処理の組合せは、図１０に示す条件を満たせばこれ以外でも可能であることは言うまでもない。
【００７３】
図１２のフォーマット変換の第１組合せの例として、駐車支援や三次元画像認識(視差を利用して対象物までの距離を求める)を想定したものである。カメラから取込んだ画像を歪み補正し、障害物(車や人)、白線（車線や横断歩道）を認識して、描画プロセッサ８で障害物(車や人)、白線にカラーの四角や楕円、太線を描き、重ね合わせてＬＣＤディスプレイに表示するまでの処理とデータの流れを説明する。
【００７４】
まずＹＵＶ形式の画像データを外部から入力し、画像データ入力部４，５で画像データを取り込む。Ｓ２の第１フォーマット変換処理でＹＵＶ→Ｙ変換を行いＹのみ形式の画像データをＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ１０に書き込む。フレームバッファＦＢ１０に書き込まれたＹのみ形式の画像データを読み込み、歪み補正又は鳥瞰図加工をＣＰＵ７又は描画プロセッサ８で行い、ＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ１１に書き込む。そのＹのみ形式の画像データに対してはＳ４の第２フォーマット変換は行わない。フレームバッファＦＢ１１に書き込まれたＹのみ形式の画像データを画像認識処理アクセラレータ２が読み込み、ＣＰＵ７が認識出来る状態にフィルタリング処理等の画像処理を行い、ＤＤＲ−ＳＤＲＡＭ１７のレームバッファＦＢ１２に書き込む。ＣＰＵ７がフレームバッファＦＢ１２に格納されたＹのみ形式の画像データ（２値画像データであってもよい）を読み込んで認識処理を行ない、認識結果(何を認識したか)と認識物の座標データ(認識した物体が画像データ中のどの座標にあるかを特定する座標データ)を描画プロセッサ８に渡す。受け取った認識結果と認識物の座標データを元に、描画プロセッサ８は認識物の強調するための描画をＲＧＢ形式の画像データとして(マーキングや図柄など)ＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ１３に行う。
【００７５】
画像認識処理を行った途中経過のＹのみ形式の画像データ(γ補正や平滑化処理などを行った)が、例えばフレームバッファＦＢ１４に格納されているとする。このフレームバッファＦＢ１４に格納されているＹのみ形式の画像データはγ補正や平滑化処理などの処理を行った後の画像データであるため、フレームバッファＦＢ１０に格納される画像データ入力部から入力されてフォーマット変換されたＹのみ形式の画像データ又はフレームバッファＦＢ１１に格納される歪み補正又は鳥瞰図加工が行われたＹのみ形式の画像データより鮮明であることは言うまでもない。表示コントローラ３は、フレームバッファＦＢ１３に格納されたＲＧＢ形式の画像データ(認識物を強調するために描いた画像)と、フレームバッファＦＢ１４に格納されたＹのみ形式の画像データを読み出す。表示コントローラ３は、Ｓ７の第３フォーマット変換処理としてYのみ形式の画像データにＵＶデータを付加し、ＹＵＶ形式の画像データとし、更にこれをＲＧＢ形式の画像データに変換し、その後フレームバッファＦＢ１３に格納された前記ＲＢＧ形式の画像データと共にレイヤー合成して１枚のＲＧＢ形式の画像データとしてＬＣＤディスプレイ等の外部表示装置に出力する。画像認識では、Ｙのみ形式の画像データを処理するので、ＹＵＶ形式の画像データで画像認識処理を行なう場合より高速に処理することができる。
【００７６】
第１組合せにおいてＳ６の描画処理を行わない場合も、第１乃至第３フォーマット変換処理の組合せは変わらない(歪み補正と画像認識処理は行う)。また画像歪み補正を行わない場合も、第１乃至第３フォーマット変換処理の組合せは変わらない(画像認識処理と描画処理は行う)。
【００７７】
図１２のフォーマット変換の第２組合せの例は、色を用いた画像認識を行う場合(例えば標識や信号の色)を想定したものである。まずＹＵＶ形式の画像データを外部から入力し、画像データ入力部４，５で画像データを取り込む。Ｓ２の第１フォーマット変換処理ではＹＵＶ→ＲＧＢ変換を行い、ＲＧＢ形式の画像データをＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ１５に書き込む。フレームバッファＦＢ１５に書き込まれたＲＢＧ形式の画像データを読み込み、歪み補正又は鳥瞰図加工をＣＰＵ７又は描画プロセッサ８で行い、その結果をＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ１６に書き込む。Ｓ４の第２フォーマット変換処理として、フレームバッファＦＢ１６に書き込まれたＲＧＢ形式の画像データをフォーマット変換回路１０でＲＧＢ→ＹＵＶへ変換し、変換結果をＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ１７に書き込む。フレームバッファＦＢ１７のＹＵＶ形式の画像データを画像認識処理アクセラレータ２が読み込み、ＣＰＵ７が認識出来る状態に処理して、ＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ１８に書き込む。ＣＰＵ７がフレームバッファＦＢ１８に格納されたＹのみ画像データ（２値画像データであってもよい）を読み込んで認識処理を行ない、認識結果(何を認識したか)と認識物の座標データを描画プロセッサ８に渡す。描画プロセッサ８は受け取った認識結果と認識物の座標データを元に、認識物を強調するための描画(マーキングや図柄など)をＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ１９に行う。表示コントローラ３は、フレームバッファＦＢ１６に書き込まれたＲＧＢ形式の画像データとフレームバッファＦＢ１９に書き込まれたＲＧＢ形式の画像データを読み出し、読み出した２フレームの画像データをレイヤー合成して１フレームのＲＧＢ形式の画像データとして外部に出力する。
【００７８】
図１２のフォーマット変換の第３組合せの例は、駐車時にバックカメラから取込んだ画像を、歪み補正のみ行ってＬＣＤディスプレイに表示することを想定している。先ず、ＹＵＶ形式の画像データを外部から入力し、画像データ入力部４，５からその画像データを取り込む。Ｓ２のフォーマット変換処理でＹＵＶ→ＲＧＢへの変換を行いＲＧＢ形式の画像データをＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ２０に書き込む。ＣＰＵ７又は描画プロセッサ８はフレームバッファＦＢ２０に書き込まれたＲＧＢ形式の画像データを読み込み、歪み補正又は鳥瞰図加工を行い、その処理結果データをフレームバッファＦＢ２１に書き込む。Ｓ４の第２フォーマット変換処理は行なわず、フレームバッファＦＢ２１に格納されたＲＧＢ形式の画像データを、表示コントローラ３が読み込む。表示コントローラ３は第３フォーマット変換を行わずに、そのＲＧＢ形式の画像データをＬＣＤディスプレイに向けて出力する。
【００７９】
図１３の第４組合せは、外部からのＲＧＢフォーマットの画像データを入力して駐車支援や三次元画像認識(視差を利用して対象物までの距離を求める)を想定したものである。まずＲＧＢ形式の画像データを外部から入力し、画像データ入力部４，５で画像データを取り込む。Ｓ２のフォーマット変換処理でＲＧＢ→ＹＵＶ→Ｙのみ形式のフォーマット変換を行い、Ｙのみ形式の画像データをＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ２２に書き込む。ＣＰＵ７又は描画プロセッサ８は、フレームバッファＦＢ２２に書き込まれたＹのみ画像データを読み込み、歪み補正又は鳥瞰図加工を行い、その処理結果をＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ２３に書き込む。Ｙのみ形式の画像データなのでＳ４の第２フォーマット変換は不要である。フレームバッファＦＢ２３に書き込まれたＹのみ形式の画像データを画像認識処理アクセラレータ２が読み込み、ＣＰＵ７が認識出来る状態に画像処理し、ＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ２４に格納する。ＣＰＵ７はフレームバッファＦＢ２４に格納されたＹのみ形式の画像データ（２値画像データであってもよい）を読み込んで認識処理を行ない、認識結果(何を認識したか)と認識物の座標データを描画プロセッサ８に渡す。描画プロセッサ８は、受け取った認識結果と認識物の座標データを元に、認識物の強調するための描画(マーキングや図柄など)をフレームバッファＦＢ２５に対して行う。画像認識処理を行った途中経過のＹのみ画像データ(γ補正や平滑化処理などを行った)が、例えばフレームバッファＦＢ２６に格納されているとする。このフレームバッファＦＢ２６に格納されているＹのみ形式の画像データはγ補正や平滑化処理などの処理を行った後の画像データであるため、フレームバッファＦＢ２２又はＦＢ２３に格納されているＹのみ形式の画像データより鮮明であることは言うまでもない。表示コントローラ３は、フレームバッファＦＢ２５に格納されたＲＧＢ形式の画像データ(認識物を強調するために描いた画像)と、フレームバッファＦＢ２６に格納されたＹのみ画像データを読み出す。表示コントローラ３は、Ｓ７の第３フォーマット変換によりYのみの画像データにＵＶデータを付加し、ＹＵＶ形式の画像データとし、更にこれをＲＧＢ形式の画像データに変換する。その後レイヤー合成して1枚のＲＧＢ形式の画像データとして外部に出力する。Ｙのみ形式の画像データを用いて画像認識を行うので、ＲＧＢ形式の画像データを用いて画像認識を行う場合に比べて高速に処理を行なうことができる。
【００８０】
図１３の第５組合せは、外部からのＲＧＢフォーマットの画像データを入力し、色を用いた画像認識を行う場合を想定したものである。まずＲＧＢ形式の画像データを外部から入力し、画像入力部４，５で画像データを取り込み、ＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ２７に格納する。ＲＧＢ形式の画像データであるためＳ２の第１フォーマット変換処理は不要である。ＣＰＵ７又は描画プロセッサ８はフレームバッファＦＢ２７に書き込まれたＲＧＢ形式の画像データを読み込み、歪み補正又は鳥瞰図加工を行い、その処理結果をフレームバッファＦＢ２８に書き込む。Ｓ４の第２フォーマット変換処理として、フレームバッファＦＢ２８に格納されているＲＧＢ形式の画像データをフォーマット変換回路１０が読み込んでＲＧＢ→ＹＵＢ変換を行い、変換結果をＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ２９に書き込む。フレームバッファＦＢ２９に書き込まれたＹＵＶ形式の画像データは画像認識処理アクセラレータ２が読み込み、ＣＰＵ７が認識できる状態に画像処理し、ＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ３０に書き込む。ＣＰＵ７はフレームバッファＦＢ３０に格納されているＹのみ形式の画像データ（２値画像データであってもよい）を読み込んで画像認識処理を行い、認識結果(何を認識したか)と認識物の座標データを描画プロセッサ８に渡す。描画プロセッサ８は受け取った認識結果と認識物の座標データを元に、認識物の強調するための描画(マーキングや図柄など)をフレームバッファＦＢ３１に行う。画像認識処理を行った途中経過のＹＵＶ形式の画像データが例えばフレームバッファＦＢ３２に格納されているとする。このフレームバッファＦＢ３２に格納されているＹＵＶ形式の画像データは画像処理後の画像データであるため、フレームバッファＦＢ２７に格納されているＲＧＢ形式の画像データ、又はフレームバッファＦＢ２８又はＦＢ２９に格納されているＹＵＶ形式の画像データより、鮮明であることは言うまでもない。表示コントローラ３はフレームバッファＦＢ３２に書き込まれたＹＵＶ形式の画像データと、フレームバッファＦＢ３１に書き込まれたＲＧＢ形式の画像データを読み込んで、Ｓ７の第３フォーマット変換処理でＹＵＶ形式の画像データをＲＧＢ形式の画像データにフォーマット変換を行い、両者を合成して外部ＬＣＤディスプレイに出力する。
【００８１】
図１３の第６組合せは、外部からのＲＧＢフォーマットの画像データを入力し、色を用いた画像認識を行う場合(例えば標識や信号の色)を想定したものである。まずＲＧＢ形式の画像データを外部から入力し、画像データ入力部４，５で画像データを取り込む。ＲＧＢ形式の画像データであるため第１フォーマット変換処理を行わずにＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ３３に格納する。ＣＰＵ７又は描画プロセッサ８はフレームバッファＦＢ３３に格納されたＲＧＢ形式の画像データを読み込み、歪み補正又は鳥瞰図加工を行って、フレームバッファＦＢ３４に書き込む。Ｓ４の第２フォーマット変換処理として、フレームバッファＦＢ３４に書き込まれたＲＧＢ形式の画像データをフォーマット変換回路１０が読み込んでＲＧＢ→ＹＵＶ変換を行い、ＤＤＲ−ＳＤＲＡＭ１７のフレームバッファＦＢ３５に格納する。フレームバッファＦＢ３５格納されたＹＵＶ形式の画像データを画像認識処理アクセラレータ２が読み込み、ＣＰＵ７が認識出来る状態に処理し、フレームバッファＦＢ３６に格納する。ＣＰＵ７がフレームバッファＦＢ３６に格納されたＹのみ形式画像データ（２値画像データであってもよい）を読み込んで、画像認識処理を行ない、認識結果(何を認識したか)と認識物の座標データを描画プロセッサ８に渡す。描画プロセッサ８は受け取った認識結果と認識物の座標データを元に、認識物の強調するためのマーキングや図柄などをフレームバッファＦＢ３７に描画する。フレームバッファＦＢ３４に書き込まれたＲＧＢ形式の画像データと、フレームバッファＦＢ３７に描画されたＲＧＢ形式の画像データを、表示コントローラ３が読み出し、両画像ともＲＧＢ形式の画像データであるため第３フォーマット変換処理を行わず、レイヤー合成し、ＲＧＢ形式の画像データとして外部ＬＣＤディスプレイに出力する。
【００８２】
以上説明した画像データ処理装置１によれば以下の作用効果がある。
【００８３】
（１）リアルタイム性を要するモジュール間のバス調停結果と他のモジュールのバスリクエストとの間で調停を行い、また、調停手法として、優先度を順次動的に変更するラウンドロビンによるバス調停、ラウンドロビンと共に一部に固定的優先レベル制御を加えたバス調停を行うから、第１バスＢＵＳ１に接続されたリアルタイム性を要するモジュールに対するリアルタイム性の確保、第２バスＢＵＳ２に接続された非リアルタイム性モジュールのデータバンド幅激減の抑制、第１バスＢＵＳ１に接続された画像認識処理アクセラレータ２に対する高データバンド幅の保証を夫々実現することができる。
【００８４】
（２）更に、表示コントローラ３は画像認識処理アクセラレータ２より厳しいリアルタイム性が要求され、画像認識処理アクセラレータ２には高データバンド幅も要求されるといる性質の夫々を満足させるように、調停回路ＡＲＢ１，ＡＲＢ２でバス調停を実現することができる。
【００８５】
（３）画像データ入力部４，５がフォーマット変換回路４Ａ，５Ａを有し、表示コントローラ３がフォーマット変換回路３Ａを有し、ＲＧＢからＹＵＶへのフォーマット変換回路１０を有するから、外部から入力されるが画像データに対するフォーマット変換、外部ディスプレイ装置に表示データを出力するためのフォーマット変換、ＹＵＶフォーマットで行う画像認識やＲＧＢフォーマットで行う描画等の内部の画像処理に好適なフォーマット間のフォーマット変換に夫々対応することができる。
【００８６】
（４）上記より、画像データ処理装置１は、高データバンド幅とリアルタイム性が要求される画像認識処理アクセラレータ２をオンチップ化したこと、その他にリアルタイム性が要求されるモジュール３，４，５と非リアルタイム性モジュールであっても、ある程度のデータバンド幅が必要なモジュール７，８，９，１０が同一チップ上に並存し、オンチップされた複数のバスマスタモジュールが外部のＤＤＲ−ＳＤＲＡＭ１７を共有することを夫々実現することができる。
【００８７】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【００８８】
例えば、中央処理処理装置はキャッシュメモリ及びアドレス変換バッファを備える構成に限定されない。第２バスＢＵＳ２は階層的に構成されていてもよい。これに伴って調停回路ＡＲＢ２も階層的に構成されていてよい。当然その場合に第１調停回路ＡＲＢ１との調停機能は調停回路ＡＲＢ２の最上位階層で行えばよい。画像データ処理装置１はその他のアクセラレータや周辺回路を備えてよい。
【００８９】
また、図示はしないが、画像データ処理装置１は、メモリＤＤＲ−ＳＤＲＡＭ１７と同一のパッケージに封止されて、配線基板を介してバンプやワイヤボンディングによって電気的に接続されていてもよいし、それぞれ異なるパッケージに封止されたものを実装基板上で配線を介して接続されるように構成されていてもよい。
【図面の簡単な説明】
【００９０】
【図１】本発明を適用した画像データ処理装置のブロック図である。
【図２】画像認識処理の一例を示す説明図である。
【図３】画像認識処理アクセラレータと表示コントローラのリアルタイム性の違いを例示する説明図である。
【図４】調停回路による第１の調停形態（ＴｙｐＡ）を例示する説明図である。
【図５】表示コントローラ及び画像入力部がバスリクエストを発行しない時における等価的な調停形態を示す説明図である。
【図６】一部に固定優先レベルを併用した第２の調停形態（ＴｙｐＢ）を例示する説明図である。
【図７】更に深い固定優先レベルを一部に併用した第３の調停形態（ＴｙｐＣ）を例示する説明図である。
【図８】図４、６、７のアービトレーション方法に従って計算したデータバンド幅を示す説明図である。
【図９】画像データ処理装置による画像処理をデータの流れに従って全体的に示したフローチャートである。
【図１０】画像データ処理装置における画像処理と画像データフォーマットとの対応関係を例示する説明図である。
【図１１】表示コントローラ内部でのフォーマット変換とマルチレイヤー出力におけるデータの流れを例示する説明図である。
【図１２】図９においてＹＵＶ形式の画像データを入力した場合の画像フォーマット変換処理の組合せ例を示す説明図である。
【図１３】図９においてＲＧＢ形式の画像データを入力した場合の画像フォーマット変換処理の組合せ例を示す説明図である。
【符号の説明】
【００９１】
１  画像データ処理装置
ＢＵＳ１  第１バス
ＢＵＳ２  第２バス
２  画像認識処理アクセラレータ（ＩＭＧ：画像認識モジュール）
３  表示コントローラ(ＤＩＳＰＣＮＴ：表示制御部)
４  画像データ入力部（ＶＤＯＩＮ１）
５  画像データ入力部（ＶＤＯＩＮ２）
７  中央処理装置（ＣＰＵ）
８  描画プロセッサ（ＧＲＦＣ）
９  ダイレクト・メモリ・アクセス・コントローラ（ＤＭＡＣ）
１０  画像データのフォーマット変換回路（ＦＣＯＮＶＭ１）
１５  メモリコントローラ（ＭＣＮＴ）
１７  ＤＤＲ−ＳＤＲＡＭ（外部メモリ）
【図１】
2008021228.tif 000003
【図２】
2008021228.tif 000004
【図３】
2008021228.tif 000005
【図４】
2008021228.tif 000006
【図５】
2008021228.tif 000007
【図６】
2008021228.tif 000008
【図７】
2008021228.tif 000009
【図８】
2008021228.tif 000010
【図９】
2008021228.tif 000011
【図１０】
2008021228.tif 000012
【図１１】
2008021228.tif 000013
【図１２】
2008021228.tif 000014
【図１３】
2008021228.tif 000015