(57)【特許請求の範囲】
【請求項１】
バスと、
前記バスに接続される複数の画像処理モジュールと、
前記バスに接続されるデータ変換部と、
前記データ変換部を介して、前記バスに接続されるメモリとを備え、
前記データ変換部は、前記複数の画像処理モジュールと前記メモリとの間で転送される画像データのデータ形式とデータ配置方式の内の少なくと１つを変換をする画像処理装置。
【請求項２】
前記データ変換部は、形式変換モジュールを有し、
前記形式変換モジュールは、前記複数の画像処理モジュールと前記メモリとの間で転送される画像データのデータ形式を変換する、請求の範囲第１項記載の画像処理装置。
【請求項３】
前記形式変換モジュールは、前記複数の画像処理モジュールの内１つのモジュールから前記メモリに転送さる画像データのデータ形式が、前記メモリのデータ形式と異なる場合、前記画像データのデータ形式を前記メモリのデータ形式に変換する、請求の範囲第２項記載の画像処理装置。
【請求項４】
前記形式変換モジュールは、前記メモリから前記複数の画像処理モジュールの内の１つの転送先モジュールに転送される画像データのデータ形式が、前記転送先モジュールのデータ形式と異なる場合、前記画像データのデータ形式を前記転送先モジュールのデータ形式に変換する、請求の範囲第２項記載の画像処理装置。
【請求項５】
前記形式変換モジュールは、複数のデータ形式に対して、データ形式を変換する形式変換部とデータ形式を変換しない形式無変換部とを有し、外部からの制御信号に従って、前記形式変換部と前記形式無変換部の切替え及び前記形式変換部の選択的実行を制御する、請求の範囲第２項記載の画像処理装置。
【請求項６】
前記形式変換モジュールは、ＲＧＢ形式、ＹＵＶ４２０形式、ＹＵＶ４２２形式及びＹＵＶ４４４形式のうちの少なくとも２つのデータ形式間において、前記画像データのデータ形式を相互に変換する、請求の範囲第２項記載の画像処理装置。
【請求項７】
前記データ変換部は、配置変換モジュールを有し、
前記配置変換モジュールは、前記複数の画像処理モジュールと前記メモリとの間で転送される画像データのデータ配置方式を変換する、請求の範囲第１項記載の画像処理装置。
【請求項８】
前記配置変換モジュールは、前記複数の画像処理モジュールの内の１つのモジュールから前記メモリに転送される画像データのデータ配置方式が、前記メモリのデータ配置方式と異なる場合、前記画像データのデータ配置方式を前記メモリのデータ配置方式に変換する、請求の範囲第７項記載の画像処理装置。
【請求項９】
前記配置変換モジュールは、前記メモリから前記複数の画像処理モジュールの内の１つの転送先モジュールに転送される画像データのデータ配置方式が、前記転送先モジュールのデータ配置方式と異なる場合、前記画像データのデータ配置方式を前記転送先モジュールのデータ配置方式に変換する、請求の範囲第７項記載の画像処理装置。
【請求項１０】
前記配置変換モジュールは、複数のデータ配置方式に対して、データ配置方式を変換する配置変換部とデータ配置方式を変換しない配置無変換部とを有し、外部からの制御信号に従って、前記配置変換部と前記配置無変換部の切替え及び前記配置変換部の選択的実行を制御する、請求の範囲第７項記載の画像処理装置。
【請求項１１】
前記データ変換部は、形式配置変換モジュールを有し、
前記形式配置変換モジュールは、前記複数の画像処理モジュールと前記メモリとの間で転送される画像データのデータ形式とデータ配置方式のうちの少なくとも１つを変換する、請求の範囲第１項記載の画像処理装置。
【請求項１２】
前記形式配置変換モジュールは、前記複数の画像処理モジュールの１つのモジュールから前記メモリに転送される画像データに対して、前記画像データのデータ形式が前記メモリのデータ形式と異なる場合、前記画像データのデータ形式を前記メモリのデータ形式に変換し、前記画像データのデータ配置方式が前記メモリのデータ配置方式と異なる場合、前記画像データのデータ配置方式を前記メモリのデータ配置方式に変換する、請求の範囲第１１項記載の画像処理装置。
【請求項１３】
前記形式配置変換モジュールは、前記メモリから前記複数の画像処理モジュールの内の１つの転送先モジュールに転送される画像データに対して、前記画像データのデータ形式が前記転送先モジュールのデータ形式と異なる場合、前記画像データのデータ形式を前記転送先モジュールのデータ形式に変換し、前記画像データのデータ配置方式が前記転送先モジュールのデータ配置方式と異なる場合、前記画像データのデータ配置方式を前記転送先モジュールのデータ配置方式に変換する、請求の範囲第１１項記載の画像処理装置。
【請求項１４】
前記形式配置変換モジュールは、複数のデータ形式に対して、データ形式を変換する形式変換部と、データ形式を変換しない形式無変換部を有し、
前記形式配置変換モジュールは、複数のデータ配置方式形式に対して、データ配置方式を変換する配置変換部と、データ配置方式を変換しない配置無変換部とを有し、
前記形式配置変換モジュールは、外部からの制御信号に従って、前記形式変換部と前記形式無変換部の切替え及び前記形式変換部の選択的実行を制御し、かつ、前記配置変換部と前記配置無変換部の切替え及び前記配置変換部の選択的実行を制御する、請求の範囲第１１項記載の画像処理装置。
【請求項１５】
前記形式配置変換モジュールは、ＲＧＢ形式、ＹＵＶ４２０形式、ＹＵＶ４２２形式及びＹＵＶ４４４形式のうちの少なくとも２つのデータ形式間において、前記画像データのデータ形式を相互に変換する、請求の範囲第１１項記載の画像処理装置。
【請求項１６】
バスと、
前記バスに接続される複数の画像処理モジュールと、
前記バスに接続されるデータ転送ユニットとを備え、
前記データ転送ユニットは、前記複数の画像処理モジュールの内の転送元モジュールから転送先モジュールへ画像データの転送を行い、
前記データ転送ユニットは、前記転送元モジュールから転送する前記画像データのデータ形式が、前記転送先モジュールのデータ形式と異なる場合、前記画像データのデータ形式を前記転送先モジュールのデータ形式に変換する画像処理装置。
【請求項１７】
前記バスに接続されるメモリをさらに備え、
前記データ転送ユニットは、前記複数の画像処理モジュールと前記メモリとの間で転送される画像データのデータ形式とデータ配置方式のうちの少なくとも１つを変換する、請求の範囲第１６項記載の画像処理装置。
【請求項１８】
前記データ転送ユニットは、ローカルメモリを有し、
前記ローカルメモリは、前記データ転送ユニットが、データ形式とデータ配置方式のうちの少なくとも１つを変換した画像データを、一時的に格納する、請求の範囲第１７項記載の画像処理装置。
【請求項１９】
前記データ転送ユニットは、ＲＧＢ形式、ＹＵＶ４２０形式、ＹＵＶ４２２形式及びＹＵＶ４４４形式のうちの少なくとも２つのデータ形式間において、画像データのデータ形式を相互に変換する請求の範囲第１７項記載の画像処理装置。
【請求項２０】
前記複数の画像処理モジュールは、ＭＰＥＧ−１方式画像処理モジュール、ＭＰＥＧ−２方式画像処理モジュール、ＭＰＥＧ−４方式画像処理モジュール、Ｈ．２６４方式画像処理モジュール、ＪＰＥＧ方式画像処理モジュール、グラフィックスモジュール、ビデオ出力モジュール，ビデオ入力モジュールのいずれかを含む、請求の範囲第１項記載の画像処理装置。
【請求項２１】
相手方と画像データの送受信を行う送受信部と、
前記画像データを処理する画像処理装置と、
前記画像処理装置で処理された画像データを表示する表示部と、
前記送受信部と前記画像処理装置と前記表示部とを制御する制御部とを備える携帯情報端末であって、
前記画像処理装置は、
バスと、
前記バスに接続される複数の画像処理モジュールと、
前記バスに接続されるデータ変換部と、
前記データ変換部を介して、前記バスに接続されるメモリとを有し、
前記データ変換部は、前記複数の画像処理モジュールと前記メモリとの間で転送される画像データのデータ変換をすることを特徴とする携帯情報端末。
【請求項２２】
バスに接続された複数の画像処理モジュールと、前記バスに接続されたメモリとの間で転送される画像データのデータ処理方法であって、
前記複数の画像処理モジュールと前記メモリとの間で画像データを転送する転送ステップと、
前記画像データのデータ形式とデータ配置方式の内の少なくとも１つを変換をする変換ステップとを含む、データ処理方法。
【請求項２３】
前記変換ステップは、前記画像データのデータ形式が、前記画像データの転送先のデータ形式と異なる場合、前記画像データのデータ形式を前記転送先のデータ形式に変換する、形式変換ステップを含み、
前記転送ステップは、前記形式変換ステップにおいてデータ形式を変換した画像データを前記転送先に転送する、請求の範囲第２２項記載のデータ処理方法。
【請求項２４】
前記変換ステップは、前記画像データのデータ配置方式が、前記画像データの転送先のデータ配置方式と異なる場合、前記画像データのデータ配置方式を前記転送先のデータ配置方式に変換する、配置変換ステップを含み、
前記転送ステップは、前記配置変換ステップにおいてデータ配置方式を変換した画像データを前記転送先に転送する、請求の範囲第２２項記載のデータ処理方法。
【請求項２５】
前記変換ステップは、前記画像データのデータ形式が、前記画像データの転送先のデータ形式と異なる場合、前記画像データのデータ形式を前記転送先のデータ形式に変換する、形式変換ステップと、
前記画像データのデータ配置方式が、前記画像データの転送先のデータ配置方式と異なる場合、前記画像データのデータ配置方式を前記転送先のデータ配置方式に変換する、配置変換ステップとを含み、
前記転送ステップは、前記変換ステップにおいてデータ形式とデータ配置方式のうち少なくとも１つを変換した画像データを前記転送先に転送する、請求の範囲第２２項記載のデータ処理方法。
【請求項２６】
前記画像データのデータ形式は、ＲＧＢ形式、ＹＵＶ４２０形式、ＹＵＶ４２２形式及びＹＵＶ４４４形式のうちの少なくとも２つを含む、請求の範囲第２３項記載のデータ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理モジュールとメモリ間のデータ転送において、画像処理モジュールとメモリ間でデータ形式とデータ配置方式が異なる場合のデータ処理方法及びその関連技術に関するものである。
【背景技術】
【０００２】
近年のカメラ付き携帯電話に代表されるような、画像を処理できる情報通信端末装置の急速な発達に伴い、情報通信端末装置に搭載される機能ブロックは多様化の一途を辿っている。
【０００３】
このような機能ブロックは、機能ごとにモジュール化されている。機能ブロックには、例えば、ＭＰＥＧ−４方式に準拠した画像データの符号化／復号を行うＭＰＥＧ−４コーディックモジュール、ＭＰＥＧ−２やＭＰＥＧ−４に準拠した動画像データの圧縮伸張を行う動画像圧縮伸張モジュール、ＪＰＥＧに準拠した静止画データの圧縮伸張を行う静止画圧縮伸張モジュール、グラフィックスを扱うグラフィックスモジュール、ＣＣＤカメラからの画像入力を扱うビデオ入力モジュール、ＬＣＤ表示装置に出力するビデオ出力モジュールなど、多種多様の画像処理モジュールがある。
【０００４】
個々の画像処理モジュールは、その機能を最も効率よく処理するために、独自のデータ形式を採用していることが多い。従って、これら画像処理モジュール間、あるいは、これらの画像処理モジュールとフレームメモリ間で画像データを送受する場合には、データ形式を変換する必要がある。さらには、メモリ上のデータ配置方式も、個々の画像処理モジュールによって異なることがある。
【０００５】
上述した種々の画像処理モジュールが複数搭載される画像処理装置において、多様な画像処理を行うためには、複数の画像処理モジュール間でデータの転送を行い、各画像処理モジュールが連携して動作する必要がある。そのために、各画像処理モジュール間でデータ転送を行う際には、データ形式変換処理およびデータ再配置処理を行う必要がある。
【０００６】
例えば、文献１（特開平５−６４２２３号公報）は、画像メモリに格納されるＹＣデータと、入出力手段が扱うＲＧＢデータを変換するために、画像データ変換装置を導入し、画像メモリと入出力手段と画像データ変換装置をシステムバスで接続し、画像データ変換装置でＹＣデータとＲＧＢデータの相互変換を行う技術を開示している。
【０００７】
また、文献２（特開２０００−３０５５４６号公報）は、画像データを格納するメモリセルアレイと、外部に接続するインタフェースとの間で転送する画像データに対して、そのフォーマット変換を行うフォーマット変換部を備えた半導体メモリに関する技術を開示している。
【０００８】
しかし、文献１が開示する従来技術では、異なるデータ形式を有する多くの画像処理モジュールを備えた画像処理装置において、各画像処理モジュール間あるいは、各画像処理モジュールと画像メモリ間において画像データの転送を行う場合、必要なデータ形式の変換をシステムバスに接続された画像データ変換装置で行うと、システムバスの使用頻度がきわめて高くなり、システムバスでの輻輳が発生し、効率良いデータ形式の変換が困難である。
【０００９】
また、文献２が開示する従来技術では、異なるデータ形式を有する多くの画像処理モジュールを備えた画像処理装置で、多様なデータ形式変換を効率良く実行しづらい。
【００１０】
さらに、これらの従来技術は、データの配置方式が異なる場合のデータ変換には、全く対応できない。
【特許文献１】特開平５−６４２２３号公報
【特許文献２】特開２０００−３０５５４６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
そこで本発明は、複数の画像処理モジュールを連携動作させて多様な画像処理を実現するために、画像処理モジュール間、及び画像処理モジュールとメモリ間で、データ転送を行う際の、データ形式変換処理およびデータ再配置処理を効率よく実行できる画像処理装置を提供することを目的とする。
【００１２】
第１の発明に係る画像処理装置は、バスと、バスに接続される複数の画像処理モジュールと、バスに接続されるデータ変換部と、データ変換部を介して、バスに接続されるメモリとを備え、データ変換部は、複数の画像処理モジュールとメモリとの間で転送される画像データのデータ形式とデータ配置方式の内の少なくと１つを変換をする。
【００１３】
この構成によれば、複数の画像処理モジュールとメモリとが扱う画像データのデータ形式が異なる場合、または、データ配置方式が異なる場合、データ変換部が、画像データのデータ形式またはデータ配置方式を変換する。従って、それぞれの画像処理モジュールが、データ変換を実行する機能を個別に備える必要はないので、画像処理装置の回路規模を小さくでき、少ないサイクル数で効率的にデータ変換できる。さらに、この構成によれば、データ変換を実行することによって、バスの使用頻度が増大することはないので、画像処理装置の画像処理効率を結果的に高めることができる。
【００１４】
第２の発明に係る画像処理装置では、データ変換部は、形式変換モジュールを有し、形式変換モジュールは、複数の画像処理モジュールとメモリとの間で転送される画像データのデータ形式を変換する。
【００１５】
この構成によれば、複数の画像処理モジュールとメモリとが扱う画像データのデータ形式が異なる場合に、形式変換モジュールが、画像データのデータ形式を変換する。この形式変換モジュールは、バスとメモリとの間に設置されているデータ変換部が有しており、すべての画像処理モジュールが、メモリとの間で画像データの転送を行う場合に対応できる。従って、それぞれの画像処理モジュールが、データ形式を変換する機能を個別に備える必要はないので、画像処理装置の回路規模を小さくでき、少ないサイクル数で効率的にデータ形式を変換できる。
【００１６】
第３の発明に係る画像処理装置では、形式変換モジュールは、複数の画像処理モジュールの内１つのモジュールからメモリに転送さる画像データのデータ形式が、メモリのデータ形式と異なる場合、画像データのデータ形式をメモリのデータ形式に変換する。
【００１７】
この構成によれば、各画像処理モジュールは、画像データを各画像処理モジュールのデータ形式でメモリに向けて転送できる。形式変換モジュールは、バスとメモリの間に設置されているデータ変換部が有しており、転送されてきた画像データをメモリのデータ形式に変換してメモリに格納する。例えば、ＣＣＤカメラの画像データは、ビデオ入力モジュールから、ＹＵＶ４２２形式でメモリに転送されるが、その途中で、形式変換モジュールは、この画像データをＹＵＶ４２０形式に変換して、メモリに格納する。従って、メモリには、どの画像データも、ＹＵＶ４２０形式で格納されるので、高い整合性が得られる。
【００１８】
第４の発明に係る画像処理装置では、形式変換モジュールは、メモリから複数の画像処理モジュールの内の１つの転送先モジュールに転送される画像データのデータ形式が、転送先モジュールのデータ形式と異なる場合、画像データのデータ形式を転送先モジュールのデータ形式に変換する。
【００１９】
この構成によれば、メモリから各画像処理モジュールに画像データを転送すると、データ変換部が有している形式変換モジュールは、メモリからの画像データを、転送先モジュールのデータ形式に変換して、バス経由で、転送先モジュールに送る。例えば、メモリの画像データをＬＣＤに表示する場合、メモリにＹＵＶ４２０形式で格納されている画像データは、メモリから読み出されると、形式変換モジュールによって、ＲＧＢ形式に変換されて、ビデオ出力モジュールに転送され、ＬＣＤに表示される。従って、ビデオ出力モジュールにおいて、ＬＣＤ表示に便利なＲＧＢ形式に変換する必要はなく、便利である。
【００２０】
第５の発明に係る画像処理装置では、形式変換モジュールは、複数のデータ形式に対して、データ形式を変換する形式変換部とデータ形式を変換しない形式無変換部とを有し、外部からの制御信号に従って、形式変換部と形式無変換部の切替え及び形式変換部の選択的実行を制御する。
【００２１】
この構成によれば、画像処理装置は、形式変換モジュールの行うデータ形式の変換を、バスに接続されたコントローラによって容易に制御できる。形式変換モジュールは、転送先または転送元の画像処理モジュールの扱うデータ形式とメモリの扱うデータ形式とが異なる場合は、適当な形式変換部を選択してデータ形式変換を行い、同じ場合は、形式無変換部を選択して実質的にはデータ形式変換を行わないデータ形式変換を選択できる。
【００２２】
第６の発明に係る画像処理装置では、形式変換モジュールは、ＲＧＢ形式、ＹＵＶ４２０形式、ＹＵＶ４２２形式及びＹＵＶ４４４形式のうちの少なくとも２つのデータ形式間において、画像データのデータ形式を相互に変換する。
【００２３】
この構成によれば、最も一般的なデータ形式のデータを扱う多様な画像処理モジュールからなる画像処理装置を容易に実現できる。
【００２４】
第７の発明に係る画像処理装置では、データ変換部は、配置変換モジュールを有し、配置変換モジュールは、複数の画像処理モジュールとメモリとの間で転送される画像データのデータ配置方式を変換する。
【００２５】
この構成によれば、複数の画像処理モジュールとメモリとが扱う画像データのメモリ上のデータ配置方式が異なる場合に、配置変換モジュールが、画像データのデータ配置方式を変換する。この配置変換モジュールは、バスとメモリとの間に設置されているデータ変換部が有するので、すべての画像処理モジュールが、メモリとの間で画像データの転送を行う場合に対応できる。従って、それぞれの画像処理モジュールが、データ配置を変換する機能を個別に備える必要はないので、画像処理装置の回路規模を小さくでき、少ないサイクル数で効率的にデータ形式を変換できる。
【００２６】
第８の発明に係る画像処理装置では、配置変換モジュールは、複数の画像処理モジュールの内の１つのモジュールからメモリに転送される画像データのデータ配置方式が、メモリのデータ配置方式と異なる場合、画像データのデータ配置方式をメモリのデータ配置方式に変換する。
【００２７】
この構成によれば、各画像処理モジュールは、画像データを各画像処理モジュールのデータ配置方式のままでメモリに向けて転送できる。すると、バスとメモリの間に設置されているデータ変換部が有する配置変換モジュールは、画像データをメモリのデータ配置方式に変換してメモリに格納する。こうすることによって、メモリには、どの画像データも、同一のデータ配置方式で格納されるので、高い整合性が得られる。
【００２８】
第９の発明に係る画像処理装置では、配置変換モジュールは、メモリから複数の画像処理モジュールの内の１つの転送先モジュールに転送される画像データのデータ配置方式が、転送先モジュールのデータ配置方式と異なる場合、画像データのデータ配置方式を転送先モジュールのデータ配置方式に変換する。
【００２９】
この構成によれば、メモリから各画像処理モジュールに画像データを転送すると、配置変換モジュールは、メモリの出力画像データを、転送先モジュールの扱うデータ配置方式に変換して、バス経由で、転送先モジュールに送る。従って、各画像処理モジュールは、それぞれの最適なデータ配置方式で、画像データをメモリから受け取ることができるので、新たなデータ配置方式に変換する必要はなく、便利である。
【００３０】
第１０の発明に係る画像処理装置では、配置変換モジュールは、複数のデータ配置方式に対して、データ配置方式を変換する配置変換部とデータ配置方式を変換しない配置無変換部とを有し、外部からの制御信号に従って、配置変換部と配置無変換部の切替え及び配置変換部の選択的実行を制御する。
【００３１】
この構成によれば、画像処理装置は、配置変換モジュールの行うデータ配置方式の変換を、バスに接続されたコントローラによって容易に制御できる。配置変換モジュールは、転送先または転送元となる画像処理モジュールの扱うデータ配置方式と、メモリの扱うデータ配置方式とが異なる場合は、適当な配置変換部を選択してデータ配置方式の変換を行い、同じ場合は、配置無変換部を選択して、実質的にはデータ配置方式の変換を行わないデータ配置方式の変換を選択できる。
【００３２】
第１１の発明に係る画像処理装置では、データ変換部は、形式配置変換モジュールを有し、形式配置変換モジュールは、複数の画像処理モジュールとメモリとの間で転送される画像データのデータ形式とデータ配置方式のうちの少なくとも１つを変換する。
【００３３】
この構成によれば、複数の画像処理モジュールとメモリとが扱う画像データのデータ形式とデータ配置方式のうちの少なくとも１つが異なる場合に、形式配置変換モジュールが、画像データのデータ形式とデータ配置方式のうちの異なるものを変換する。この形式配置変換モジュールは、バスとメモリとの間に設置されているデータ変換部が有していて、すべての画像処理モジュールが、メモリとの間で画像データの転送を行う場合に対応できる。従って、それぞれの画像処理モジュールが、データ形式を変換する機能を個別に備える必要はない。さらに、画像データのデータ形式とデータ配置方式を同時に変換できるので便利である。これによって、画像処理装置の回路規模を小さくでき、少ないサイクル数で効率的にデータ形式とデータ配置方式を変換できる。
【００３４】
第１２の発明に係る画像処理装置では、形式配置変換モジュールは、複数の画像処理モジュールの１つのモジュールからメモリに転送される画像データに対して、画像データのデータ形式が、メモリのデータ形式と異なる場合、画像データのデータ形式をメモリのデータ形式に変換し、画像データのデータ配置方式が、メモリのデータ配置方式と異なる場合、画像データのデータ配置方式をメモリのデータ配置方式に変換する。
【００３５】
この構成によれば、各画像処理モジュールからメモリに向けて転送される画像データのデータ形式とデータ配置方式とをメモリのデータ形式とデータ配置方式とに同時に変換できる。この結果、高い整合性を保って、各種データをメモリに格納できる。
【００３６】
第１３の発明に係る画像処理装置では、形式配置変換モジュールは、メモリから複数の画像処理モジュールの内の１つの転送先モジュールに転送される画像データに対して、画像データのデータ形式が、転送先モジュールのデータ形式と異なる場合、画像データのデータ形式を転送先モジュールのデータ形式に変換し、画像データのデータ配置方式が、転送先モジュールのデータ配置方式と異なる場合、画像データのデータ配置方式を転送先モジュールのデータ配置方式に変換する。
【００３７】
この構成によれば、メモリから各画像処理モジュールに画像データを転送する場合に、形式配置変換モジュールによって、画像データのデータ形式とデータ配置方式を、転送先モジュールの扱うデータ形式とデータ配置方式に同時に変換できて便利である。
【００３８】
第１４の発明に係る画像処理装置では、形式配置変換モジュールは、複数のデータ形式に対して、データ形式を変換する形式変換部と、データ形式を変換しない形式無変換部を有し、形式配置変換モジュールは、複数のデータ配置方式形式に対して、データ配置方式を変換する配置変換部と、データ配置方式を変換しない配置無変換部とを有し、形式配置変換モジュールは、外部からの制御信号に従って、形式変換部と形式無変換部の切替え及び形式変換部の選択的実行を制御し、かつ、配置変換部と配置無変換部の切替え及び配置変換部の選択的実行を制御する。 
【００３９】
この構成によれば、画像処理装置は、形式配置変換モジュールを使って、データ形式とデータ配置方式の変換を、バスに接続されたコントローラによって同時に制御できる。
【００４０】
第１５の発明に係る画像処理装置では、形式配置変換モジュールは、ＲＧＢ形式、ＹＵＶ４２０形式、ＹＵＶ４２２形式及びＹＵＶ４４４形式のうちの少なくとも２つのデータ形式間において、画像データのデータ形式を相互に変換する。
【００４１】
この構成によれば、最も一般的なデータ形式のデータを扱う多様な画像処理モジュールからなる画像処理装置を容易に実現できる。
【００４２】
第１６の発明に係る画像処理装置は、バスと、バスに接続される複数の画像処理モジュールと、バスに接続されるデータ転送ユニットとを備え、データ転送ユニットは、複数の画像処理モジュールの内の転送元モジュールから転送先モジュールへ画像データの転送を行い、データ転送ユニットは、転送元モジュールから転送する画像データのデータ形式が、転送先モジュールのデータ形式と異なる場合、画像データのデータ形式を転送先モジュールのデータ形式に変換する。
【００４３】
この構成によれば、各画像処理モジュールの間で転送される画像データのデータ形式が異なる場合に、データ転送ユニットは、画像データのデータ形式変換処理を行って、変換後の画像データを転送先画像処理モジュールに転送することができる。従って、各画像処理モジュールは、転送先の画像処理モジュールが扱う画像データのデータ形式を気にする必要がないので、効率的な画像処理ができる。
【００４４】
第１７の発明に係る画像処理装置では、バスに接続されるメモリをさらに備え、データ転送ユニットは、複数の画像処理モジュールとメモリとの間で転送される画像データのデータ形式とデータ配置方式のうちの少なくとも１つを変換する。
【００４５】
この構成によれば、各画像処理モジュールとメモリとの間で転送される画像データのデータ形式とデータ配置方式とが異なる場合に、データ転送ユニットは、画像データのデータ形式変換処理とデータ配置変換処理とを行って、変換後の画像データを転送先に転送することができる。従って、各画像処理モジュールが異なるデータ形式と異なるデータ配置方式の画像データを扱っていても、メモリには、どの画像データも、同一のデータ配置方式で格納されるので、高い整合性が得られる。さらに、各画像処理モジュールには、メモリから画像データを取得する場合、各画像処理モジュールの扱うデータ形式とデータ配置方式に変換された画像データを取得できるので、効率的なデータ転送が実現できる。
【００４６】
第１８の発明に係る画像処理装置では、データ転送ユニットは、ローカルメモリを有し、ローカルメモリは、データ転送ユニットが、データ形式とデータ配置方式のうちの少なくとも１つを変換した画像データを、一時的に格納する。
【００４７】
この構成によれば、データ転送ユニットは、画像データのデータ形式変換とデータ配置方式変換とを一括処理して、ローカルメモリに一時的に格納し、バスが混雑していない時に、処理した画像データをメモリへ転送できる。従って、バスの輻輳を低減でき、効率的な画像処理を行うことができる。
【００４８】
第１９の発明に係る画像処理装置では、データ転送ユニットは、ＲＧＢ形式、ＹＵＶ４２０形式、ＹＵＶ４２２形式及びＹＵＶ４４４形式のうちの少なくとも２つのデータ形式間において、画像データのデータ形式を相互に変換する。
【００４９】
この構成によれば、最も一般的なデータ形式の画像データを処理できる。
【００５０】
第２０の発明に係る画像処理装置では、複数の画像処理モジュールは、ＭＰＥＧ−１方式画像処理モジュール、ＭＰＥＧ−２方式画像処理モジュール、ＭＰＥＧ−４方式画像処理モジュール、Ｈ．２６４方式画像処理モジュール、ＪＰＥＧ方式画像処理モジュール、グラフィックスモジュール、ビデオ出力モジュール，ビデオ入力モジュールのいずれかを含む。
【００５１】
この構成によれば、多様な構成の画像処理装置を実現できる。
【００５２】
第２１の発明に係る携帯情報端末は、相手方と画像データの送受信を行う送受信部と、画像データを処理する画像処理装置と、画像処理装置で処理された画像データを表示する表示部と、送受信部と画像処理装置と表示部とを制御する制御部とを備える携帯情報端末であって、画像処理装置は、バスと、バスに接続される複数の画像処理モジュールと、バスに接続されるデータ変換部と、データ変換部を介して、バスに接続されるメモリとを有し、データ変換部は、複数の画像処理モジュールとメモリとの間で転送される画像データのデータ変換をすることを特徴とする。
【００５３】
この構成によれば、上述した特徴を有する画像処理装置を搭載した携帯情報端末を提供できる。携帯情報端末には、携帯電話も含まれる。
【発明を実施するための最良の形態】
【００５４】
次に、図面を参照しながら、本発明の実施の形態を説明する。
【００５５】
（実施の形態１）
第１図は、本発明の第１の実施の形態における画像処理装置１００のブロック図である。本形態の画像処理装置１００は、バス１０、バス１０に接続された画像処理モジュール群２０、コントローラ３０、データ変換部９０及びデータ変換部９０を介してバス１０に接続されたメモリ４０を備える。
【００５６】
画像処理モジュール群２０は、第１画像処理モジュール２１ａ、第２画像処理モジュール２２ａ、第３画像処理モジュール２３ａ、第４画像処理モジュール２４ａ及び第ｎ画像処理モジュール２５を有する。
【００５７】
コントローラ３０は、バス１０の調停とデータ変換部９０の制御を行う。
【００５８】
画像処理モジュール群２０の各画像処理モジュールは、本形態の画像処理装置１００の応用目的に応じて、専用の機能を有する画像処理回路から成る。また、各画像処理モジュールが処理する画像データのデータ形式とデータ配置方式は、各画像処理モジュールの機能を最高に発揮できるように構成されている。その結果、画像データのデータ形式とデータ配置方式は、各モジュールによって異なる。
【００５９】
もし、各画像処理モジュールが、それぞれが扱っているデータ形式とデータ配置方式で、画像データをメモリ４０に格納すると、メモリ４０上には、データ形式とデータ配置方式が異なる多くの画像データが格納されることになり、混乱を生じかねない。又、ある画像処理モジュールがデータ形式の異なる画像データを読み込んで処理をする場合、データ形式を個別に変換する必要があり、不便を来たす。
【００６０】
以下に、第１２図と第１３図を参照して、本形態の画像処理装置１００における、各画像処理モジュールとメモリ４０との間の画像データの転送時の動作を説明する。
【００６１】
第１２図は、本発明の第１の実施の形態における画像処理装置１００のメモリ４０へ画像データを格納する時のフローチャートである。
【００６２】
ステップＳ１において、ある画像処理モジュール（転送元モジュール）からメモリ４０への画像データの格納処理が開始される。
【００６３】
ステップＳ１１において、格納する画像データが、転送元モジュールから、バス１０を介して、データ変換部９０に転送される。
【００６４】
ステップＳ１２において、データ変換部９０は、格納する画像データのデータ形式を、メモリ４０のデータ形式に変換する。
【００６５】
ステップＳ１３において、データ変換部９０は、格納する画像データのデータ配置方式を、メモリ４０のデータ配置方式に変換する。
【００６６】
ステップＳ１４において、データ変換部９０は、データ形式とデータ配置方式が変換された画像データをメモリ４０に格納する。
【００６７】
ステップＳ１５において、格納処理を終了する。
【００６８】
以上の処理によって、どの画像処理モジュールからの画像データも、メモリ４０には、常に同じデータ形式とデータ配置方式で、格納されることになり、メモリ４０上の混乱を回避できる。
【００６９】
第１３図は、本発明の第１の実施の形態における画像処理装置のメモリから画像データを読み出す時のフローチャートである。
【００７０】
ステップＳ２０において、ある画像処理モジュール（転送先モジュール）からの要求にしたがって、画像データをメモリ４０から読み出す処理が開始される。
【００７１】
ステップＳ２１において、要求された画像データは、メモリ４０から読み出され、データ変換部９０に送られる。
【００７２】
ステップＳ２２において、データ変換部９０は、メモリ４０から読み出された画像データのデータ形式を、転送先モジュールのデータ形式に変換する。
【００７３】
ステップＳ２３において、データ変換部９０は、データ形式が変換された画像データのデータ配置方式を、転送先モジュールのデータ配置方式に変換する。
【００７４】
ステップＳ２４において、データ変換部９０は、データ形式とデータ配置方式を変換した画像データを、バス１０を介して、転送先モジュールに転送する。
【００７５】
ステップＳ２５において、読み出し処理を終了する。
【００７６】
以上説明したように、本形態の画像処理装置１００は、データ変換部９０をメモリ４０とバス１０の間に設けることにより、画像処理モジュール群２０とメモリ４０との間の、データ形式が異なる画像データの転送をスムーズに実行できる。
【００７７】
（実施の形態２）
第２図は、本発明の第２の実施の形態における画像処理装置１００のブロック図である。本形態の画像処理装置１００は、バス１０、バス１０に接続された画像処理モジュール群２０、コントローラ３０、データ変換部９０及びデータ変換部９０を介してバス１０に接続されたメモリ４０を備える。
【００７８】
画像処理モジュール群２０は、コーディックモジュール２１、グラフィックスモジュール２２、ビデオ出力モジュール２３、ビデオ入力モジュール２４及び第ｎ画像処理モジュール２５を含む。
【００７９】
データ変換部９０は、形式変換モジュール５０を有する。
【００８０】
コーディックモジュール２１は、ＭＥＰＧ−４方式のエンコード／デコード処理を行うモジュールであり、本形態では、ＹＵＶ４２０形式の画像データを扱う。
【００８１】
グラフィックスモジュール２２は、グラフィックスを専門に扱うモジュールであり、本形態では、ＲＧＢ形式の画像データを扱う。
【００８２】
ビデオ出力モジュール２３は、外部画像表示装置（ＬＣＤモニタなど）に画像データを出力するモジュールであり、本形態では、ＲＧＢ形式の画像データを扱う。
【００８３】
ビデオ入力モジュール２４は、外部撮像装置（ＣＣＤカメラなど）からの画像データ、各種記録装置（ハードディスク、不揮発性メモリなど）からの画像データ、あるいは、ホストＣＰＵからの画像データが入力されるモジュールであり、本形態では、ＹＵＶ４２２形式の画像データを扱う。
【００８４】
第ｎ画像処理モジュール２５は、上述した以外の画像処理モジュールである。
【００８５】
メモリ４０は、ＳＤＲＡＭ、ＤＲＡＭ、ＳＲＡＭ，あるいは、不揮発性メモリなどから構成されるメモリであり、本形態では、画像データをＹＵＶ４２０形式で格納している。メモリ４０は、形式変換モジュール５０を介して、バス１０に接続されている。
【００８６】
コントローラ３０は、バス１０の調停と形式変換モジュール５０の制御を行う。
【００８７】
このように、本形態の画像処理装置１００は、各種の画像処理モジュールが画像処理モジュール群２０としてバス１０に接続されており、それぞれのモジュールは、メモリ４０に格納されている画像データを読取って、それぞれの画像処理を施し、処理後の画像データを又メモリ４０に格納する。この画像データの読取りと格納では、各画像処理モジュールとメモリ４０との間で、バス１０を介したデータ転送で行われる。この時、バス１０上でデータ転送の輻輳が起こらないように、コントローラ３０は、バス１０の調停を行う。
【００８８】
ここで注意すべきことは、画像処理モジュール群２０の各画像処理モジュールには、扱う画像データのデータ形式が異なるものがあることである。
【００８９】
本形態の画像処理装置１００では、画像処理モジュール群２０の各画像処理モジュールから転送される画像データは、形式変換モジュール５０で、ＹＵＶ４２０形式の画像データに変換されて、メモリ４０に格納される。従って、どの画像処理モジュールからどのデータ形式の画像データが送られて来ようが、メモリ４０には、常に、ＹＵＶ４２０形式で画像データが格納されることになる。
【００９０】
画像処理モジュール群２０のある画像処理モジュールが、メモリ４０から画像データを読み出す要求を発すると、ＹＵＶ４２０形式で画像データがメモリ４０から読み出され、画像データのデータ形式が、形式変換モジュール５０において、読み出し要求を発した画像処理モジュール（すなわち、転送先画像処理モジュール）が扱っているデータ形式に変換された後に、転送先画像処理モジュールにバス１０経由で転送される。
【００９１】
以上説明したように、本形態の画像処理装置１００は、メモリ４０とバス１０の間のデータ変換部９０に形式変換モジュール５０を設けることにより、画像処理モジュール群２０とメモリ４０との間の、データ形式が異なる画像データの転送をスムーズに実行できる。
【００９２】
本形態の形式変換モジュール５０について、さらに詳しく説明する。
【００９３】
第３図は、本発明の第２の実施の形態における形式変換モジュール５０のブロック図である。本形態の形式変換モジュール５０は、データ形式を変換する形式変換部５２と、形式無変換部５３と、形式変換部５２の出力と形式無変換部５３の出力とを切替える形式切換え部５４と、これらを制御する制御記憶部５１とを備える。
【００９４】
本形態の形式変換モジュール５０では、画像処理モジュール群２０からメモリ４０に画像データが転送される時は、バス１０から入力画像データＳ１が入力され、データ形式が変換された後、出力画像データＳ２が、メモリ４０に出力される。逆に、メモリ４０から画像処理モジュール群２０に画像データが転送される時は、メモリ４０から入力画像データＳ１が入力され、データ形式が変換された後、出力画像データＳ２が、バス１０に出力される。
【００９５】
形式変換部５２は、ＲＧＢ形式からＹＵＶ４２０形式への変換とその逆変換、ＹＵＶ４２２形式からＹＵＶ４２０形式への変換とその逆変換、ＹＵＶ４４４形式からＹＵＶ４２０形式への変換とその逆変換などを行うデータ形式変換機能を有し、入力画像データＳ１をデータ形式変換して、画像データＳ３として出力する。
【００９６】
形式無変換部５３は、実質的には何の処理もせずに、入力画像データＳ１をそのまま出力する。
【００９７】
形式切換え部５４は、形式無変換部５３の出力となる入力画像データＳ１と、形式変換部５２の出力である画像データＳ３とを切り替えて、出力画像データＳ２として出力する。
【００９８】
制御記憶部５１は、第２図に示すコントローラ３０からの制御信号Ｃ１に従って、制御信号Ｃ２を発して、形式変換部５２を制御し、どのデータ形式間の変換を行うかを決定する。又、制御記憶部５１は、制御信号Ｃ１に従って、制御信号Ｃ３を発して、形式切換え部５４の選択を制御する。制御記憶部５１は、コントローラ３０からの制御信号Ｃ１とそれに関連する制御情報とを記憶する。
【００９９】
第４図は、本発明の第２の実施の形態における各画像処理モジュールの処理対象データ形式の一例を示す。
【０１００】
第２図に示す本形態の画像処理装置１００を用いた画像処理の具体例を以下に示す。
【０１０１】
画像処理モジュール群２０の各画像処理モジュールは、第４図に示す処理対象データ形式の画像データに対してそれぞれの画像処理を行い、メモリ４０は、画像データをＹＵＶ４２０形式で格納するものとする。
【０１０２】
ビデオ入力モジュール２４へ外部撮像装置（ＣＣＤカメラなど）より、ＹＵＶ４２２形式の画像データが入力される。入力されたＹＵＶ４２２形式の画像データは、コントローラ３０によるバス１０の調停の結果、メモリ４０へのアクセス権が確保されると、形式変換モジュール５０を介して、ビデオ入力モジュール２４からメモリ４０へ転送される。ＹＵＶ４２２形式の画像データは、形式変換モジュール５０において、ＹＵＶ４２０形式に変換されて、メモリ４０へ格納される。
【０１０３】
次に、予めメモリ４０に格納されているＭＰＥＧ−４方式圧縮動画像の符号化データをコーディックモジュール２１へ転送し、コーディックモジュール２１において、ＭＰＥＧ−４方式に従って符号化データの伸張処理を行う。この時、メモリ４０からコーディックモジュール２１へのデータ転送は、形式変換モジュール５０を介して行われる。形式変換モジュール５０では、形式切換え部５４が、形式無変換部５３の出力を選択するように制御されており、実質的に、データ形式の変換は行われず、メモリ４０から読み出されたデータが、そのままの形式でコーディックモジュール２１へ転送される。
【０１０４】
コーディックモジュール２１において、ＭＰＥＧ−４方式に従って伸張処理された伸張後動画像データは、ＹＵＶ４２０形式でメモリ４０へ転送される。この際、形式変換モジュール５０では、前述同様に、形式切換え部５４が、形式無変換部５３の出力を選択するように制御されており、伸張後動画像データは、そのままの形式でメモリ４０に格納される。
【０１０５】
次に、グラフィックスモジュール２２が、メモリ４０から伸張後動画像データ（ＹＵＶ４２０形式）を読み出して、当該データに対するグラフィックス処理を行う。その際には、伸張後動画像データが、メモリ４０からグラフィックスモジュール２２へ転送される途中で、形式変換モジュール５０において、ＹＵＶ４２０形式からＲＧＢ形式へデータ形式変換が行われる。
【０１０６】
グラフィックスモジュール２２において、グラフィックス処理を施された画像データは、再びメモリ４０へ格納される。グラフィックス処理後の画像データは、格納の前に、形式変換モジュール５０において、データ形式がＲＧＢ形式からＹＵＶ４２０形式に変換される。
【０１０７】
メモリ４０に格納されたグラフィックス処理後の画像データ（ＹＵＶ４２０形式）は、再びコーディックモジュール２１によって読み出され、圧縮処理を施される。コーディックモジュール２１による読み出しの際には、形式変換モジュール５０において、データ形式の変換は行われない。なぜならば、コーディックモジュール２１は、ＹＵＶ４２０形式の画像データを扱うからである。コーディックモジュール２１で圧縮処理後の符号化データは、形式変換モジュール５０において、データ形式変換されずに、メモリ４０へ格納される。
【０１０８】
次に、メモリ４０に格納されているグラフィックス処理後の画像データ（ＹＵＶ４２０形式）と、ビデオ入力モジュール２４から入力され、すでにメモリ４０に格納されている入力画像データ（ＹＵＶ４２２形式からＹＵＶ４２０形式に変換されて、メモリ４０に格納されている）を、ビデオ出力モジュール２３で合成して、外部ＬＣＤモニタ等の表示装置へ出力する。メモリ４０からビデオ出力モジュール２３へ、グラフィックス処理後の画像データと入力画像データを読み出す際には、両データともＲＧＢ形式に変換する必要があり、形式変換モジュール５０において、ＹＵＶ４２０形式からＲＧＢ形式に変換して転送する。転送された両データはビデオ出力モジュール２３において、合成され、外部ＬＣＤモニタ等に出力される。
【０１０９】
以上は、本形態の画像処理装置１００を用いた画像処理の一例である。画像処理装置１００の画像処理モジュール群２０での処理内容ならびに処理順序は、応用目的に応じて構成される。
【０１１０】
本形態の画像処理装置１００では、メモリ４０は、ＹＵＶ４２０形式の画像データのみを格納しているが、メモリ４０の上に、領域ごとに異なるデータ形式の画像データを格納配置しても良い。
【０１１１】
上述した画像処理例では、グラフィックスモジュール２２及びビデオ出力モジュール２３が、メモリ４０より画像データを読み出す際には、読み出した画像データを、それぞれのモジュールの処理に適したＲＧＢ形式の画像データに形式変換する必要がある。
【０１１２】
従来の画像処理装置においては、同じＲＧＢ形式への変換処理を行うデータ形式変換機能をグラフィックスモジュール２２およびビデオ出力モジュール２３の双方に装備しておく必要があった。本形態の画像処理装置１００によれば、メモリ４０とバス１０の間に形式変換モジュール５０を配置することによって、画像処理モジュール群２０の複数の画像処理モジュールが、この形式変換モジュール５０を共用することができ、画像処理装置１００の回路規模を小さくすることが可能となる。とくに、多彩な画像処理を行う際には、多くの画像処理モジュールを必要とするため、上述の回路規模の縮小の効果がより顕著となる。
【０１１３】
以上説明した本形態の画像処理装置１００では、コントローラ３０が、バス１０の調停と、形式変換モジュール５０の制御とを行ったが、これらは、画像処理装置１００の外部から、レジスタ設定等を用いて行っても良い。
【０１１４】
本形態の画像処理装置１００では、コーディックモジュール２１は、ＭＰＥＧ−４方式のコーディック処理を行ったが、これは、画像圧縮伸張処理を行う画像処理モジュールの一例であり、画像圧縮伸張方式を特定するものではない。例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６４のような、その他の方式の画像圧縮伸張処理を行う画像処理モジュールでも良い。また、コーディックモジュール２１は、圧縮処理もしくは伸張処理のいずれかの機能だけを装備していても良い。さらに、コーディックモジュール２１は、ＪＰＥＧ方式などの静止画圧縮伸張処理を行う画像処理モジュールでも良い。
【０１１５】
本形態のバス１０は、そのバス構成を規定するものではなく、階層バス、クロスバー、リング状ネットワーク、マルチバスなど、システムの仕様に見合う構成を採ることができる。
【０１１６】
（実施の形態３）
第５図は、本発明の第３の実施の形態における画像処理装置１００のブロック図である。第５図において、第２図と同様の構成要素については、同一の符号を付すことにより、説明を省略する。
【０１１７】
第５図に示す本形態の画像処理装置１００は、バス１０、バス１０に接続された画像処理モジュール群２０、コントローラ３０、データ変換部９０及びデータ変換部９０を介してバス１０に接続されたメモリ４０を備える。
【０１１８】
本形態の画像処理モジュール群２０は、本発明の第２の実施に形態における画像処理モジュール群２０と同様である。
【０１１９】
データ変換部９０は、配置変換モジュール６０を有する。
【０１２０】
コントローラ３０は、バス１０の調停と配置変換モジュール６０の制御を行う。
【０１２１】
配置変換モジュール６０は、画像処理モジュール群２０が扱う画像データのメモリ上の配置方式を変換して、メモリ４０に格納する。以下に、この点について詳しく述べる。
【０１２２】
画像処理モジュール群２０の各画像処理モジュールは、処理対象データ形式が、第４図に示したように、異なるだけでなく、処理対象データ形式が同じでも、メモリ上の最適データ配置方式が異なる場合がある。
【０１２３】
第７図は、ＹＵＶ形式画像データの各成分のメモリ上の配置例を示している。ＹＵＶ形式画像データの各成分（Ｙ、Ｃｂ、Ｃｒ成分）のメモリ上の配置例には、第７図（ａ）のように、画素単位でＹＵＶの各成分をメモリに配置しておく場合、第７図（ｂ）のように、ＹＵＶの成分ごとにまとめてメモリに配置しておく場合、あるいは、第７図（ｃ）のように、Ｃｂ、Ｃｒ成分だけを画素単位で配置する場合などがある。
【０１２４】
第５図に示す画像処理装置１００においては、ビデオ入力モジュール２４からメモリ４０へ格納される入力画像データは、入力順にメモリ４０へ格納すると、第７図（ａ）のようにメモリに配置される。一方、コーディックモジュール２１は、処理対象データのメモリ配置として、第７図（ｃ）のようなメモリ配置である必要がある。第７図（ａ）のようなメモリ配置データに対してＭＰＥＧ−４方式のコーディック処理を行おうとすると、所望のデータをメモリ４０から読み出すのに、画像データが分散して配置されているために、複雑なメモリ・アドレッシング機能を装備する必要が出てくる。
【０１２５】
第５図に示す本形態の画像処理装置１００では、メモリ４０とバス１０との間のデータ変換部９０は、配置変換モジュール６０を有する。これにより、転送される画像データは、配置変換モジュール６０を通過する際に、次に処理される画像処理モジュールに好適なメモリ配置となるように、配置変換モジュール６０において生成されたアドレスが付されて、メモリ４０へ格納される。
【０１２６】
以下に、本形態の配置変換モジュール６０について詳しく説明する。
【０１２７】
第６図は、本発明の第３の実施の形態における配置変換モジュール６０のブロック図である。本形態の配置変換モジュール６０は、制御記憶部６１、データバッファ６２、アドレス生成部６３、配置無変換部６４及び配置切換え部６５を備える。
【０１２８】
本形態の配置変換モジュール６０では、画像処理モジュール群２０からメモリ４０に画像データが転送される時は、バス１０から入力画像データＳ１が入力され、データ配置方式が変換された後、出力画像データＳ２が、メモリ４０に出力される。逆に、メモリ４０から画像処理モジュール群２０に画像データが転送される時は、メモリ４０から入力画像データＳ１が入力され、データ配置方式が変換された後、出力画像データＳ２が、バス１０に出力される。
【０１２９】
制御記憶部６１は、第５図に示すコントローラ３０からの制御信号Ｃ１に従って、制御信号Ｃ４を発してデータバッファ６２を制御し、制御信号Ｃ５を発してアドレス生成部６３を制御し、制御信号Ｃ６を発して配置切換え部６５を制御する。制御記憶部６１は、制御信号Ｃ１などの制御情報を記憶しておく。
【０１３０】
転送される画像データのデータ配置方式を変換する必要がない場合には、制御記憶部６１は、配置切換え部６５に「配置無変換」を指示する。すると、配置切換え部６５は、配置無変換部６４の出力を選択する。配置無変換部６４は、入力画像データＳ１を配置変換せずにそのまま、出力画像データＳ２として出力する。
【０１３１】
一方、転送される画像データのデータ配置方式を変換する必要がある場合、制御記憶部６１は、配置切換え部６５に「配置変換」を指示する。すると、配置切換え部６５は、データバッファ６２の出力である画像データＳ４と、アドレス生成部６３が生成したアドレスデータＳ５とを選択し、画像データＳ４に新しいアドレスを付けて、出力画像データＳ２として出力する。アドレス生成部６３が生成するアドレスデータＳ５は、再配置先のアドレスである。データバッファ６２は、入力画像データＳ１を一時格納した後、アドレス生成部６３が出力するアドレスデータＳ５と同期して、入力画像データＳ１を画像データＳ４として出力するためのものである。
【０１３２】
以上説明したように、本形態の画像処理装置１００では、配置変換モジュール６０にメモリ・アドレッシング機能を装備することにより、画像処理モジュール群２０の各画像処理モジュールが複雑なメモリ・アドレッシング機能を個々に装備する必要が無くなる。この結果、本形態の画像処理装置１００は、その回路規模を小さくでき、さらに、各画像処理モジュールに適したメモリ配置を実現して、高効率の画像処理を行うことができる。
【０１３３】
（第４の実施の形態）
第８図は、本発明の第４の実施の形態における画像処理装置１００のブロック図である。第８図において、第２図と同様の構成要素については、同一の符号を付すことにより、説明を省略する。
【０１３４】
第８図に示す本形態の画像処理装置１００は、バス１０、バス１０に接続された画像処理モジュール群２０、コントローラ３０、データ変換部９０及びデータ変換部９０を介してバス１０に接続されたメモリ４０を備える。
【０１３５】
本形態の画像処理モジュール群２０は、本発明の第２の実施に形態における画像処理モジュール群２０と同様である。
【０１３６】
データ変換部９０は、形式配置変換モジュール７０を有する。
【０１３７】
コントローラ３０は、バス１０の調停と形式配置変換モジュール７０の制御を行う。
【０１３８】
形式配置変換モジュール７０は、画像処理モジュール群２０が扱う画像データのデータ形式とメモリ上の配置方式とを変換して、メモリ４０に格納する。あるいは逆に、形式配置変換モジュール７０は、メモリ４０に格納されている画像データを、転送先の画像処理モジュールに適合したデータ形式とメモリ上の配置方式に変換して、転送先の画像処理モジュールに送る。
【０１３９】
本形態の画像処理装置１００は、画像処理モジュール群２０とメモリ４０との間の画像データの転送において、画像データのデータ形式とメモリ上の配置方式とを同時に変換する必要がある場合に特に有効である。
【０１４０】
以下に、本形態の形式配置変換モジュール７０について述べる。
【０１４１】
第９図は、本発明の第４の実施の形態における形式配置変換モジュール７０のブロック図である。本形態の形式配置変換モジュール７０は、データ形式を変換する部分として、形式変換部５２と形式無変換部５３と形式切換え部５４とを備え、データ配置方式を変換する部分として、データバッファ６２とアドレス生成部６３と配置無変換部６４と配置切換え部６５とを備え、さらに、これらを制御する制御記憶部７１を備える。
【０１４２】
本形態の形式配置変換モジュール７０では、画像処理モジュール群２０からメモリ４０に画像データが転送される時は、バス１０から入力画像データＳ１が入力され、データ形式とデータ配置方式が変換された後、出力画像データＳ２が、メモリ４０に出力される。逆に、メモリ４０から画像処理モジュール群２０に画像データが転送される時は、メモリ４０から入力画像データＳ１が入力され、データ形式とデータ配置方式が変換された後、出力画像データＳ２が、バス１０に出力される。
【０１４３】
第８図に示すコントローラ３０から、データ形式とデータ配置方式の変換に関する制御情報が制御信号Ｃ１として、制御記憶部７１に送られる。制御記憶部７１は、制御信号Ｃ１に従って、制御信号Ｃ７を発して形式変換部５２を制御し、制御信号Ｃ８を発して形式切換え部５４を制御し、制御信号Ｃ９を発してデータバッファ６２を制御し、制御信号Ｃ１０を発してアドレス生成部６３を制御し、さらに、制御信号Ｃ１１を発して配置切換え部６５を制御する。
【０１４４】
データ形式を変換する部分における、制御信号Ｃ７と制御信号Ｃ８とによる制御と各部の動作は、本発明の第２の実施の形態で説明した、第３図に示す形式変換モジュール５０と同様である。データ形式が変換された結果は、画像データＳ７として出力され、後段の配置方式を変換する部分に入力される。
【０１４５】
データの配置方式を変換する部分における、制御信号Ｃ９と制御信号Ｃ１０と制御信号Ｃ１１による制御と各部の動作は、本発明の第３の実施の形態で説明した、第６図に示す配置変換モジュール６０と同様である。データ形式とデータ配置方式とが変換された結果は、出力画像データＳ２として出力される。
【０１４６】
本形態の画像処理装置１００によれば、データ形式変換とデータ配置方式変換のそれぞれの機能は、本発明の第２及び第３の実施の形態と同じであるが、データ形式変換処理とデータ配置方式変換処理とを一括して行うことにより、個別にそれらを実現した場合には２回のメモリ・アクセスを行う必要があるところを、１回のメモリ・アクセスで実現できる。その結果、メモリ・アクセス回数の削減及びバス１０でのデータ輻輳の低減が図られ、画像処理の高速化が実現できる。
【０１４７】
（第５の実施の形態）
第１０図は、本発明の第５の実施の形態における画像処理装置１００のブロック図である。第１０図において、第２図と同様の構成要素については、同一の符号を付すことにより、説明を省略する。
【０１４８】
第１０図に示す本形態の画像処理装置１００は、バス１０、バス１０に接続された画像処理モジュール群２０、バス１０に接続されたコントローラ３０、バス１０に接続されたメモリ４０及びバス１０に接続されたデータ転送ユニット８０を備える。データ転送ユニット８０は、ローカルメモリ８１を有する。
【０１４９】
本形態の画像処理装置１００の特徴は、メモリ４０とデータ転送ユニット８０を備え、これらがバス１０に直接接続されていることである。本形態のデータ転送ユニット８０は、バス１０を介して転送される画像データのデータ形式の変換機能とデータ配置方式の変換機能とを有しており、同時に、バス１０のデータ転送を調停する機能を有している。従って、本形態では、コントローラ３０は、バス１０のデータ転送の調停を行う必要がなく、画像処理装置１００におけるその他の制御や処理を行うことができる。
【０１５０】
本形態のデータ転送ユニット８０が行う画像データのデータ形式の変換処理とデータ配置方式の変換処理は、基本的に、本発明の第４の実施の形態の、第９図に示す形式配置変換モジュール７０が行う変換処理と同様である。
【０１５１】
しかし、本形態のデータ転送ユニット８０は、ローカルメモリ８１を有しており、画像データのデータ形式変換とデータ配置方式変換を一括して処理することができる。
【０１５２】
例えば、画像処理モジュール群２０のある画像処理モジュールから、画像データを一括してローカルメモリ８１に送り、データ転送ユニット８０において、この画像データのデータ形式を一括変換した後、ローカルメモリ８１に格納する。その後、バス１０が混雑していない時に、データ形式を変換した画像データをメモリ４０に一括して転送する。画像データのデータ配置方式を変換する場合も、同様に一括処理が可能である。
【０１５３】
以上の説明で明らかなように、本形態によれば、メモリ４０へのアクセス回数を大幅に減らすことができるので、メモリ４０の効率的な運用が可能となる。又、画像処理モジュール群２０の１つの画像処理モジュールから他の画像処理モジュールに画像データを転送する場合に、データ転送ユニット８０を利用して、データ形式を変換すれば、メモリ４０を介さずとも、データ形式を変換して、画像データの転送が可能となる。この結果、メモリ４０の負担がさらに軽減され、効率的な画像処理が実現できる。
【０１５４】
（第６の実施の形態）
第１１図は、本発明の第６の実施の形態における携帯情報端末２００のブロック図である。
【０１５５】
第１１図に示す本形態の携帯情報端末２００は、送受信部２１０、画像処理装置１００、表示部２２０、制御部２３０及び撮像部２４０を備える。
【０１５６】
以下に本形態の携帯情報端末２００を、カメラ付きの携帯電話として応用する場合を説明する。
【０１５７】
送受信部２１０は、携帯情報端末２００と無線基地局との間で送受信を行う。
【０１５８】
画像処理装置１００は、本発明の第１〜第５の実施の形態で説明した、画像処理装置１００のいずれかである。
【０１５９】
表示部２２０は、画像処理装置１００のビデオ出力モジュール２３に接続するＬＣＤである。
【０１６０】
制御部２３０は、携帯情報端末２００全体の制御を行う。
【０１６１】
撮像部２４０は、画像処理装置１００のビデオ入力モジュール２４に接続するＣＣＤカメラである。
【０１６２】
本形態の携帯情報端末２００は、送信時には、撮像部２４０で画像の撮影を行い、その画像データを画像処理装置１００のビデオ入力モジュール２４で取り込み、メモリ４０に格納するとともに、表示部２２０に表示する。さらに、携帯情報端末２００は、メモリ４０に一旦格納した画像データを、画像処理装置１００のコーディックモジュール２１に送り、符号化して、送受信部２１０から相手の携帯情報端末２００に無線基地局経由で送信する。
【０１６３】
本形態の携帯情報端末２００は、受信時には、送受信部２１０で相手の携帯情報端末２００から、無線基地局経由で送られてくる画像データを受信し、画像処理装置１００のコーディックモジュール２１で復号して、メモリ４０に格納するとともに、ビデオ出力モジュール２３から、表示部２２０に表示する。
【０１６４】
これらの画像の送受信において、画像処理装置１００内のメモリ４０と各画像処理モジュール２１〜２５の間のデータ転送では、データ変換部９０において、データ形式とデータ配置方式の変換が行われ、メモリ４０には、ある定められたデータ形式とデータ配置方式に従って、画像データが格納されている。
【０１６５】
このように、携帯情報端末２００の画像処理装置１００に、本発明の第１〜第５の実施の形態で説明した画像処理装置１００を利用すれば、画像処理能力に優れた携帯情報端末、例えば、カメラ付きの携帯電話を提供できる。
【０１６６】
以上説明したように、本発明の趣旨は、画像データのデータ形式とデータ配置方式を一箇所で処理できる形式変換／配置変換モジュールを導入して、画像処理の高能率化を実現することにあるのであって、本発明の趣旨を逸脱しない限り、種々の適用が可能である。
【０１６７】
本発明によれば、画像処理モジュール間、あるいは、画像処理モジュールとメモリ間で、データ転送を行う際の、データ形式変換処理およびデータ再配置処理を効率よく実行できる新たなモジュールを導入して、複数の画像処理モジュールを連携動作させた多彩な画像処理が可能な画像処理装置を提供することができる。
【産業上の利用可能性】
【０１６８】
本発明に係わる画像処理装置は、各種の画像処理を行う携帯情報端末、例えば、カメラ付き携帯電話等、画像処理を伴う電子機器とその応用分野において利用できる。
【図面の簡単な説明】
【０１６９】
【図１】本発明の第１の実施の形態における画像処理装置のブロック図である。
【図２】本発明の第２の実施の形態における画像処理装置のブロック図である。
【図３】本発明の第２の実施の形態における形式変換モジュールのブロック図である。
【図４】本発明の第２の実施の形態における各画像処理モジュールの処理対象データ形式である。
【図５】本発明の第３の実施の形態における画像処理装置のブロック図である。
【図６】本発明の第３の実施の形態における配置変換モジュールのブロック図である。
【図７】（ａ）から（ｃ）は、ＹＵＶ形式画像データの各成分のメモリ上の配置例示図である。
【図８】本発明の第４の実施の形態における画像処理装置のブロック図である。
【図９】本発明の第４の実施の形態における形式配置変換モジュールのブロック図である。
【図１０】本発明の第５の実施の形態における画像処理装置のブロック図である。
【図１１】本発明の第６の実施の形態における携帯情報端末のブロック図である。
【図１２】本発明の第１の実施の形態におけるメモリへ画像データを格納する時のフローチャートである。
【図１３】本発明の第１の実施の形態におけるメモリから画像データを読み出す時のフローチャートである。
【図１】
0004054832.tif 000002
【図２】
0004054832.tif 000003
【図３】
0004054832.tif 000004
【図４】
0004054832.tif 000005
【図５】
0004054832.tif 000006
【図６】
0004054832.tif 000007
【図７（ａ）】
0004054832.tif 000008
【図７（ｂ）】
0004054832.tif 000009
【図７（ｃ）】
0004054832.tif 000010
【図８】
0004054832.tif 000011
【図９】
0004054832.tif 000012
【図１０】
0004054832.tif 000013
【図１１】
0004054832.tif 000014
【図１２】
0004054832.tif 000015
【図１３】
0004054832.tif 000016