(57)【要約】  バックエンドチップの処理効率の増進及び電力消耗を防止できるエンコーディングされたデータの伝達方法及びその方法を行う撮像装置を提供する。  イメージシグナルプロセッサは、エンコーディング部と、エンコーディング部によりエンコーディングされたイメージデータを臨時に格納し、格納されたエンコーディングされたイメージデータを受信段に伝達するデータ出力部と、を含む。ここで、データ出力部は、エンコーディングされたイメージデータのうち、有効データのみを用いて蓄積した有効データ列を予め指定されたラインサイズに符合する大きさ単位に出力する。したがって、バックエンドチップの処理効率の増進及び電力消耗の防止が可能である。
2009515407.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置のイメージシグナルプロセッサにおいて、
イメージセンサーから入力された電気信号に相応するイメージデータを、予め指定されたエンコーディング方式によりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;
前記エンコーディング部によりエンコーディングされたイメージデータを臨時に格納し、当該格納されたエンコーディングされたイメージデータを受信段に伝達するデータ出力部と；を含み、
前記データ出力部は、前記エンコーディングされたイメージデータのうち有効データのみを用いて有効データ列に蓄積し、前記有効データ列を予め指定されたラインサイズの大きさ単位に前記受信段に順次伝送することを特徴とするイメージシグナルプロセッサ。
【請求項２】
前記データ出力部は、前記有効データ列の伝送回数が予め指定されたコラム数に達していない場合、残りのコラム数を満足するまで、前記ラインサイズに符合するダミー(dummy)データ列を前記受信段に予め指定された時間間隔ごとに繰り返し伝送することを特徴とする請求項１に記載のイメージシグナルプロセッサ。
【請求項３】
前記有効データ列のうち、‘ＳＴＯＰ ＭＡＲＫＥＲ’を含めて、前記受信段に最後に伝送される有効データ列の大きさが前記ラインサイズに達していない場合、前記データ出力部は、前記ラインサイズに符合するまで、ダミーデータを追加することを特徴とする請求項１に記載のイメージシグナルプロセッサ。
【請求項４】
前記データ出力部は、前記エンコーディング部による先行フレームの処理途中で、前記イメージセンサー又は前記エンコーディング部から後行フレームの入力開始情報を入力された場合、前記後行フレームの処理をスキップ(skip)するようにするスキップ命令を前記イメージセンサー又は前記エンコーディング部に入力することを特徴とする請求項１に記載のイメージシグナルプロセッサ。
【請求項５】
前記予め指定されたエンコーディング方式は、ＪＰＥＧエンコーディング方式、ＢＭＰエンコーディング方式、ＭＰＥＧエンコーディング方式、及び、ＴＶアウト方式の少なくともいずれかであることを特徴とする請求項１に記載のイメージシグナルプロセッサ。
【請求項６】
クロック信号生成器(Clock  Generator)を更に含む請求項１に記載のイメージシグナルプロセッサ。
【請求項７】
前記データ出力部は、有効データが伝達される区間のみクロック信号を前記受信段に出力することを特徴とする請求項１に記載のイメージシグナルプロセッサ。
【請求項８】
前記データ出力部は、垂直同期(Ｖ_ｓｙｎｃ)信号及び有効データイネーブル信号を前記受信段に更に出力することを特徴とする請求項１に記載のイメージシグナルプロセッサ。
【請求項９】
前記データ出力部は、
垂直同期信号制御命令に応じて、ハイ又はロー状態の前記垂直同期信号を生成して出力するＶ_ｓｙｎｃ発生器と;
有効データイネーブル制御命令に応じて、ハイ又はロー状態の前記有効データイネーブル信号を生成して出力するＨ_ｓｙｎｃ発生器と;
前記エンコーディングされたデータを臨時に格納して前記有効データ列に蓄積し、データ出力命令に応じて、前記有効データ列を出力し、ダミーデータ生成命令に応じて、ダミーデータを生成し、前記ラインサイズに符合するダミーデータ列を出力する伝送遅延部と;
ハイ又はロー状態の前記有効データイネーブル信号の出力回数、前記有効データ列、又は、前記ダミーデータ列の出力回数のいずれかと予め指定されたコラム数との差を用いて、残りの伝送回数を算出する伝送量算出部と;
前記垂直同期信号制御命令、前記有効データイネーブル制御命令、前記ダミーデータ生成命令、及び、前記データ出力制御命令を生成して出力する伝送制御部と；を含む請求項８に記載のイメージシグナルプロセッサ。
【請求項１０】
前記伝送制御部は、あらゆる有効データ列の伝送が終了した時点で、前記残りの伝送回数を参照して、前記ダミーデータ列の出力回数を決めることを特徴とする請求項９に記載のイメージシグナルプロセッサ。
【請求項１１】
前記伝送制御部は、前記有効データ列の出力区間及び前記ダミーデータ列の出力区間のみ前記有効データイネーブル信号が出力されるように制御することを特徴とする請求項９に記載のイメージシグナルプロセッサ。
【請求項１２】
前記有効データイネーブル信号は、前記受信段で記録イネーブル信号として解析されることを特徴とする請求項９に記載のイメージシグナルプロセッサ。
【請求項１３】
前記伝送制御部は、前記伝送遅延部に格納される前記エンコーディングされたイメージデータのヘッダー情報及びテール情報を用いて、前記先行フレームのエンコーディングが完了しているか否かを判断することを特徴とする請求項９に記載のイメージシグナルプロセッサ。
【請求項１４】
前記先行フレームの処理途中で、前記後行フレームの入力開始情報を入力された場合、前記伝送制御部は、前記Ｖ_ｓｙｎｃ発生器により出力される前記垂直同期信号がロー状態である場合、現状を維持するように制御することを特徴とする請求項１３に記載のイメージシグナルプロセッサ。
【請求項１５】
撮像装置のイメージシグナルプロセッサにおいて、
垂直同期信号制御命令に応じて、ハイ又はロー状態の前記垂直同期信号を生成して出力するＶ_ｓｙｎｃ発生器と;
有効データイネーブル制御命令に応じて、ハイ又はロー状態の有効データイネーブル信号を生成して出力するＨ_ｓｙｎｃ発生器と;
エンコーディングされたイメージデータを入力され、臨時に格納して前記有効データ列に蓄積し、データ出力命令に応じて、前記有効データ列を出力し、ダミーデータ生成命令に応じて、ダミーデータを生成し、前記ラインサイズに符合するダミーデータ列を出力する伝送遅延部と;
ハイ又はロー状態の前記有効データイネーブル信号の出力回数、前記有効データ列、又は、前記ダミーデータ列の出力回数のいずれかと予め指定されたコラム数との差を用いて、残りの伝送回数を算出する伝送量算出部と;
前記垂直同期信号制御命令、前記有効データイネーブル制御命令、前記ダミーデータ生成命令、及び、前記データ出力制御命令を生成して出力する伝送制御部と；を含むイメージシグナルプロセッサ。
【請求項１６】
前記伝送遅延部は、前記エンコーディングされたイメージデータのうち有効データのみを用いて、予め指定されたラインサイズに符合する有効データ列に蓄積し、当該蓄積された有効データ列を出力し、
あらゆる有効データ列を伝送してから前記残りの伝送回数が０(zero)になるまで、前記ラインサイズに符合するダミーデータ列を予め指定された時間間隔ごとに繰り返し出力することを特徴とする請求項１５に記載のイメージシグナルプロセッサ。
【請求項１７】
イメージセンサー、イメージシグナルプロセッサ、バックエンドチップ、及び、ベースバンドチップを含む撮像装置において、
前記イメージシグナルプロセッサが、
イメージセンサーから入力された電気信号に相応するイメージデータを、予め指定されたエンコーディング方式によりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;
前記エンコーディング部によりエンコーディングされたイメージデータを臨時に格納し、当該格納されたエンコーディングされたイメージデータを受信段に伝達するデータ出力部と；を含み、
前記データ出力部は、前記エンコーディングされたイメージデータのうち有効データのみを用いて有効データ列に蓄積し、前記有効データ列を予め指定されたラインサイズの大きさ単位に前記受信段に順次伝送することを特徴とする撮像装置。
【請求項１８】
イメージセンサーを備えた撮像装置のイメージシグナルプロセッサで行われるイメージシグナルプロセシング方法において、
(a)エンコーディング部によりエンコーディングされ、順次入力されるイメージデータを格納する段階と;
(b)有効データのみを用いて有効データ列を蓄積する段階と;
(c)前記蓄積された有効データ列を予め指定されたラインサイズの大きさ単位に受信段に順次出力する段階と；を含むことを特徴とするイメージシグナルプロセシング方法。
【請求項１９】
いずれかのフレームに対して、前記段階(a)から前記段階(c)を繰り返し行う段階と;
前記フレームに対するあらゆる有効データ列が伝送された場合、前記有効データ列の伝送回数が予め指定されたコラム数に達していないか否かを判断する段階と;
達していない場合、残りのコラム数を満足するまで、前記ラインサイズに符合するダミーデータ列を前記受信段に予め指定された時間間隔ごとに繰り返し出力する段階と；を更に含むことを特徴とする請求項１８に記載のイメージシグナルプロセシング方法。
【請求項２０】
先行フレームの処理途中で、前記イメージセンサーから後行フレームの入力開始情報を入力された場合、前記後行フレームのエンコーディング処理は、スキップされるように制御されることを特徴とする請求項１８に記載のイメージシグナルプロセシング方法。
【請求項２１】
前記先行フレームに対するエンコーディングが完了しているか否かは、前記格納されるエンコーディングされたイメージデータのヘッダー情報及びテール情報を用いて判断されることを特徴とする請求項２０に記載のイメージシグナルプロセシング方法。
【請求項２２】
前記有効データ列のうち、‘ＳＴＯＰ  ＭＡＲＫＥＲ’を含めて、前記受信段に最後に伝送される有効データ列の大きさが前記ラインサイズに達していない場合、前記データ出力部は、前記ラインサイズに符合するまで、ダミーデータを追加することを特徴とする請求項１８に記載のイメージシグナルプロセシング方法。
【請求項２３】
前記格納されたエンコーディングされたデータのうち、有効データの出力区間のみ前記受信段に有効データイネーブル信号が出力されることを特徴とする請求項１８に記載のイメージシグナルプロセシング方法。
【請求項２４】
前記有効データイネーブル信号は、前記受信段で記録イネーブル信号として解析されることを特徴とする請求項２３に記載のイメージシグナルプロセシング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データエンコーディング(encoding)に関し、より詳細には、撮像装置で行われるデータエンコーディングに関する。
【背景技術】
【０００２】
近年、小型及び薄型の撮像素子が、携帯電話機やＰＤＡ(Personal  Digital  Assistant)などの小型及び薄型の携帯用端末に搭載されることによって、携帯用端末が撮像装置としても機能することができる。これにより、携帯電話機のような携帯用端末は、遠隔地に音声情報だけでなく、画像情報も伝送できるようになった。撮像素子は、携帯電話機やＰＤＡだけでなく、ＭＰ３プレーヤーなどの携帯用端末にも具備されている。したがって、種々の携帯用端末が外部映像を撮像して電子的なデータとして保持する撮像装置としても機能することができる。
【０００３】
一般に、撮像装置には、ＣＣＤ(Charge  Coupled  Device)型イメージセンサーやＣＭＯＳ(Complementary  Metal-Oxide  Semiconductor)型イメージセンサーなどの固体撮像素子が使われている。
【０００４】
図１は、一般的な撮像装置の構成を簡略に示した図であり、図２は、一般的なＪＰＥＧエンコーディング過程を示した図であり、図３は、従来のイメージシグナルプロセッサ(ＩＳＰ：  Image  Signal  Processor)がエンコーディングされたデータを出力するための信号形態を示した図である。
【０００５】
図１に示されたように、撮像された外部映像を電気的なデータに変換して表示部１５０にディスプレイする撮像装置は、イメージセンサー１１０と、イメージシグナルプロセッサ１２０と、バックエンドチップ(Back-end  chip)１３０と、ベースバンドチップ(Baseband  Chip)１４０と、表示部１５０と、を含む。その他に、撮像装置は、変換された電気的なデータを格納するためのメモリ、アナログ信号をデジタル信号に変換するＡＤ変換機などを更に含むことができる。
【０００６】
イメージセンサー１１０は、バイエルパターン(Bayer  Pattern)を持つセンサーであり、単位ピクセル別にレンズを介して入力された光の量に相応する電気信号を出力する。
【０００７】
イメージシグナルプロセッサ１２０は、イメージセンサー１１０から入力された電気信号(raw  data)をＹＵＶ値に変換し、変換されたＹＵＶ値をバックエンドチップ１３０に出力する。ＹＵＶ方式は、人間の眼が色相よりは明るさに敏感であるという事実に着目した方式である、色を明るさ(Luminance)のＹ成分と色相(Chrominance)のＵ及びＶ成分とに分ける。Ｙ成分は、誤差に敏感であるので、色相成分のＵとＶより多いビットをコーディングする。典型的なＹ:Ｕ:Ｖの比率は、４:２:２である。
【０００８】
イメージシグナルプロセッサ１２０は、変換したＹＵＶ値をＦＩＦＯに順次格納させることによって、バックエンドチップ１３０が該当情報を入力され得るようにする。
【０００９】
バックエンドチップ１３０は、入力されたＹＵＶ値を予め指定されたエンコーディング方法によりＪＰＥＧやＢＭＰに変換してメモリに格納したり、メモリに格納されたエンコーディングされたイメージをデコーディングして表示部１５０にディスプレイする。バックエンドチップ１３０は、イメージの拡大、縮小、ローテーションなどの機能も行うことができる。もちろん、図１に示されたように、ベースバンドチップ１４０が、バックエンドチップ１３０からデコーディングされたデータを入力され、表示部１５０にディスプレイすることもできる。
【００１０】
ベースバンドチップ１４０は、撮像装置の動作を全般的に制御する機能を行う。例えば、キー入力部(図示せず)を介して使用者から撮像命令が入力されると、ベースバンドチップ１４０は、バックエンドチップ１３０にイメージ生成命令を伝送することによって、バックエンドチップ１３０が入力された外部映像に相応するエンコーディングされたデータを生成するようにすることもできる。
【００１１】
表示部１５０は、バックエンドチップ１３０又はベースバンドチップ１４０の制御により提供されたデコーディングされたデータをディスプレイする。
【００１２】
図２には、バックエンドチップ１３０により行われる一般的なＪＰＥＧエンコーディング(encoding)過程が示されている。ＪＰＥＧエンコーディング過程２００は、当業者にとって自明な事項であるので、簡略に説明することにする。
【００１３】
図２に示されたように、入力されたＹＵＶ値らのイメージは、８x８ピクセル大きさのブロックに分けられ、各ブロックに対して、ＤＣＴ(離散コサイン変換、Discrete  Cosine  Transform)が行われる(２１０)。−１２８〜１２７間の８ビットの整数形態に入力された各ピクセルの画素値は、ＤＣＴにより-１０２４〜１０２３間の値に変換される。
【００１４】
次いで、量子化器(Quantizer)は、各ブロックのＤＣＴ係数を、視覚に及ぼす影響によって重み付けをして量子化する(２２０)。この重みのテーブルを量子化テーブルという。量子化テーブルの値は、ＤＣ近くでは小さい値を取り、高い周波数では、大きい値を取り、情報量の多いＤＣ近くのデータを小さな損失で送り、高周波数では、高い圧縮率を誘導する。
【００１５】
次いで、無損失コーダー(Lossless  coder)であるエントロピーエンコーダ(entropy  encoder)により最終圧縮されたデータが生成される(２３０)。
【００１６】
上述した過程を経てエンコーディングされたデータは、メモリに格納される。バックエンドチップ１３０は、メモリに積載されたデータを復号化して表示部１５０にディスプレイする等の処理を行う。
【００１７】
メモリに格納されたデータが復号化などの処理のために順次入力される過程の信号波形が、図３に示されている。一般に、バックエンドチップ１３０は、ＹＵＶ/ＢＡＹＥＲフォーマットのデータを入力されるように具現されており、このようなデータを入力されるためのインターフェースとして、Ｐ_ＣＬＫ、Ｖ_ｓｙｎｃ、Ｈ_ＲＥＦ、ＤＡＴＡ信号を用いている。
【００１８】
図３に示されたように、従来のバックエンドチップ１３０は、エンコーディングされたデータを後続する構成要素(例えば、デコーディング部等)に伝達するにあたり、全過程でクロック信号(Ｐ_ＣＬＫ)の出力状態をオン(ＯＮ)状態に維持するので、バックエンドチップ１３０は、有効でないデータ(例えば、０x００を含むデータ)が入力される間にも、相互間にインターフェーシングのための動作を行わなければならない。
【００１９】
したがって、従来の撮像装置は、バックエンドチップ１３０が、不要な動作を行うことで、無駄な電力消耗が生じるという問題点があった。
【００２０】
また、図３に示されたように、従来のイメージシグナルプロセッサ１２０は、現在処理されているフレームに対するエンコーディング処理が完了していないにも関わらず、次のフレームに対するデータの入力を示す新たな垂直同期信号(Ｖ_ｓｙｎｃ２)をバックエンドチップ１３０に出力することができる。
【００２１】
この場合、バックエンドチップ１３０は、現在処理されているフレームに対する処理だけでなく、次のフレームに対する処理を共に行うことがあり、正確なデータの入力及び/又は処理が完了されないという問題点もあった。
【発明の開示】
【発明が解決しようとする課題】
【００２２】
それで、本発明の目的は、バックエンドチップの処理効率の増進及び電力消耗を防止できるエンコーディングされたデータの伝達方法及びその方法を行う撮像装置を提供することにある。
【００２３】
本発明の他の目的は、イメージを構成する有効なデータだけで構成されたエンコーディングされたデータが集合的にバックエンドチップに伝送されるようにして、バックエンドチップの処理効率及び処理速度を増進させることのできるエンコーディングされたデータの伝達方法及びその方法を行う撮像装置を提供することにある。
【００２４】
本発明の更に他の目的は、イメージシグナルプロセッサがエンコーディングされたデータをバックエンドチップに提供するにあたり、一般的なインターフェース構造を用いることによって、ハードウェアの設計及び制御の側面で有利な効果を持つエンコーディングされたデータの伝達方法及びその方法を行う撮像装置を提供することにある。
【００２５】
本発明の更に他の目的は、イメージシグナルプロセッサが、エンコーディング速度によって入力されるフレームのエンコーディングの可否を決定でき、スムーズなエンコーディング動作を行えるエンコーディングされたデータの伝達方法及びその方法を行う撮像装置を提供することにある。
【００２６】
その他の本発明の目的は、以下に述べられる望ましい実施形態を通してより明確になるであろう。
【課題を解決するための手段】
【００２７】
上述した目的を達成するために本発明の一側面によれば、イメージシグナルプロセッサ及び/又は前記イメージシグナルプロセッサを含む撮像装置が提供される。
【００２８】
本発明の望ましい一実施形態によれば、撮像装置のイメージシグナルプロセッサにおいて、イメージセンサーから入力された電気信号に相応するイメージデータを、予め指定されたエンコーディング方式によりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;前記エンコーディング部によりエンコーディングされたイメージデータを臨時に格納し、当該格納されたエンコーディングされたイメージデータを受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に伝達するデータ出力部と；を含むイメージシグナルプロセッサが提供される。ここで、前記データ出力部は、前記エンコーディングされたイメージデータのうち有効データのみを用いて、予め指定されたラインサイズに符合する有効データ列に蓄積し、前記有効データ列を前記受信段に伝送できる。
【００２９】
前記データ出力部は、前記有効データ列の伝送回数が予め指定されたコラム数に達していない場合、残りのコラム数を満足するまで、前記ラインサイズに符合するダミー(dummy)データ列を前記受信段に予め指定された時間間隔ごとに繰り返し伝送できる。
【００３０】
前記有効データ列のうち、‘ＳＴＯＰ  ＭＡＲＫＥＲ’を含む有効データ列が前記ラインサイズに達していない場合、前記データ出力部は、前記ラインサイズに符合するまでダミーデータを追加できる。
【００３１】
前記データ出力部は、前記エンコーディング部による先行フレームの処理途中で、前記イメージセンサー又は前記エンコーディング部から後行フレームの入力開始情報を入力された場合、前記後行フレームの処理をスキップするようにするスキップ命令を前記イメージセンサー又は前記エンコーディング部に入力することができる。
【００３２】
前記予め指定されたエンコーディング方式は、ＪＰＥＧエンコーディング方式、ＢＭＰエンコーディング方式、ＭＰＥＧエンコーディング方式、及び、ＴＶアウト方式の少なくともいずれかであることができる。
【００３３】
前記イメージシグナルプロセッサは、クロック信号生成器(Clock  Generator)を更に含むことができる。
【００３４】
前記データ出力部は、有効なデータが伝達される区間のみクロック信号を前記受信段に出力することができる。
【００３５】
前記データ出力部は、垂直同期(Ｖ_ｓｙｎｃ)信号及び有効データイネーブル(Enable)信号を前記受信段に更に出力することができる。
【００３６】
前記データ出力部は、垂直同期信号制御命令に応じて、ハイ(High)又はロー(Low)状態の前記垂直同期信号を生成して出力するＶ_ｓｙｎｃ発生器と;有効データイネーブル制御命令に応じて、ハイ又はロー状態の前記有効データイネーブル信号を生成して出力するＨ_ｓｙｎｃ発生器と;前記エンコーディングされたデータを臨時に格納して前記有効データ列に蓄積し、データ出力命令に応じて、前記有効データ列を出力し、ダミーデータ生成命令に応じて、ダミーデータを生成し、前記ラインサイズに符合するダミーデータ列を出力する伝送遅延部と;ハイ又はロー状態の前記有効データイネーブル信号の出力回数、前記有効データ列、又は、前記ダミーデータ列の出力回数のいずれかと予め指定されたコラム数との差を用いて、残りの伝送回数を算出する伝送量算出部と;前記垂直同期信号制御命令、前記有効データイネーブル制御命令、前記ダミーデータ生成命令、及び、前記データ出力制御命令を生成して出力することができる。
【００３７】
前記伝送制御部は、あらゆる有効データ列の伝送が終了した時点で、前記残りの伝送回数を参照して、前記ダミーデータ列の出力回数を決定できる。
【００３８】
前記伝送制御部は、前記有効データ列の出力区間及び前記ダミーデータ列の出力区間のみ前記有効データイネーブル信号が出力されるように制御できる。
【００３９】
前記有効データイネーブル信号は、前記受信段で記録イネーブル(write  enable)信号として解析されることができる。
【００４０】
前記伝送制御部は、前記伝送遅延部に格納される前記エンコーディングされたイメージデータのヘッダー(Header)情報及びテール(Tail)情報を用いて、前記先行フレームのエンコーディングが完了しているか否かを判断することができる。
【００４１】
前記先行フレームの処理途中で、前記後行フレームの入力開始情報を入力された場合、前記伝送制御部は、前記Ｖ_ｓｙｎｃ発生器により出力される前記垂直同期信号がロー状態である場合、現状を維持するように制御できる。
【００４２】
本発明の望ましい他の実施形態によれば、撮像装置のイメージシグナルプロセッサにおいて、クロック発生器(Clock  Generator)と;垂直同期信号制御命令に応じて、ハイ又はロー状態の前記垂直同期信号を生成して出力するＶ_ｓｙｎｃ発生器と;有効データイネーブル制御命令に応じて、ハイ又はロー状態の前記有効データイネーブル信号を生成して出力するＨ_ｓｙｎｃ発生器と;エンコーディングされたイメージデータを入力され臨時に格納して前記有効データ列に蓄積し、データ出力命令に応じて、前記有効データ列を出力し、ダミーデータ生成命令に応じて、ダミーデータを生成し、前記ラインサイズに符合するダミーデータ列を出力する伝送遅延部と;ハイ又はロー状態の前記有効データイネーブル信号の出力回数、前記有効データ列、又は、前記ダミーデータ列の出力回数のいずれかと予め指定されたコラム数との差を用いて、残りの伝送回数を算出する伝送量算出部と;前記垂直同期信号制御命令、前記有効データイネーブル制御命令、前記ダミーデータ生成命令、及び、前記データ出力制御命令を生成して出力する伝送制御部と；を含むイメージシグナルプロセッサが提供される。
【００４３】
前記伝送遅延部は、前記エンコーディングされたイメージデータのうち有効データのみを用いて、予め指定されたラインサイズに符合する有効データ列に蓄積し、当該蓄積された有効データ列を出力し、あらゆる有効データ列を伝送してから前記残りの伝送回数が０(zero)になるまで、前記ラインサイズに符合するダミー(dummy)データ列を予め指定された時間間隔ごとに繰り返し出力することができる。
【００４４】
本発明の更に他の実施形態によれば、イメージセンサー、イメージシグナルプロセッサ、バックエンドチップ、及び、ベースバンドチップを含む撮像装置において、前記イメージシグナルプロセッサが、イメージセンサーから入力された電気信号に相応するイメージデータを、予め指定されたエンコーディング方式によりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;前記エンコーディング部によりエンコーディングされたイメージデータを臨時に格納し、当該格納されたエンコーディングされたイメージデータを受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に伝達するデータ出力部と；を含み、前記データ出力部は、前記エンコーディングされたイメージデータのうち有効データのみを用いて、予め指定されたラインサイズに符合する有効データ列に蓄積し、前記有効データ列を前記受信段に伝送することを特徴とする撮像装置が提供される。
【００４５】
上述した目的を達成するために本発明の他の側面によれば、イメージシグナルプロセッサで行われるイメージシグナルプロセシング方法及び/又はその方法を行うためのプログラムが記録された記録媒体が提供される。
【００４６】
本発明の望ましい一実施形態によれば、撮像装置のイメージシグナルプロセッサで行われるイメージシグナルプロセシング方法において、(a)エンコーディング部によりエンコーディングされ、順次入力されるイメージデータを格納する段階と;(b)有効データのみを用いて、予め指定されたラインサイズに符合する有効データ列に蓄積する段階と;(c)前記蓄積された有効データ列を受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力する段階と；を含むことを特徴とするイメージシグナルプロセシング方法が提供される。
【００４７】
前記イメージシグナルプロセシング方法は、いずれかのフレームに対して、前記段階(a)から前記段階(c)を繰り返し行う段階と;前記フレームに対するあらゆる有効データ列が伝送された場合、前記有効データ列の伝送回数が予め指定されたコラム数に達していないか否かを判断する段階と;達していない場合、残りのコラム数を満足するまで、前記ラインサイズに符合するダミーデータ列を前記受信段に予め指定された時間間隔ごとに繰り返し出力する段階と；を更に含むことができる。
【００４８】
先行フレームの処理途中で、前記イメージセンサーから後行フレームの入力開始情報を入力された場合、前記後行フレームの処理は、スキップできる。
【００４９】
前記先行フレームに対するエンコーディングが完了しているか否かは、前記格納されるエンコーディングされたイメージデータのヘッダー情報及びテール情報を用いて判断することができる。
【００５０】
前記有効データ列のうち、‘ＳＴＯＰ  ＭＡＲＫＥＲ’を含む有効データ列が前記ラインサイズに達していない場合、前記ラインサイズに符合するまで、ダミーデータが追加されることを特徴とする。
【００５１】
前記格納されたエンコーディングされたデータのうち有効なデータの出力区間のみ前記受信段に有効データイネーブル信号が出力されることができる。
【００５２】
前記有効データイネーブル信号は、前記受信段で記録イネーブル信号として解析されることができる。
【発明の効果】
【００５３】
上述のように、本発明は、バックエンドチップの処理効率の増進及び電力消耗を防止できるという効果がある。
【００５４】
また、本発明は、実際的にイメージを構成する有効なデータだけで構成されたエンコーディングされたデータが集合的にバックエンドチップに伝送されるようにして、バックエンドチップの処理効率及び処理速度を増進させることができるという効果もある。
【００５５】
また、本発明は、イメージシグナルプロセッサがエンコーディングされたデータをバックエンドチップに提供するにあたり、一般的なインターフェース構造を用いることによって、ハードウェアの設計及び制御の側面で有利な効果もある。
【００５６】
また、本発明は、イメージシグナルプロセッサが、エンコーディング速度によって入力されるフレームのエンコーディングの可否を決定でき、スムーズなエンコーディング動作を行えるという効果もある。
【発明を実施するための最良の形態】
【００５７】
上述した目的、特徴ら及び長所は、添付の図面と関連した以下の詳細な説明を通してより明確になるであろう。
【００５８】
本発明は、種々の変更を加えることができ、複数の実施形態を持つことができるので、特定の実施形態を図面に例示して、詳細な説明に詳細に説明しようとする。しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むものと理解すべきである。本発明を説明するにおいて、関係する公知の技術に関する具体的な説明が本発明の要旨を不明にすると判断される場合、それに関する詳細な説明を省略することにする。
【００５９】
第１、第２などの用語は、種々の構成要素を説明するのに使用されることはできるが、前記構成要素らは、前記用語らにより限定されてはならない。前記用語らは、一つの構成要素を他の構成要素から区別する目的にのみ使用される。例えば、本発明の権利範囲を逸脱しなく、第１の構成要素は、第２の構成要素と名付けることができ、同じく第２の構成要素も第１の構成要素と名付けることができる。及び/又はという用語は、複数の関係する記載された項目の組み合わせ、あるいは、複数の関係する記載された項目のいずれかの項目を含む。
【００６０】
ある構成要素が他の構成要素に“連結されて”いるとか、“接続されて”いると言及された場合は、その他の構成要素に直接連結されているか、あるいは、接続されていることもできるが、中間に他の構成要素が存在することもできると理解すべきである。一方、ある構成要素が他の構成要素に“直接連結されて”いるとか、“直接接続されて”いると言及された場合は、中間に他の構成要素が存在しないと理解すべきである。
【００６１】
本願で使用した用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に意味が違わない限り、複数の表現を含む。本願において、“含む”又は“有する”などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、又は、これらを組み合わせたものが存在することを指定しようとするものであり、１つ又はその以上の他の特徴や数字、段階、動作、構成要素、部品、又は、これらを組み合わせたものの存在又は付加可能性を予め排除するものではないと理解すべきである。
【００６２】
違う意味として定義されない限り、技術的あるいは科学的な用語を含めて、ここで使用される全ての用語は、本発明が属する技術分野において通常の知識を有する者により一般的に理解されるものと同じ意味を持っている。一般的に使用される事前に定義されているものと同じ用語は、関連技術の文脈上持つ意味と一致する意味を持つものと解釈されるべきであり、本願において明白に定義しない限り、理想的あるいは過度に形式的な意味として解析されない。
【００６３】
以下、添付の図面を参照して、本発明に係る望ましい実施形態を詳細に説明し、図面符号に関係なく、同一か対応する構成要素には同じ参照番号を付し、これに対する重複する説明は省略することにする。
【００６４】
また、本発明の実施形態を説明するにあたり、本発明の核心事項であるイメージシグナルプロセッサ(ＩＳＰ：  Image  Signal  Processor)の処理動作だけを中心として説明するが、本発明の権利範囲がこれに制限されないことは自明である。
【００６５】
図４は、本発明の一実施形態に係る撮像装置の構成を簡略に示した図であり、図５は、本発明の一実施形態に係るデータ出力部４３０の構成を簡略に示した図であり、図６は、本発明の一実施形態に係る伝送遅延部５４０の構成を簡略に示した図である。図７は、本発明の一実施形態に係るイメージシグナルプロセッサ４００のエンコーディングされたデータ出力のための信号波形を例示した図面であり、図８は、本発明の一実施形態に係るイメージシグナルプロセッサ４００から伝送されてバックエンドチップ４０５のメモリに蓄積されたデータの格納形態を概念的に示した図であり、図９は、本発明の他の実施形態に係るイメージシグナルプロセッサ４００のエンコーディングされたデータ出力のための信号波形を例示した図である。
【００６６】
図４に示されたように、撮像装置は、イメージセンサー１１０と、イメージシグナルプロセッサ４００と、バックエンドチップ４０５とを含むことができる。その他に、撮像装置は、表示部１５０、メモリ、ベースバンドチップ１４０、及び、キー入力部などを更に含めることは自明であるが、本発明の要旨とは多少距離感があるので、これに対する説明は省略する。
【００６７】
イメージシグナルプロセッサ４００は、前処理部４１０と、ＪＰＥＧエンコーダ４２０と、データ出力部４３０と、を含む。もちろん、イメージシグナルプロセッサ４００は、内部動作のためのクロック発生器(Clock  Generator)を更に含むことができる。
【００６８】
前処理部４１０は、ＪＰＥＧエンコーダ４２０の処理のための前処理過程を行う。前処理部１４０は、各フレームに対して、イメージセンサー１１０から電気信号形態の原データ(raw  data)を各ライン別に入力されて処理した後、ＪＰＥＧエンコーダ４２０に伝達できる。
【００６９】
前処理過程には、カラーモデル変換(Color  Space  Transformation)、フィルタリング、ダウンサンプリング(Color  Sub  Sampling)などのうちの一つ以上が含まれることができる。
【００７０】
カラーモデル変換(Color  Space  Transformation)は、ＲＧＢカラーモデルをＹＵＶ(または、ＹＩＱ)カラーモデルに変換する。これは、画質差に対する認識なく、情報の量を減らすことができるためである。
【００７１】
フィルタリングは、ローパスフィルタで映像を平滑化(smoothing)する過程であり、圧縮率を高めるためのものである。
【００７２】
ダウンサンプリング(Color  SubSampling)は、Ｙ値は全部使用し、他の値は、一部だけ使用し、残りは捨てる等の方法により、色差(Chrominance)信号成分をダウンサンプリングする過程である。
【００７３】
ＪＰＥＧエンコーダ４２０は、先に述べた方式と同様に前処理された原データ(raw  data)を圧縮処理して、ＪＰＥＧエンコーディングデータを生成する。ＪＰＥＧエンコーダ４２０は、エンコーディング処理のために、予め指定されたブロック単位(例えば、８x８)で分割できるようにするために、前処理部４１０から入力される処理された原データを臨時に格納するためのメモリを含むことができる。すなわち、本発明に係るイメージシグナルプロセッサ４００は、従来のイメージシグナルプロセッサ１２０とは異なり、イメージデータのエンコーディングを更に行うことができる。
【００７４】
データ出力部４３０は、ＪＰＥＧエンコーダ４２０により生成されたＪＰＥＧエンコーディングされたデータをバックエンドチップ４０５(又は、カメラコントロールプロセッサー(ＣＣＰ)-以下、バックエンドチップ４０５と称する)に伝達する。データ出力部４３０は、バックエンドチップ４０５にＪＰＥＧエンコーディングされたデータを伝達するにあたり、予め指定された大きさのデータに蓄積して伝達する。
【００７５】
予め指定された大きさのデータは、有効データのみで構成されるか、有効データとダミーデータとで構成されるか、ダミーデータだけで構成されることができる。例えば、バックエンドチップ４０５において、一つのフレームに対するあらゆるＪＰＥＧエンコーディングされたデータが入力されたと認識する大きさが６４０x４８０であれば、データ出力部４３０は、ＪＰＥＧエンコーダ４２０から入力されるデータを用いて、ラインサイズである６４０だけのデータを生成してバックエンドチップ４０５に伝送する。これは、コラムサイズである４８０度だけ順次、繰り返して実施されるはずである。
【００７６】
データ出力部４３０は、ＪＰＥＧエンコーダ４２０によりいずれかのフレーム(例えば、ｋ番目に入力されたフレーム、ここで、kは、自然数-以下、ｋ番目のフレームと称する)に対するエンコーディング処理が完了していないにも関わらず、イメージセンサー１１０から後続するフレーム(例えば、ｋ＋１番目に入力されるフレーム-以下、ｋ＋１番目のフレームと称する)に対する入力を通知するＶ_ｓｙｎｃ_Ｉ信号が入力されると、Ｖ_ｓｙｎｃ発生器５２０-図５参照)を制御して、該当フレームに相応するＶ_ｓｙｎｃ信号の出力がスキップされるように制御できる。
【００７７】
新たなフレームの入力を検出する方式は、Ｖ_ｓｙｎｃ信号のライジングエッジ(rising  edge)、又は、フォーリングエッジ(falling  edge)を検出する方法のように多様であるが、ここでは、ライジングエッジを検出する場合を中心として説明する。すなわち、Ｖ_ｓｙｎｃ発生器５２０が、バックエンドチップ４０５にロー(Low)状態のＶ_ｓｙｎｃ信号(すなわち、新たなフレームが入力されないことを表示する状態)を出力していると、データ出力部４３０は、現在の状態を維持するように制御できる(図９に示された点線形態のＶ_ｓｙｎｃ２参照)。
【００７８】
もちろん、この場合、データ出力部４３０は、Ｖ_ｓｙｎｃ_Ｉ信号に相応するｋ＋１番目のフレームに対する出力及び/又は処理をスキップするようにするためのＶ_ｓｙｎｃ_ｓｋｉｐ信号をイメージセンサー１１０、前処理部４１０、又は、ＪＰＥＧエンコーダ４２０に伝送することもできる。
【００７９】
ここで、イメージセンサー１１０、前処理部４１０、又は、ＪＰＥＧエンコーダ４２０は、データ処理部４３０からＶ_ｓｙｎｃ_ｓｋｉｐ信号を受信した場合、予め指定された動作を行うように予め具現されるべきである。上述した構成要素の設計及び具現方法は、本明細書の説明を通して当業者が容易に理解できるはずなので、これに対する説明は省略する。
【００８０】
例えば、イメージセンサー１１０がＶ_ｓｙｎｃ_ｓｋｉｐ信号を受信した場合、Ｖ_ｓｙｎｃ_Ｉ信号に相応するフレームの原データ(raw  data)を前処理部４１０に伝送しないことができる。前処理部４１０がＶ_ｓｙｎｃ_ｓｋｉｐ信号を受信した場合、Ｖ_ｓｙｎｃ_Ｉ信号に相応するフレームの原データの処理をスキップしたり、処理された原データをＪＰＥＧエンコーダ４２０に伝送しないことができる。同様に、ＪＰＥＧエンコーダ４２０がＶ_ｓｙｎｃ_ｓｋｉｐ信号を受信した場合、Ｖ_ｓｙｎｃ_Ｉ信号に相応するフレームの処理された原データをエンコーディングしなかったり、前処理部４１０から受信される処理された原データがメモリに格納されないようにすることができる。
【００８１】
上述した過程により、イメージセンサー１１０から#１、#２、#３、#４のフレームに相応する原データが順次入力されたとしても、データ出力部４３０の動作又は制御により、バックエンドチップ４０５に入力されるエンコーディングされたイメージデータは、#１、#３、#４のみに制限されることもできる。すなわち、#２のフレームに相応する原データは、処理が省略されたり、処理されても格納過程が省略され得る。
【００８２】
例えば、携帯用端末の全般的な動作制御を行うベースバンドチップ１４０から写真をキャプチャーするとの命令が受信されると、バックエンドチップ４０５は、イメージシグナルプロセッサ４００から入力された画質が改善されたＪＰＥＧエンコーディングされたデータを伝達されてメモリに格納した後、バックエンドチップ４０５がデコーディングして表示部１５０にディスプレイしたり、ベースバンドチップ１４０が読み出して処理できるようにする。
【００８３】
図５に、データ出力部４３０の細部構成が示されている。図５を参照するに、データ出力部４３０は、ＡＮＤゲート５１０と、Ｖ_ｓｙｎｃ発生器(V_sync  generator)５２０と、Ｈ_ｓｙｎｃ発生器５３０と、伝送遅延部(Delay  unit)５４０と、伝送量算出部５４５と、伝送制御部５５０と、を含むことができる。
【００８４】
ＡＮＤゲート５１０は、あらゆる入力に信号が入力される場合のみ、クロック信号(Ｐ_ＣＬＫ)をバックエンドチップ４０５に出力する。すなわち、イメージシグナルプロセッサ４００に備えられたクロック発生器(図示せず)からクロック信号を入力され、伝送制御部５５０からクロック制御信号を入力され、クロック制御信号がクロック信号出力を指示する場合のみ、クロック信号をバックエンドチップ４０５に出力する。クロック制御信号は、ハイ信号(High  Signal)又はロー信号(Low  Signal)形態であり、各々Ｐ_ＣＬＫイネーブル(enable)、又は、Ｐ_ＣＬＫディセーブル信号として認識されることができる。
【００８５】
Ｖ_ｓｙｎｃ発生器５２０は、伝送制御部５５０の制御により有効区間を表示するための垂直同期信号(Ｖ_ｓｙｎｃ)を生成して出力する。Ｖ_ｓｙｎｃ発生器５２０は、伝送制御部５５０からＶ_ｓｙｎｃ信号の出力命令が入力されてからＶ_ｓｙｎｃ信号の出力終了命令が入力されるまで、ハイ状態のＶ_ｓｙｎｃ信号を出力する。垂直同期信号が、各フレームの入力が開始されることを意味するというのは、当業者にとって自明である。
【００８６】
Ｈ_ｓｙｎｃ発生器５３０は、伝送制御部５５０の制御により(すなわち、有効データイネーブル信号(Ｈ_ＲＥＦ)の出力命令が入力され、Ｈ_ＲＥＦ信号の出力終了命令が入力されるまで)、ハイ状態の有効データイネーブル信号(Ｈ_ＲＥＦ)を生成して出力する。有効データイネーブル信号のハイ区間は、伝送遅延部５４０から予め指定されたラインサイズ分蓄積して出力するデータ(すなわち、有効データ及び/又はダミーデータ)の出力区間と一致する。
【００８７】
伝送遅延部５４０は、データ入力部６１０と、有効データ蓄積部６２０と、蓄積データ出力部６３０と、を含む。
【００８８】
データ入力部６１０は、ＪＰＥＧエンコーダ４２０からＪＰＥＧエンコーディングされたデータを入力される。データ入力部６１０は、有効データ蓄積部６２０の動作のために、入力されたＪＰＥＧエンコーディングされたデータを一時格納することもできる。データ入力部６１０は、例えばＪＰＥＧエンコーダ４２０から入力されたデータを一定時間(例えば、２〜３クロック)遅延させて出力するようにするためのレジスタを含むことができる。
【００８９】
有効データ蓄積部６２０は、データ入力部６１０が、入力されたＪＰＥＧエンコーディングされたデータのうち有効データ(すなわち、実際的にイメージを構成するＪＰＥＧエンコーディングされたデータ)だけを抽出して蓄積し、予め指定されたラインサイズ分蓄積されると、伝送制御部５５０に伝送指示を要請する。データ入力部６１０又は有効データ蓄積部６２０に一時格納されたＪＰＥＧエンコーディングされたデータが有効データなのか否かは、伝送制御部５５０により判断できることは自明である。もし、データ入力部６１０に格納されたデータを用いて有効データの可否を判断する場合は、有効データ蓄積部６２０内に有効データのみが存在するようになるであろう。
【００９０】
伝送制御部５５０から蓄積されたデータを伝送するようにする制御命令が入力されると、有効データ蓄積部６２０は、蓄積データ出力部６３０を介して蓄積された有効データをバックエンドチップ４０５に伝送する。但し、ＪＰＥＧエンコーディングの終了を示す‘ＳＴＯＰ  ＭＡＲＫＥＲ’を含む有効データのラインは、予め指定されたラインサイズ未満に蓄積されることができ、この場合、ダミーデータを追加して、予め指定されたラインサイズに形成して伝送できる。
【００９１】
上述のように、伝送遅延部５４０は、伝送制御部５５０の制御により蓄積された有効データをバックエンドチップ４０５に伝送する。これは、予め指定されたコラムサイズだけ繰り返される。
【００９２】
但し、本発明に係る伝送遅延部５４０は、ＪＰＥＧエンコーダ４２０から受信したＪＰＥＧエンコーディングされたデータのうち無効データを除いて、有効データのみを抽出して予め指定されたラインサイズ分蓄積するので、予め指定されたコラムサイズだけ繰り返す前に、ｋ番目に入力されたフレームに対するあらゆる有効データを全てバックエンドチップ４０５に伝送できる。本明細書における無効データは、ＪＰＥＧ標準などで言及している有効でないデータ(すなわち、実際的にイメージを構成しないデータ)を意味し、その例示として、０x００に表示することにする。
【００９３】
この場合、バックエンドチップ４０５は、予め指定されたラインサイズ×コラムサイズだけのＪＰＥＧエンコーディングされたデータ(及び/又はダミーデータ)が、イメージシグナルプロセッサ４００から未だ受信されていないと認識して、処理を行わないこともあり得る。
【００９４】
これを防止するために、イメージシグナルプロセッサ４００は、ダミーデータ(すなわち、コラムサイズだけ満たすための用途のダミーデータ)を生成してバックエンドチップ４０５に伝送する。有効データ蓄積部６２０は、このために、ダミーデータ生成機能を更に行える。ダミーデータ生成は、伝送制御部５５０が、有効データ蓄積部６２０に格納された有効データのＪＰＥＧテールから‘ＳＴＯＰ  ＭＡＲＫＥＲ’をキャプチャーして、ＪＰＥＧエンコーディングの終わりに対する情報を認識した場合に開始されるように制御できる。これにより、有効データ蓄積部６２０は、ダミーデータを予め指定されたラインサイズ分生成して、残りのコラム数(すなわち、予め指定されたコラム数-有効データから構成されたコラムの数)だけ繰り返して伝送する。もちろん、伝送制御部５５０が、ダミーデータを生成して有効データ蓄積部６２０に提供することもできる。また、ダミーデータは、予め生成されたり、決定されていることができ、予め指定されたラインサイズのデータ列を蓄積するにあたり、有効データが不足しているか、存在しない場合、ダミーデータに代替されてもよいことは自明である。
【００９５】
バックエンドチップ４０５は、予め指定されたラインサイズ(n)×コラムサイズ(m)分のデータがメモリに蓄積されると、ｋ番目のフレームのＪＰＥＧエンコーディングされたデータが全て蓄積されたと判断し、処理を開始する。しかしながら、図８に例示されたように、バックエンドチップ４０５のメモリに蓄積されたデータのうち有効データは、前半部にのみ集中的に配置されているので、短い時間内に有効データのスキャン及び処理が可能である。
【００９６】
ＪＰＥＧエンコーダ４２０が、エンコーディングされたイメージデータを出力するための出力メモリを含む場合、伝送遅延部５４０は、出力メモリからエンコーディングされたデータを入力されることができる。バックエンドチップ４０５は、入力されたＪＰＥＧエンコーディングされたデータをメモリに格納することで、ベースバンドチップ１４０が、必要によって利用できるようにする。
【００９７】
伝送量算出部５４５は、これまで伝送遅延部５４０で予め指定されたラインサイズに符合して伝送したデータの回数(すなわち、伝送したコラム数)を計数する。これにより、一つのフレームを形成するように予め指定されたコラムサイズを満たすために、どのぐらいより多くのＨ_ＲＥＦ信号を生成して出力しなければならないのかを算出して伝送制御部５５０に提供する。図５には、伝送量算出部５４５が、Ｈ_ｓｙｎｃ発生器５３０で出力したＨ_ＲＥＦ信号の回数を用いて、残りのコラム数(すなわち、Ｈ_ＲＥＦ信号出力の回数)を算出する場合が示されている。しかしながら、本発明によれば、Ｈ_ＲＥＦのハイ状態の区間と有効/ダミーデータの出力区間とは同じであるので、有効/ダミーデータの出力区間の数を用いて、残りのコラム数を算出することもできる。
【００９８】
伝送制御部５５０は、クロック制御信号の出力と、Ｖ_ｓｙｎｃ発生器５２０と、Ｈ_ｓｙｎｃ発生器５３０と、伝送遅延部５４０と、を制御することで、各信号(すなわち、Ｐ_ＣＬＫ、Ｈ_ｓｙｎｃ、Ｖ_ｓｙｎｃ、及びデータ)の出力状態を制御する。
【００９９】
また、伝送制御部５５０は、伝送量算出部５４５から受信された残りのコラム数に応じて、Ｈ_ｓｙｎｃ信号、ダミーデータの生成などを制御する。
【０１００】
伝送制御部５５０は、伝送遅延部５４０に格納されたデータのＪＰＥＧヘッダーとテールとから‘ＳＴＡＲＴ  ＭＡＲＫＥＲ’と‘ＳＴＯＰ  ＭＡＲＫＥＲ’とをキャプチャーして、ＪＰＥＧエンコーディングの始まりと終わりに対する情報を認識できる。すなわち、これにより、ＪＰＥＧエンコーダ４２０により一つのフレームが全てエンコーディングされているか否かを認識できる。
【０１０１】
もし、ＪＰＥＧエンコーディングが完了していないにも関わらず、イメージセンサー１１０からＶ_ｓｙｎｃ_Ｉ信号が入力された場合、図９に示され、また、先に詳細に説明したように、伝送制御部５５０は、Ｖ_ｓｙｎｃ発生器５２０を制御して、Ｖ_ｓｙｎｃ信号の出力がスキップされるように制御する。すなわち、いま、Ｖ_ｓｙｎｃ発生器５２０がロー状態のＶ_ｓｙｎｃ信号をバックエンドチップ４０５に出力しているとすると、現在の状態を維持するように制御する。
【０１０２】
次いで、先に詳細に説明したように、この場合、伝送制御部５５０は、Ｖ_ｓｙｎｃ_ｓｋｉｐ信号をイメージセンサー１１０、前処理部４１０、又は、ＪＰＥＧエンコーダ４２０に伝送することで、Ｖ_ｓｙｎｃ_ｓｋｉｐ信号に相応する後続するフレームに対して、データ出力、処理(例えば、ＪＰＥＧエンコーディング)などをスキップするよう制御することができる。
【０１０３】
もし、先行する構成要素からＶ_ｓｙｎｃ_Ｉ信号に相応するデータが入力されなかったり(例えば、Ｖ_ｓｙｎｃ_ｓｋｉｐ信号を入力されたイメージセンサー１１０が、Ｖ_ｓｙｎｃ_Ｉ信号に相応する原データを出力しない場合)、入力されたデータを、後行する構成要素が削除(例えば、Ｖ_ｓｙｎｃ_ｓｋｉｐ信号を入力されたＪＰＥＧエンコーダ４２０が、Ｖ_ｓｙｎｃ_Ｉ信号に相応して前処理部４１０から入力された処理された原データをエンコーディングしなくて削除する場合)できると、後行する構成要素は、無駄な処理を行う必要がないためである。この方法を用いる場合、イメージシグナルプロセッサ４００の各構成要素が予め指定された機能を行うが、無駄に後続フレームの処理を行わないので、無駄な電力消耗や処理効率の減少を抑制できるという効果もある。
【０１０４】
図７に、伝送制御部５５０の制御によりバックエンドチップ４０５に入力される信号の波形が例示されている。図７に示されたように、有効でないエンコーディングデータ(０x００)が出力される間は、バックエンドチップ４０５に出力されるべきクロック信号(Ｐ_ＣＬＫ)をオフ(図７に示されたＰ_ＣＬＫ信号の点線部分)させることで、バックエンドチップ４０５の無駄な動作を最小化させることができる。これにより、バックエンドチップ４０５の電力消耗を最小化することができる。
【０１０５】
また、Ｈ_ＲＥＦ信号がハイ状態で出力される区間(ta、tc、td、tf)と有効データ又はダミーデータ(すなわち、ＰＡＤ)の出力区間とは、各々一致する。
【０１０６】
すなわち、ta時間の間、データ出力部４３０は、Ｖ_ｓｙｎｃ信号の受信後、有効データ蓄積部６２０に蓄積された予め指定されたラインサイズの有効データを出力し、tb時間の間、予め指定されたラインサイズの新しい有効データを蓄積する。次いで、蓄積された有効データをtc時間の間出力する。このような過程を繰り返して、ＪＰＥＧエンコーダ４２０から受信されたＪＰＥＧエンコーディングされたデータの中、‘ＳＴＡＲＴ  ＭＡＲＫＥＲ’から‘ＳＴＯＰ  ＭＡＲＫＥＲ’までの有効データを全て出力した後は、予め指定されたコラム数を満たすために、ダミーデータを繰り返されるtf時間の間出力する。
【０１０７】
ここで、蓄積されたデータを出力する時間は、予め指定されたラインサイズのデータを出力する時間であるので、全て一致(すなわち、ta=tc=td=tf)する。しかしながら、該当データを蓄積する時間は、必ずしも一致しない。例えば、有効データが連続的に存在する場合が、有効データが散在している場合より蓄積時間が少ないためである。但し、ダミーデータを蓄積する時間(すなわち、te)は、全て一致する。ダミーデータを蓄積する時間は、予め決定されていってもよく、伝送遅延部５４０は、予め指定された出力時点ごとにダミーデータを出力したり、伝送制御部５５０の制御によりダミーデータを出力することができる。
【０１０８】
また、図７などには、Ｈ_ＲＥＦ信号がロー状態である区間(例えば、td、te)の間無効データ(例えば、０x００を含むデータ)のみが出力されるように示されているが、実際的には、別のダミーデータが出力されてもよいことは自明である。
【０１０９】
また、ＪＰＥＧエンコーダ４２０が、イメージセンサー１１０から入力されたｋ番目のフレームの映像をエンコーディングする速度が遅い場合(例えば、一つのフレームをエンコーディングする間、新たなフレームの入力が開始されることを意味するＶ_ｓｙｎｃ_Ｉ信号が入力された場合)、後続するｋ＋１番目のフレームに対するエンコーディングが同時に行われることができないので(同時に行われる場合、データ誤りが発生できる)、データ出力部４３０は、図９のように、次のフレームに対するＶ_ｓｙｎｃ信号がロー状態に維持されるように(すなわち、図９に示されたＶ_ｓｙｎｃ２信号の点線部分で、従来技術によれば、該当時点で出力されたＶ_ｓｙｎｃ２信号は、本発明によれば、スキップ処理される)することで、ＪＰＥＧエンコーディングが完了され得るようにする。データ出力部４３０の制御により、ＪＰＥＧエンコーダ４２０は、次のフレームのエンコーディングをスキップする。もちろん、伝送制御部５５０が、Ｖ_ｓｙｎｃ_ｓｋｉｐ信号をイメージセンサー１１０や前処理部４１０に伝送した場合、ＪＰＥＧエンコーダ４２０は、Ｖ_ｓｙｎｃ_Ｉに相応するデータを、先行する構成要素から提供を受けることができないこともある。
【０１１０】
従来のバックエンドチップ４０５は、ＹＵＶ/ＢＡＹＥＲフォーマットのデータを入力されるように具現されており、このようなデータを入力されるためのインターフェースとして、Ｐ_ＣＬＫ、Ｖ_ｓｙｎｃ、Ｈ_ＲＥＦ、ＤＡＴＡ信号を用いている。
【０１１１】
これを考慮して、本発明のイメージシグナルプロセッサ４００は、従来と同様のインターフェースを用いるように具現される。
【０１１２】
したがって、本発明は、バックエンドチップ４０５が、従来のバックエンドチップの設計方法により具現された場合にも互換(port  matching)できることは自明である。
【０１１３】
例えば、一般的なバックエンドチップ４０５の動作が、Ｖ_ｓｙｎｃ信号のライジングエッジ(rising  edge)の割り込みから動作初期化されるとすると、本発明もまた、従来のインターフェース構造を同様に適用したので、既存のＶ_ｓｙｎｃ信号が出力される形態と同様に、該当信号をバックエンドチップ４０５に入力することで、各チップ間でインターフェーシングが可能である。
【０１１４】
同様に、一般的なバックエンドチップ４０５が、Ｖ_ｓｙｎｃライジング(rising)割り込みを発生しなければならなく、また、イメージシグナルプロセッサ４００からデータを受ける際に、有効データイネーブル信号(Ｈ_ＲＥＦ)をメモリの記録イネーブル信号に用いることを考慮する場合、本発明に係る信号出力方式を用いることで、バックエンドチップ４０５の電力消耗も減らすことができる。
【０１１５】
これまで、イメージシグナルプロセッサ４００がＪＰＥＧエンコーディング方式を用いる場合のみを中心として説明したが、ＢＭＰエンコーディング方式、ＭＰＥＧ(ＭＰＥＧ１/２/４、ＭＰＥＧ-４ＡＶＣ)エンコーディング方式、ＴＶアウト方式などのように、他のエンコーディング方式を支援する場合にも、同様のデータ伝送方式を利用できることは自明である。
【０１１６】
図面と発明の詳細な説明は、単に本発明の例示的なものであり、これは、単に本発明を説明するための目的で使用されたものであって、意味限定や特許請求範囲上に記載された本発明の範囲を制限するために使用されたものではない。したがって、本技術分野の通常の知識を有する者ならば、これらから種々の変形及び均等な他の実施形態が可能であることを理解するはずである。よって、本発明の真の技術的保護範囲は、本願の特許請求範囲上の技術的思想により定められるべきである。
【図面の簡単な説明】
【０１１７】
【図１】一般的な撮像装置の構成を簡略に示した図である。
【図２】一般的なＪＰＥＧエンコーディング過程を示した図である。
【図３】従来のイメージシグナルプロセッサ（ＩＳＰ）がエンコーディングされたデータを出力するための信号形態を示した図である。
【図４】本発明の一実施形態に係る撮像装置の構成を簡略に示した図である。
【図５】本発明の一実施形態に係るデータ出力部の構成を簡略に示した図である。
【図６】本発明の一実施形態に係る伝送遅延部の構成を簡略に示した図である。
【図７】本発明の一実施形態に係るイメージシグナルプロセッサのエンコーディングされたデータ出力のための信号波形を例示した図である。
【図８】本発明の一実施形態に係るイメージシグナルプロセッサから伝送されてバックエンドチップのメモリに蓄積されたデータの格納形態を概念的に示した図である。
【図９】本発明の他の実施形態に係るイメージシグナルプロセッサのエンコーディングされたデータ出力のための信号波形を例示した図である。
【符号の説明】
【０１１８】
１１０  イメージセンサー
１４０  ベースバンドチップ
４００  イメージシグナルプロセッサ
４０５  バックエンドチップ
４１０  前処理部
４２０  ＪＰＥＧエンコーダ
４３０  データ出力部
５１０  ＡＮＤゲート
５２０  Ｖ_ｓｙｎｃ発生器
５３０  Ｈ_ｓｙｎｃ発生器
５４０  伝送遅延部
５４５  伝送量算出部
５５０  伝送制御部
【図１】
2009515407.tif 000003
【図２】
2009515407.tif 000004
【図３】
2009515407.tif 000005
【図４】
2009515407.tif 000006
【図５】
2009515407.tif 000007
【図６】
2009515407.tif 000008
【図７】
2009515407.tif 000009
【図８】
2009515407.tif 000010
【図９】
2009515407.tif 000011
【国際調査報告】
2009515407.tif 000012
2009515407.tif 000013