(57)【要約】  バックエンドチップの処理効率の増進及び電力消耗を防止できるエンコーディングされたデータの伝達方法及びその方法を行う撮像装置を提供する。  イメージシグナルプロセッサは、イメージセンサーから入力された電気信号に相応するイメージデータをエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と；エンコーディングされたイメージデータを受信段に伝達するデータ出力部と；を含む。データ出力部は、エンコーディング部による先行フレームの処理途中で、イメージセンサーから後行フレームの入力開始情報を入力された場合、後行フレームの処理をスキップ(skip)するようにするスキップ命令をエンコーディング部に入力することができる。したがって、バックエンドチップの処理効率の増進及び電力消耗を防止できる。
2009515411.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置のイメージシグナルプロセッサにおいて、
イメージセンサーから入力された電気信号に相応するイメージデータを、予め指定されたエンコーディング方式によりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;
前記エンコーディング部によりエンコーディングされたイメージデータを臨時に格納し、当該格納されたエンコーディングされたイメージデータを受信段に伝達するデータ出力部と；を含み、
前記データ出力部は、前記エンコーディング部による先行フレームの処理途中で、前記イメージセンサー又は前記エンコーディング部から後行フレームの入力開始情報を入力された場合、前記後行フレームの処理をスキップするようにするスキップ命令を、前記イメージセンサー又は前記エンコーディング部に入力することを特徴とするイメージシグナルプロセッサ。
【請求項２】
前記予め指定されたエンコーディング方式は、ＪＰＥＧエンコーディング方式、ＢＭＰエンコーディング方式、ＭＰＥＧエンコーディング方式、及び、ＴＶアウト方式の少なくともいずれかであることを特徴とする請求項１に記載のイメージシグナルプロセッサ。
【請求項３】
クロック発生器を更に含むことを特徴とする請求項１に記載のイメージシグナルプロセッサ。
【請求項４】
前記データ出力部は、有効なデータが伝達される区間のみ、クロック信号を前記受信段に出力することを特徴とする請求項１に記載のイメージシグナルプロセッサ。
【請求項５】
前記データ出力部は、垂直同期(Ｖ_ｓｙｎｃ)信号及び有効データイネーブル信号を前記受信段に更に出力することを特徴とする請求項１に記載のイメージシグナルプロセッサ。
【請求項６】
前記データ出力部は、
クロックディセーブル信号が入力されると、クロック信号生成器から入力された前記クロック信号の出力を中断するＡＮＤゲートと;
垂直同期信号制御命令に応じて、ハイ又はロー状態の前記垂直同期信号を生成して出力するＶ_ｓｙｎｃ発生器と;
有効データイネーブル制御命令に応じて、ハイ又はロー状態の前記有効データイネーブル信号を生成して出力するＨ_ｓｙｎｃ発生器と;
前記エンコーディングされたデータを臨時に格納し、データ出力制御命令に応じて、格納されたエンコーディングされたデータを出力する伝送遅延部と;
前記クロックディセーブル信号、前記垂直同期信号制御命令、前記有効データイネーブル制御命令、及び前記データ出力制御命令を生成して出力する伝送制御部と；を含み、
前記伝送制御部は、前記伝送遅延部にエンコーディングされたデータが格納されると、前記エンコーディングされたデータのうち有効なデータの出力区間のみ、前記クロック信号及び前記有効データイネーブル信号が出力されるように制御することを特徴とする請求項５に記載のイメージシグナルプロセッサ。
【請求項７】
前記有効データイネーブル信号は、前記受信段で記録イネーブル信号として解析されることを特徴とする請求項６に記載のイメージシグナルプロセッサ。
【請求項８】
前記伝送制御部は、前記伝送遅延部に格納される前記エンコーディングされたイメージデータのヘッダー情報及びテール情報を用いて、前記先行フレームのエンコーディングが完了しているか否かを判断することを特徴とする請求項６に記載のイメージシグナルプロセッサ。
【請求項９】
前記先行フレームの処理途中で前記後行フレームの入力開始情報を入力された場合、前記伝送制御部は、前記Ｖ_ｓｙｎｃ発生器により出力される前記垂直同期信号がロー状態である場合、現状を維持するように制御することを特徴とする請求項８に記載のイメージシグナルプロセッサ。
【請求項１０】
撮像装置のイメージシグナルプロセッサにおいて、
クロック発生器と;
イメージセンサーから入力された電気信号に相応するイメージデータを、予め指定されたエンコーディング方式によりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;
クロックディセーブル信号が入力されると、前記クロック発生器から入力されたクロック信号の出力を中断するＡＮＤゲートと;
垂直同期信号制御命令に応じて、ハイ又はロー状態の垂直同期信号を生成して出力するＶ_ｓｙｎｃ発生器と;
有効データイネーブル制御命令に応じて、ハイ又はロー状態の有効データイネーブル信号を生成して出力するＨ_ｓｙｎｃ発生器と;
前記エンコーディングされたデータを臨時に格納し、データ出力制御命令に応じて、格納されたエンコーディングされたデータを出力する伝送遅延部と;
前記クロックディセーブル信号、前記垂直同期信号制御命令、前記有効データイネーブル制御命令、及び前記データ出力制御命令を生成して出力する伝送制御部と；を含み、
前記クロック信号、前記垂直同期信号、前記有効データイネーブル信号、及び前記エンコーディングされたデータは、予め指定された条件に従って受信段に出力し、
前記伝送制御部は、前記エンコーディング部による先行フレームの処理途中で、前記イメージセンサー又は前記エンコーディング部から後行フレームの入力開始情報を入力された場合、前記後行フレームの処理をスキップするようにするスキップ命令を、前記イメージセンサー又は前記エンコーディング部に入力することを特徴とするイメージシグナルプロセッサ。
【請求項１１】
前記有効データイネーブル信号がハイ状態である区間のみ、有効なエンコーディングされたデータが出力されることを特徴とする請求項１０に記載のイメージシグナルプロセッサ。
【請求項１２】
イメージセンサー、イメージシグナルプロセッサ、バックエンドチップ、及び、ベースバンドチップを含む撮像装置において、
前記イメージシグナルプロセッサが、
イメージセンサーから入力された電気信号に相応するイメージデータを、予め指定されたエンコーディング方式によりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;
前記エンコーディング部によりエンコーディングされたイメージデータを臨時に格納し、当該格納されたエンコーディングされたイメージデータを受信段に伝達するデータ出力部と；を含み、
前記データ出力部は、前記エンコーディング部による先行フレームの処理途中で、前記イメージセンサー又は前記エンコーディング部から後行フレームの入力開始情報を入力された場合、前記後行フレームの処理をスキップするようにするスキップ命令を、前記イメージセンサー又は前記エンコーディング部に入力することを特徴とする撮像装置。
【請求項１３】
撮像装置のイメージシグナルプロセッサで行われるイメージシグナルプロセシング方法において、
イメージセンサーから入力された電気信号に相応するイメージデータを、予め指定されたエンコーディング方式によりエンコーディングし、エンコーディングされたイメージデータを生成する段階と;
前記エンコーディングされたイメージデータを格納する段階と;
前記格納されたエンコーディングされたイメージデータを受信段に出力する段階と；を含み、
先行フレームの処理途中で、前記イメージセンサーから後行フレームの入力開始情報を入力された場合、前記後行フレームの処理は、スキップされることを特徴とするイメージシグナルプロセシング方法。
【請求項１４】
前記予め指定されたエンコーディング方式は、ＪＰＥＧエンコーディング方式、ＢＭＰエンコーディング方式、ＭＰＥＧエンコーディング方式、及び、ＴＶアウト方式の少なくともいずれかであることを特徴とする請求項１３に記載のイメージシグナルプロセシング方法。
【請求項１５】
前記格納されたエンコーディングされたデータのうち有効なデータの出力区間のみ、前記受信段に有効データイネーブル信号が出力されることを特徴とする請求項１３に記載のイメージシグナルプロセシング方法。
【請求項１６】
前記有効データイネーブル信号は、前記受信段で記録イネーブル信号として解析されることを特徴とする請求項１３に記載のイメージシグナルプロセシング方法。
【請求項１７】
前記先行フレームに対するエンコーディングが完了しているか否かは、前記格納されるエンコーディングされたイメージデータのヘッダー情報及びテール情報を用いて判断されることを特徴とする請求項１３に記載のイメージシグナルプロセシング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データエンコーディングに関し、より詳細には、撮像装置で行われるデータエンコーディングに関する。
【背景技術】
【０００２】
近年、小型及び薄型の撮像素子が、携帯電話機やＰＤＡ(Personal  Digital  Assistant)などの小型及び薄型の携帯用端末に搭載されることによって、携帯用端末が撮像装置としても機能することができる。これにより、携帯電話機のような携帯用端末は、遠隔地に音声情報だけでなく、画像情報も伝送できるようになった。撮像素子は、携帯電話機やＰＤＡだけでなく、ＭＰ３プレーヤーなどの携帯用端末にも具備されている。したがって、種々の携帯用端末が外部映像を撮像して電子的なデータとして保持する撮像装置としても機能することができる。
【０００３】
一般に、撮像装置には、ＣＣＤ(Charge  Coupled  Device)型イメージセンサーやＣＭＯＳ(Complementary  Metal-Oxide  Semiconductor)型イメージセンサーなどの固体撮像素子が使われている。
【０００４】
図１は、一般的な撮像装置の構成を簡略に示した図であり、図２は、一般的なＪＰＥＧエンコーディング過程を示した図であり、図３は、従来のイメージシグナルプロセッサ(ＩＳＰ、Image  Signal  Processor)がエンコーディングされたデータを出力するための信号形態を示した図である。
【０００５】
図１に示されたように、撮像された外部映像を電気的なデータに変換して表示部１５０にディスプレイする撮像装置は、イメージセンサー１１０と、イメージシグナルプロセッサ(ＩＳＰ、Image  Signal  Processor)１２０と、バックエンドチップ(Back-end  chip)１３０と、ベースバンドチップ(Baseband  Chip)１４０と、表示部１５０と、を含む。その他に、撮像装置は、変換された電気的なデータを格納するためのメモリ、アナログ信号をデジタル信号に変換するＡＤ変換機などを更に含むことができる。
【０００６】
イメージセンサー１１０は、バイエルパターン(Bayer  Pattern)を持つセンサーであり、単位ピクセル別にレンズを介して入力された光の量に相応する電気信号を出力する。
【０００７】
イメージシグナルプロセッサ１２０は、イメージセンサー１１０から入力された電気信号(raw  data)をＹＵＶ値に変換し、変換されたＹＵＶ値をバックエンドチップ１３０に出力する。ＹＵＶ方式は、人間の眼が色相よりは明るさに敏感であるという事実に着目した方式であり、色を明るさ(Luminance)のＹ成分と色相(Chrominance)のＵ及びＶ成分とに分ける。Ｙ成分は、誤差に敏感であるので、色相成分のＵとＶより多いビットをコーディングする。典型的なＹ:Ｕ:Ｖの比率は、４:２:２である。
【０００８】
イメージシグナルプロセッサ１２０は、変換したＹＵＶ値をＦＩＦＯに順次格納させることによって、バックエンドチップ１３０が該当情報を入力され得るようにする。
【０００９】
バックエンドチップ１３０は、入力されたＹＵＶ値を予め指定されたエンコーディング方法によりＪＰＥＧやＢＭＰに変換してメモリに格納したり、メモリに格納されたエンコーディングされたイメージをデコーディングして表示部１５０にディスプレイする。バックエンドチップ１３０は、イメージの拡大、縮小、ローテーションなどの機能も行うことができる。もちろん、図１に示されたように、ベースバンドチップ１４０が、バックエンドチップ１３０からデコーディングされたデータを入力され、表示部１５０にディスプレイすることもできる。
【００１０】
ベースバンドチップ１４０は、撮像装置の動作を全般的に制御する機能を行う。例えば、キー入力部(図示せず)を介して使用者から撮像命令が入力されると、ベースバンドチップ１４０は、バックエンドチップ１３０にイメージ生成命令を伝送することによって、バックエンドチップ１３０が入力された外部映像に相応するエンコーディングされたデータを生成するようにすることもできる。
【００１１】
表示部１５０は、バックエンドチップ１３０又はベースバンドチップ１４０の制御により提供されたデコーディングされたデータをディスプレイする。
【００１２】
図２には、バックエンドチップ１３０により行われる一般的なＪＰＥＧエンコーディング(encoding)過程が示されている。ＪＰＥＧエンコーディング過程２００は、当業者にとって自明な事項であるので、簡略に説明することにする。
【００１３】
図２に示されたように、入力されたＹＵＶ値のイメージは、８x８ピクセル大きさのブロックに分けられ、各ブロックに対して、ＤＣＴ(離散コサイン変換、Discrete  Cosine  Transform)が行われる(２１０)。−１２８〜１２７間の８ビットの整数形態に入力された各ピクセルの画素値は、ＤＣＴにより-１０２４〜１０２３間の値に変換される。
【００１４】
次いで、量子化器(Quantizer)は、各ブロックのＤＣＴ係数を、視覚に及ぼす影響によって重み付けをして量子化する(２２０)。この重みのテーブルを量子化テーブルという。量子化テーブルの値は、ＤＣ近くでは小さい値を取り、高い周波数では、大きい値を取り、情報量の多いＤＣ近くのデータを小さな損失で送り、高周波数では、高い圧縮率を誘導する。
【００１５】
次いで、無損失コーダー(Lossless  coder)であるエントロピーエンコーダ(entropy  encoder)により最終圧縮されたデータが生成される(２３０)。
【００１６】
上述した過程を経てエンコーディングされたデータは、メモリに格納される。バックエンドチップ１３０は、メモリに積載されたデータを復号化して表示部１５０にディスプレイする等の処理を行う。
【００１７】
メモリに格納されたデータが復号化などの処理のために順次入力される過程の信号波形が、図３に示されている。一般に、バックエンドチップ１３０は、ＹＵＶ/ＢＡＹＥＲフォーマットのデータを入力されるように具現されており、このようなデータを入力されるためのインターフェースとして、Ｐ_ＣＬＫ、Ｖ_ｓｙｎｃ、Ｈ_ＲＥＦ、ＤＡＴＡ信号を用いている。
【００１８】
図３に示されたように、従来のバックエンドチップ１３０は、エンコーディングされたデータを後続する構成要素(例えば、デコーディング部等)に伝達するにあたり、全過程でクロック信号(Ｐ_ＣＬＫ)の出力状態をオン(ＯＮ)状態に維持するので、バックエンドチップ１３０は、有効でないデータ(例えば、０x００を含むデータ)が入力される間にも、相互間にインターフェーシングのための動作を行わなければならない。
【００１９】
したがって、従来の撮像装置は、バックエンドチップ１３０が、不要な動作を行うことで、無駄な電力消耗が生じるという問題点があった。
【００２０】
また、図３に示されたように、従来のイメージシグナルプロセッサ１２０は、現在処理されているフレームに対するエンコーディング処理が完了していないにも関わらず、次のフレームに対するデータの入力を示す新たな垂直同期信号(Ｖ_ｓｙｎｃ２)をバックエンドチップ１３０に出力することができる。
【００２１】
この場合、バックエンドチップ１３０は、現在処理されているフレームに対する処理だけでなく、次のフレームに対する処理を共に行うことがあり、正確なデータの入力及び/又は処理が完了されないという問題点もあった。
【発明の開示】
【発明が解決しようとする課題】
【００２２】
それで、本発明の目的は、バックエンドチップの処理効率の増進及び電力消耗を防止できるエンコーディングされたデータの伝達方法及びその方法を行う撮像装置を提供することにある。
【００２３】
また、本発明の他の目的は、イメージシグナルプロセッサがエンコーディングされたデータをバックエンドチップに提供するにあたり、一般的なインターフェース構造を用いることによって、ハードウェアの設計及び制御の側面で有利な効果を持つエンコーディングされたデータの伝達方法及びその方法を行う撮像装置を提供することにある。
【００２４】
また、本発明の更に他の目的は、イメージシグナルプロセッサが、エンコーディング速度によって入力されるフレームのエンコーディングの可否を決定でき、スムーズなエンコーディング動作を行えるエンコーディングされたデータの伝達方法及びその方法を行う撮像装置を提供することにある。
【００２５】
その他の本発明の目的は、以下に述べられる実施形態を通してより明確になるであろう。
【課題を解決するための手段】
【００２６】
上述した目的を達成するために本発明の一側面によれば、イメージシグナルプロセッサ及び/又は前記イメージシグナルプロセッサを含む撮像装置が提供される。
【００２７】
本発明の一実施形態によれば、撮像装置のイメージシグナルプロセッサにおいて、イメージセンサーから入力された電気信号に相応するイメージデータを、予め指定されたエンコーディング方式によりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;前記エンコーディング部によりエンコーディングされたイメージデータを臨時に格納し、当該格納されたエンコーディングされたイメージデータを受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に伝達するデータ出力部と；を含み、前記データ出力部は、前記エンコーディング部による先行フレームの処理途中で、前記イメージセンサー又は前記エンコーディング部から後行フレームの入力開始情報を入力された場合、前記後行フレームの処理をスキップ(skip)するようにするスキップ命令を、前記イメージセンサー又は前記エンコーディング部に入力することを特徴とするイメージシグナルプロセッサが提供される。
【００２８】
前記予め指定されたエンコーディング方式は、ＪＰＥＧエンコーディング方式、ＢＭＰエンコーディング方式、ＭＰＥＧエンコーディング方式、及び、ＴＶアウト方式の少なくともいずれかであることができる。
【００２９】
前記イメージシグナルプロセッサは、クロック発生器(Clock  Generator)を更に含むことができる。
【００３０】
前記データ出力部は、有効なデータが伝達される区間のみ、クロック(Clock)信号を前記受信段に出力することができる。有効でないデータは、０x００を含むデータであることができる。
【００３１】
前記データ出力部は、垂直同期(Ｖ_ｓｙｎｃ)信号及び有効データイネーブル(Enable)信号を前記受信段に更に出力することができる。
【００３２】
前記データ出力部は、クロックディセーブル信号が入力されると、クロック信号生成器から入力された前記クロック信号の出力を中断するＡＮＤゲートと;垂直同期信号制御命令に応じて、ハイ(High)又はロー(Low)状態の前記垂直同期信号を生成して出力するＶ_ｓｙｎｃ発生器と;有効データイネーブル制御命令に応じて、ハイ(High)又はロー(Low)状態の前記有効データイネーブル信号を生成して出力するＨ_ｓｙｎｃ発生器と;前記エンコーディングされたデータを臨時に格納し、データ出力制御命令に応じて、格納されたエンコーディングされたデータを出力する伝送遅延部と;前記クロックディセーブル信号、前記垂直同期信号制御命令、前記有効データイネーブル制御命令、及び前記データ出力制御命令を生成して出力する伝送制御部と；を含むことができる。ここで、前記伝送制御部は、前記伝送遅延部にエンコーディングされたデータが格納されると、前記エンコーディングされたデータのうち有効なデータの出力区間のみ、前記クロック信号及び前記有効データイネーブル信号が出力されるように制御できる。
【００３３】
前記有効データイネーブル信号は、前記受信段で記録イネーブル(write  enable)信号として解析されることができる。
【００３４】
前記伝送制御部は、前記伝送遅延部に格納される前記エンコーディングされたイメージデータのヘッダー(Header)情報及びテール(Tail)情報を用いて、前記先行フレームのエンコーディングが完了しているか否かを判断することができる。
【００３５】
前記先行フレームの処理途中で前記後行フレームの入力開始情報を入力された場合、前記伝送制御部は、前記Ｖ_ｓｙｎｃ発生器により出力される前記垂直同期信号がロー状態である場合、現状を維持するように制御できる。
【００３６】
本発明の他の実施形態において、撮像装置のイメージシグナルプロセッサにおいて、クロック発生器(Clock  Generator)と;イメージセンサーから入力された電気信号に相応するイメージデータを、予め指定されたエンコーディング方式によりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;クロックディセーブル信号が入力されると、クロック信号生成器から入力された前記クロック信号の出力を中断するＡＮＤゲートと;垂直同期信号制御命令に応じて、ハイ(High)又はロー(Low)状態の前記垂直同期信号を生成して出力するＶ_ｓｙｎｃ発生器と;有効データイネーブル制御命令に応じて、ハイ(High)又はロー(Low)状態の前記有効データイネーブル信号を生成して出力するＨ_ｓｙｎｃ発生器と;前記エンコーディングされたデータを臨時に格納し、データ出力制御命令に応じて、格納されたエンコーディングされたデータを出力する伝送遅延部と;前記クロックディセーブル信号、前記垂直同期信号制御命令、前記有効データイネーブル制御命令、及び前記データ出力制御命令を生成して出力する伝送制御部と；を含むイメージシグナルプロセッサが提供される。ここで、前記クロック信号、前記垂直同期信号、前記有効データイネーブル信号、及び前記エンコーディングされたデータは、予め指定された条件に従って受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力し、前記伝送制御部は、前記エンコーディング部による先行フレームの処理途中で、前記イメージセンサー又は前記エンコーディング部から後行フレームの入力開始情報を入力された場合、前記後行フレームの処理をスキップさせるスキップ命令を、前記イメージセンサー又は前記エンコーディング部に入力することを特徴とする。
【００３７】
本発明の更に他の実施形態によれば、イメージセンサー、イメージシグナルプロセッサ、バックエンドチップ、及び、ベースバンドチップを含む撮像装置において、前記イメージシグナルプロセッサが、イメージセンサーから入力された電気信号に相応するイメージデータを、予め指定されたエンコーディング方式によりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;前記エンコーディング部によりエンコーディングされたイメージデータを臨時に格納し、当該格納されたエンコーディングされたイメージデータを受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に伝達するデータ出力部と；を含む撮像装置が提供される。ここで、前記データ出力部は、前記エンコーディング部による先行フレームの処理途中で、前記イメージセンサー又は前記エンコーディング部から後行フレームの入力開始情報を入力された場合、前記後行フレームの処理をスキップ(skip)するようにするスキップ命令を、前記イメージセンサー又は前記エンコーディング部に入力することを特徴とする。
【００３８】
上述した目的を達成するために本発明の他の側面によれば、イメージシグナルプロセッサで行われるイメージシグナルプロセシング方法及び/又はその方法を行うためのプログラムが記録された記録媒体が提供される。
【００３９】
本発明の一実施形態によれば、撮像装置のイメージシグナルプロセッサで行われるイメージシグナルプロセシング方法において、イメージセンサーから入力された電気信号に相応するイメージデータを、予め指定されたエンコーディング方式によりエンコーディングし、エンコーディングされたイメージデータを生成する段階と;前記エンコーディングされたイメージデータを格納する段階と;前記格納されたエンコーディングされたイメージデータを受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力する段階と；を含み、先行フレームの処理途中で、前記イメージセンサーから後行フレームの入力開始情報を入力された場合、前記後行フレームの処理は、スキップ(skip)されることを特徴とするイメージシグナルプロセシング方法が提供される。
【００４０】
前記予め指定されたエンコーディング方式は、ＪＰＥＧエンコーディング方式、ＢＭＰエンコーディング方式、ＭＰＥＧエンコーディング方式、及び、ＴＶアウト方式の少なくともいずれかであることができる。
【００４１】
前記格納されたエンコーディングされたデータのうち有効なデータの出力区間のみ、前記受信段にクロック信号及び有効データイネーブル信号が出力されることができる。有効でないデータは、０x００を含むデータであることができる。
【００４２】
前記有効データイネーブル信号は、前記受信段で記録イネーブル(write  enable)信号として解析されることができる。
【００４３】
前記先行フレームに対するエンコーディングが完了しているか否かは、前記格納されるエンコーディングされたイメージデータのヘッダー(Header)情報及びテール(Tail)情報を用いて判断することができる。
【発明の効果】
【００４４】
上述のように、本発明は、バックエンドチップの処理効率の増進及び電力消耗を防止できるという効果がある。
【００４５】
また、本発明は、イメージシグナルプロセッサが、エンコーディングされたデータをバックエンドチップに提供するにあたり、一般的なインターフェース構造を用いることによって、ハードウェアの設計及び制御の側面で有利な効果もある。
【００４６】
また、本発明は、イメージシグナルプロセッサが、エンコーディング速度によって入力されるフレームのエンコーディングの可否を決定でき、スムーズなエンコーディング動作を行えるという効果もある。
【発明を実施するための最良の形態】
【００４７】
上述した目的、特徴及び長所は、添付の図面と関係する以下の詳細な説明を通してより明確になるであろう。
【００４８】
本発明は、種々の変更を加えることができ、複数の実施形態を持つことができるので、特定の実施形態を図面に例示して、詳細な説明に詳細に説明しようとする。しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むものと理解すべきである。本発明を説明するにおいて、関係する公知の技術に関する具体的な説明が本発明の要旨を不明にすると判断される場合、それに関する詳細な説明は省略することにする。
【００４９】
第１、第２などの用語は、種々の構成要素を説明するのに使用されることはできるが、前記構成要素らは、前記用語らにより限定されてはならない。前記用語らは、一つの構成要素を他の構成要素から区別する目的にのみ使用される。例えば、本発明の権利範囲を逸脱しなく、第１の構成要素は、第２の構成要素と名付けることができ、同じく第２の構成要素も第１の構成要素と名付けることができる。及び/又はという用語は、複数の関係する記載された項目の組み合わせ、あるいは、複数の関係する記載された項目のいずれかの項目を含む。
【００５０】
ある構成要素が他の構成要素に“連結されて”いるとか、“接続されて”いると言及された場合は、その他の構成要素に直接連結されているか、あるいは、接続されていることもできるが、中間に他の構成要素が存在することもできると理解すべきである。一方、ある構成要素が他の構成要素に“直接連結されて”いるとか、“直接接続されて”いると言及された場合は、中間に他の構成要素が存在しないと理解すべきである。
【００５１】
本願で使用した用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に意味が違わない限り、複数の表現を含む。本願において、“含む”又は“有する”などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、又は、これらを組み合わせたものが存在することを指定しようとするものであり、１つ又はその以上の他の特徴や数字、段階、動作、構成要素、部品、又は、これらを組み合わせたものの存在又は付加可能性を予め排除するものではないと理解すべきである。
【００５２】
違う意味として定義されない限り、技術的あるいは科学的な用語を含めて、ここで使用される全ての用語は、本発明が属する技術分野において通常の知識を有する者により一般的に理解されるものと同じ意味を持っている。一般的に使用される事前に定義されているものと同じ用語は、関連技術の文脈上持つ意味と一致する意味を持つものと解釈されるべきであり、本願において明白に定義しない限り、理想的あるいは過度に形式的な意味として解析されない。
【００５３】
以下、添付の図面を参照して、本発明に係る実施形態を詳細に説明し、図面符号に関係なく、同一か対応する構成要素には同じ参照番号を付し、これに対する重複する説明は省略することにする。
【００５４】
また、本発明の実施形態を説明するにおいて、本発明の核心事項であるイメージシグナルプロセッサ(ＩＳＰ、Image  Signal  Processor)の処理動作だけを中心として説明するが、本発明の権利範囲がこれに制限されないことは自明である。
【００５５】
図４は、本発明の一実施形態に係る撮像装置の構成を簡略に示した図であり、図５は、本発明の一実施形態に係るデータ出力部４３０の構成を簡略に示した図であり、図６は、本発明の一実施形態に係るイメージシグナルプロセッサ１２０のエンコーディングされたデータ出力のための信号波形の形態を例示した図である。
【００５６】
図４に示されたように、本発明に係る撮像装置は、イメージセンサー１１０と、イメージシグナルプロセッサ４００と、バックエンドチップ４０５と、を含む。その他に、撮像装置は、表示部１５０、メモリ、ベースバンドチップ１４０、キー入力部などを更に含めることは自明であるが、本発明の要旨とは多少距離感があるので、これに対する説明は省略する。
【００５７】
イメージシグナルプロセッサ４００は、前処理部４１０と、ＪＰＥＧエンコーダ４２０と、データ出力部４３０と、を含む。もちろん、イメージシグナルプロセッサ４００は、内部動作のためのクロック発生器(Clock  Generator)を更に含むことができる。
【００５８】
前処理部４１０は、ＪＰＥＧエンコーダ４２０の処理のための前処理過程を行う。前処理部４１０は、各フレームに対して、イメージセンサー１１０から原データ(raw  data)を各ライン別に入力されて処理した後、ＪＰＥＧエンコーダ４２０に伝達できる。
【００５９】
前処理過程には、カラーモデル変換(Color  Space  Transformation)、フィルタリング(Filtering)、ダウンサンプリング(Color  SubSampling)などが含まれることができる。
【００６０】
カラーモデル変換(Color Space Transformation)は、ＲＧＢカラーモデルをＹＵＶ(又は、ＹＩＱ)カラーモデルに変換して、これは、画質差に対する認識なく、情報の量を減らすことができるためである。
【００６１】
フィルタリング(Filtering)は、ローパスフィルタで映像を平滑化(smoothing)する過程であり、圧縮率を高めるためのものである。
【００６２】
ダウンサンプリング(Color  SubSampling)は、Ｙ値は全部使用し、他の値は一部だけ使用し、残りは捨てる等の方法により、色差(Chrominance)信号成分をダウンサンプリングする過程である。
【００６３】
ＪＰＥＧエンコーダ４２０は、先に述べた方式と同様に前処理された原データ(raw  data)を圧縮処理して、ＪＰＥＧエンコーディングデータを生成する。ＪＰＥＧエンコーダ４２０は、エンコーディング処理のために、予め指定されたブロック単位(例えば、８x８)で分割できるようにするために、前処理部４１０から入力される処理された原データを臨時に格納するためのメモリを含むことができる。すなわち、本発明に係るイメージシグナルプロセッサ４００は、従来のイメージシグナルプロセッサ１２０とは異なり、イメージデータのエンコーディングを更に行うことができる。
【００６４】
データ出力部４３０は、ＪＰＥＧエンコーダ４２０により生成されたＪＰＥＧエンコーディングされたデータをバックエンドチップ４０５(又は、カメラコントロールプロセッサー(ＣＣＰ))に伝達する。
【００６５】
データ出力部４３０は、ＪＰＥＧエンコーダ４２０によりいずれかのフレームに対するエンコーディング処理が完了していないにも関わらず、イメージセンサー１１０から後続するフレームに対する入力を通知するＶ_ｓｙｎｃ_Ｉ信号が入力されると、Ｖ_ｓｙｎｃ発生器５２０(図５参照)を制御して、該当フレームに相応するＶ_ｓｙｎｃ信号の出力がスキップされるように制御する。ここで、Ｖ_ｓｙｎｃ_Ｉ信号は、例えば、後行フレームの入力開始情報として機能することができる。
【００６６】
これにより、Ｖ_ｓｙｎｃ発生器５２０は、バックエンドチップ４０５に出力されるＶ_ｓｙｎｃ信号がロー状態に維持されるようにする(図６に示された点線形態のＶ_ｓｙｎｃ２参照)。
【００６７】
もちろん、この場合、データ出力部４３０は、Ｖ_ｓｙｎｃ_Ｉ信号に相応する後続するフレームに対する出力及び/又は処理をスキップするようにするためのＶ_ｓｙｎｃ_ｓｋｉｐ信号を、イメージセンサー１１０、前処理部４１０、又は、ＪＰＥＧエンコーダ４２０に伝送することもできる。例えば、イメージセンサー１１０がＶ_ｓｙｎｃ_ｓｋｉｐ信号を受信した場合、Ｖ_ｓｙｎｃ_Ｉ信号に相応するフレームの原データを前処理部４１０に伝送しないことができる。前処理部４１０がＶ_ｓｙｎｃ_ｓｋｉｐ信号を受信した場合、Ｖ_ｓｙｎｃ_Ｉ信号に相応するフレームの原データの処理をスキップしたり、処理された原データをＪＰＥＧエンコーダ４２０に伝送しないことができる。同様に、ＪＰＥＧエンコーダ４２０がＶ_ｓｙｎｃ_ｓｋｉｐ信号を受信した場合、Ｖ_ｓｙｎｃ_Ｉ信号に相応するフレームの処理された原データをエンコーディングしなかったり、前処理部４１０から受信される処理された原データがメモリに格納されないようにすることができる。
【００６８】
上述した過程により、イメージセンサー１１０から複数のフレームに相応する原データ(便宜上、その入力順序によって、各フレームを、＃１、＃２、＃３と称する)が順次入力されたとしても、データ出力部４３０の動作又は制御により、バックエンドチップ４０５に入力されるエンコーディングされたイメージデータは、＃１、＃３に該当するフレームのみに制限されることもできる。
【００６９】
ここで、イメージセンサー１１０、前処理部４１０、又は、ＪＰＥＧエンコーダ４２０は、データ出力部４３０からＶ_ｓｙｎｃ_ｓｋｉｐ信号を受信した場合、予め指定された動作を行うように予め具現されるべきである。上述した構成要素の設計及び具現方法は、本明細書の説明を通して当業者が容易に理解できるはずなので、これに対する説明は省略する。
【００７０】
バックエンドチップ４０５は、携帯用端末の全般的な動作制御を行うベースバンドチップ１４０から、例えば、写真をキャプチャーするとの命令を受信すると、イメージシグナルプロセッサ４００から入力された画質が改善されたＪＰＥＧエンコーディングされたデータを伝達されてメモリに格納しておき、ベースバンドチップ１４０が読み出して処理できるようにする。
【００７１】
図５に、データ出力部４３０の細部構成が示されている。図５を参照するに、データ出力部４３０は、ＡＮＤゲート５１０と、Ｖ_ｓｙｎｃ発生器(V_sync  generator)５２０と、Ｈ_ｓｙｎｃ発生器５３０と、伝送遅延部(Delay  unit)５４０と、伝送制御部５５０と、を含む。
【００７２】
ＡＮＤゲート５１０は、あらゆる入力に信号が入力される場合のみ、クロック信号(Ｐ_ＣＬＫ)をバックエンドチップ４０５に出力する。すなわち、イメージシグナルプロセッサ４００に備えられたクロック発生器(図示せず)からクロック信号を入力され、伝送制御部５５０からクロック制御信号を入力され、クロック制御信号がクロック信号出力を示す場合のみ、クロック信号をバックエンドチップ４０５に出力する。クロック制御信号は、ハイ信号(High  Signal)又はロー信号(Low  Signal)形態であることができ、各々Ｐ_ＣＬＫイネーブル(enable)、又は、Ｐ_ＣＬＫディセーブル信号として認識されることができる。
【００７３】
Ｖ_ｓｙｎｃ発生器５２０は、伝送制御部５５０の制御により有効区間を表示するための垂直同期信号(Ｖ_ｓｙｎｃ)を生成して出力する。Ｖ_ｓｙｎｃ発生器５２０は、伝送制御部５５０からＶ_ｓｙｎｃ信号の出力命令が入力されてからＶ_ｓｙｎｃ信号の出力終了命令が入力されるまで、ハイ(High)状態のＶ_ｓｙｎｃ信号を出力する。垂直同期信号が、各フレームの入力が開始されることを意味するというのは、当業者にとって自明である。
【００７４】
Ｈ_ｓｙｎｃ発生器５３０は、伝送制御部５５０の制御により(すなわち、有効データイネーブル信号(Ｈ_ＲＥＦ)の出力命令が入力され、Ｈ_ＲＥＦ信号の出力終了命令が入力されるまで)、ハイ(High)状態の有効データイネーブル(enable)信号(Ｈ_ＲＥＦ)を生成して出力する。有効データイネーブル信号のハイ区間は、伝送遅延部５４０でＪＰＥＧエンコーディングされたデータの出力区間と一致する。
【００７５】
伝送遅延部５４０は、ＪＰＥＧエンコーダ４２０によりＪＰＥＧエンコーディングされたデータを入力されて一時格納し、伝送制御部５５０の制御により、ＪＰＥＧエンコーディングされたデータをバックエンドチップ４０５に伝達する。伝送遅延部５４０は、ＪＰＥＧエンコーダ４２０から入力されるエンコーディングされたイメージデータを、僅かの時間の間(例えば、伝送制御部５５０が各構成要素を制御するための時間の間)遅延させて順次バックエンドチップ４０５に伝送したり、予め指定された単位別(例えば、エンコーディングのための処理ブロック単位、フレーム単位等)にバックエンドチップ４０５に伝送することもできる。伝送遅延部５４０は、例えばＪＰＥＧエンコーダ４２０から入力されたデータを、一定時間(例えば、２〜３クロック)遅延(delay)させて出力するようにするためのレジスタを含むことができる。
【００７６】
ＪＰＥＧエンコーダ４２０が、エンコーディングされたイメージデータを出力するための出力メモリを含む場合、伝送遅延部５４０は、出力メモリからエンコーディングされたデータを入力され得る。バックエンドチップ４０５は、入力されたＪＰＥＧエンコーディングされたデータをメモリに格納することによって、ベースバンドチップ１４０が、必要に応じて利用できるようにする。
【００７７】
伝送制御部５５０は、クロック制御信号の出力と、Ｖ_ｓｙｎｃ発生器５２０と、Ｈ_ｓｙｎｃ発生器５３０と、伝送遅延部５４０と、を制御することによって、各信号(すなわち、Ｐ_ＣＬＫ、Ｈ_ｓｙｎｃ、Ｖ_ｓｙｎｃ及びデータ)の出力状態を制御する。
【００７８】
伝送制御部５５０は、伝送遅延部５４０に格納されたデータのＪＰＥＧヘッダー(Header)とテール(Tail)とから、‘ＳＴＡＲＴ  ＭＡＲＫＥＲ’と‘ＳＴＯＰ  ＭＡＲＫＥＲ’とをキャプチャーして、ＪＰＥＧエンコーディングの始まりと終わりに対する情報を認識できる。すなわち、これにより、ＪＰＥＧエンコーダ４２０により一つのフレームが全てエンコーディングされているか否かを認識できる。
【００７９】
もし、ＪＰＥＧエンコーディングが完了していないにも関わらず、イメージセンサー１１０からＶ_ｓｙｎｃ_Ｉ信号が入力された場合、先に詳細に説明したように、伝送制御部５５０は、Ｖ_ｓｙｎｃ発生器５２０を制御して、Ｖ_ｓｙｎｃ信号の出力がスキップ(skip)されるように制御する。すなわち、いま、Ｖ_ｓｙｎｃ発生器５２０がロー(Low)状態のＶ_ｓｙｎｃ信号をバックエンドチップ４０５に出力しているとすると、現在の状態を維持するように制御する。
【００８０】
次いで、先に詳細に説明したように、この場合、伝送制御部５５０は、Ｖ_ｓｙｎｃ_ｓｋｉｐ信号をイメージセンサー１１０、前処理部４１０、又は、ＪＰＥＧエンコーダ４２０に伝送することで、Ｖ_ｓｙｎｃ_ｓｋｉｐ信号に相応する後続するフレームに対して、データ出力、処理(例えば、ＪＰＥＧエンコーディング)などをスキップ(skip)するよう制御することができる。
【００８１】
もし、先行する構成要素からＶ_ｓｙｎｃ_Ｉ信号に相応するデータが入力されなかったり(例えば、Ｖ_ｓｙｎｃ_ｓｋｉｐ信号を入力されたイメージセンサー１１０が、Ｖ_ｓｙｎｃ_Ｉ信号に相応する原データを出力しない場合)、入力されたデータを、後行する構成要素が削除(例えば、Ｖ_ｓｙｎｃ_ｓｋｉｐ信号を入力されたＪＰＥＧエンコーダ４２０が、Ｖ_ｓｙｎｃ_Ｉ信号に相応して前処理部４１０から入力された処理された原データをエンコーディングしなくて削除する場合)できると、後行する構成要素は、無駄な処理を行う必要がないためである。この方法を用いる場合、イメージシグナルプロセッサ４００の各構成要素が予め指定された機能を行うが、無駄に後続フレームの処理を行わないので、無駄な電力消耗や処理効率の減少を抑制できるという効果もある。
【００８２】
図６に、伝送制御部５５０の制御によりバックエンドチップ４０５に入力される信号の波形が例示されている。
【００８３】
図６に示されたように、有効でないエンコーディングデータ(０x００)が出力される間は、バックエンドチップ４０５に出力されるべきクロック信号(Ｐ_ＣＬＫ)をオフ(図６に示されたＰ_ＣＬＫ信号の点線部分)させることで、バックエンドチップ４０５の無駄な動作を最小化させることができる。これにより、バックエンドチップ４０５の電力消耗を最小化することができる。もちろん、ＪＰＥＧ標準などで言及している有効でないデータ(すなわち、実際的にイメージを構成しないデータ)の類型は、０x００に制限されなく、本明細書での有効でないデータとして、０x００は、単に例示に過ぎない。
【００８４】
また、ＪＰＥＧエンコーダ４２０が、イメージセンサー１１０から入力された１(one)フレーム(例えば、ｎ番目に入力されたフレーム、ここで、ｎは、自然数)の映像をエンコーディングする速度が遅い場合(例えば、一つのフレームをエンコーディングする間、新たなフレームの入力が開始されることを意味するＶ_ｓｙｎｃ_Ｉ信号が入力された場合)、後続するフレーム(例えば、ｎ+１番目に入力されるフレーム)に対するエンコーディングが同時に行われることができないので(同時に行われる場合、データ誤りが発生できる)、データ出力部４３０は、図６のように、次のフレームに対するＶ_ｓｙｎｃ信号がロー(Low)状態に維持されるように(すなわち、図６に示されたＶ_ｓｙｎｃ信号の点線部分で、従来技術によれば、該当時点で出力されたＶ_ｓｙｎｃ２信号は、本発明によれば、スキップ(skip)処理される)することで、ＪＰＥＧエンコーディングが完了され得るようにする。データ出力部４３０の制御により、ＪＰＥＧエンコーダ４２０は、次のフレームのエンコーディングをスキップする。もちろん、伝送制御部５５０が、Ｖ_ｓｙｎｃ_ｓｋｉｐ信号をイメージセンサー１１０や前処理部４１０に伝送した場合、ＪＰＥＧエンコーダ４２０は、Ｖ_ｓｙｎｃ_Ｉに相応するデータを、先行する構成要素から提供を受けることができないこともある。
【００８５】
従来のバックエンドチップ４０５は、ＹＵＶ/ＢＡＹＥＲフォーマットのデータを入力されるように具現されており、このようなデータを入力されるためのインターフェースとして、Ｐ_ＣＬＫ、Ｖ_ｓｙｎｃ、Ｈ_ＲＥＦ、ＤＡＴＡ信号を用いている。
【００８６】
これを考慮して、本発明のイメージシグナルプロセッサ４００は、従来と同様のインターフェースを用いるように具現される。
【００８７】
したがって、本発明は、バックエンドチップ４０５が、従来のバックエンドチップの設計方法により具現された場合にも互換(port  matching)できることは自明である。
【００８８】
例えば、一般的なバックエンドチップ４０５の動作が、Ｖ_ｓｙｎｃ信号のライジングエッジ(rising  edge)の割り込みから動作初期化されるとすると、本発明もまた、従来のインターフェース構造を同様に適用したので、既存のＶ_ｓｙｎｃ信号が出力される形態と同様に、該当信号をバックエンドチップ４０５に入力することで、各チップ間でインターフェーシングが可能である。
【００８９】
同様に、一般的なバックエンドチップ４０５が、Ｖ_ｓｙｎｃライジング(rising)割り込みを発生しなければならなく、また、イメージシグナルプロセッサ４００からデータを受ける際に、有効データイネーブル信号(Ｈ_ＲＥＦ)をメモリの記録イネーブル(write  enable)信号に用いることを考慮する場合、本発明に係る信号出力方式を用いることで、バックエンドチップ４０５の電力消耗も減らすことができる。
【００９０】
これまで、イメージシグナルプロセッサ４００が、ＪＰＥＧエンコーディング方式を用いる場合のみを中心として説明したが、ＢＭＰエンコーディング方式、ＭＰＥＧ(ＭＰＥＧ１/２/４、ＭＰＥＧ−４ＡＶＣ)エンコーディング方式、ＴＶアウト方式などのように、他のエンコーディング方式を支援する場合にも、同様のデータ伝送方式を利用できることは自明である。
【００９１】
図面と発明の詳細な説明は、単に本発明の例示的なものであり、これは、単に本発明を説明するための目的で使用されたものであって、意味限定や特許請求範囲上に記載された本発明の範囲を制限するために使用されたものではない。したがって、本技術分野の通常の知識を有する者ならば、これらから種々の変形及び均等な他の実施形態が可能であることを理解するはずである。よって、本発明の真の技術的保護範囲は、本願の特許請求範囲上の技術的思想により定められるべきである。
【図面の簡単な説明】
【００９２】
【図１】一般的な撮像装置の構成を簡略に示した図である。
【図２】一般的なＪＰＥＧエンコーディング過程を示した図である。
【図３】従来のイメージシグナルプロセッサ(ＩＳＰ、Image  Signal  Processor)がエンコーディングされたデータを出力するための信号形態を示した図である。
【図４】本発明の一実施形態に係る撮像装置の構成を簡略に示した図である。
【図５】本発明の一実施形態に係るデータ出力部の構成を簡略に示した図である。
【図６】本発明の一実施形態に係るイメージシグナルプロセッサのエンコーディングされたデータ出力のための信号波形形態を例示した図である。
【符号の説明】
【００９３】
１１０  イメージセンサー
１２０  イメージシグナルプロセッサ
１３０  バックエンドチップ
１４０  ベースバンドチップ
１５０  表示部
４００  イメージシグナルプロセッサ
４０５  バックエンドチップ
４１０  前処理部
４２０  ＪＰＥＧエンコーダ
４３０  データ出力部
５１０  ＡＮＤゲート
５２０  Ｖ_ｓｙｎｃ発生器
５３０  Ｈ_ｓｙｎｃ発生器
５４０  伝送遅延部
５５０  伝送制御部
【図１】
2009515411.tif 000003
【図２】
2009515411.tif 000004
【図３】
2009515411.tif 000005
【図４】
2009515411.tif 000006
【図５】
2009515411.tif 000007
【図６】
2009515411.tif 000008
【国際調査報告】
2009515411.tif 000009
2009515411.tif 000010