(57)【要約】  バックエンドチップの処理効率を増進させることができる垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供する。  垂直同期信号の遅延出力方法は、キャプチャー命令が入力された後、エンコーディング部からｋ番目のフレームに対する垂直同期信号が入力されると、ｋ＋１番目のフレームに対する遅延制御命令をイメージセンサーに伝送する。次に、ｋ番目のフレームに対するエンコーディング処理が完了すると、イメージセンサーに復帰制御命令を伝送する。本発明により、イメージデータの完全なエンコーディング処理を行うことができる。
2009515409.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置において、
外部映像に相応する電気信号を出力するイメージセンサーと;
前記電気信号に対して、フィルタリング及びインターポーレーションの少なくともいずれかに相応する前処理を行うサブＩＳＰ(Image  Signal  Processor)と;
前記前処理された電気信号に相応するようにエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;
前記エンコーディングされたイメージデータを受信段に出力するデータ出力部と；を含み、
前記サブＩＳＰは、キャプチャー命令の入力直後に処理されるべきｋ(自然数)番目のフレームに後続するｋ＋１番目のフレームに相応する垂直同期信号の出力区間を拡張するための遅延制御命令を前記イメージセンサーに出力し、前記イメージセンサーは、遅延制御命令に相応して前記垂直同期信号の出力区間を拡張して出力することを特徴とする撮像装置。
【請求項２】
前記イメージセンサーから出力する前記垂直同期信号の出力区間の終端点は、前記エンコーディング部により前記ｋ番目のフレームのエンコーディングが完了した時点と同一あるいは後続して出力され、
前記終端点は、フォーリングエッジ又はライジングエッジであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記データ出力部が、前記ｋ番目のフレームのエンコーディング処理が完了したことを感知して前記サブＩＳＰに通知すれば、前記サブＩＳＰは、前記イメージセンサーに復帰制御命令を出力し、
前記復帰制御命令は、k+２番目のフレームに相応する垂直同期信号の出力区間の長さをデフォルトに再設定し、ゲイン値をデフォルトに再調整することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記ｋ番目のフレームに対して出力されるエンコーディングされたイメージデータは、‘ＳＴＡＲＴ  ＭＡＲＫＥＲ’から‘ＳＴＯＰ  ＭＡＲＫＥＲ’までであることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記データ出力部は、前記エンコーディング部から入力されるエンコーディングされたイメージデータを、予め指定されたクロックだけ遅延して出力するレジスタを含むことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記データ出力部は、
有効データイネーブル制御命令に応じて、ハイ又はロー状態の前記有効データイネーブル信号を生成して出力するＨ_ｓｙｎｃ発生器と;
データ出力制御命令に応じて、前記エンコーディング部から入力された有効データと、無効データ又はダミーデータとを出力する伝送遅延部と;
前記有効データイネーブル制御命令及び前記データ出力制御命令を生成して出力する伝送制御部と；
を含むことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記有効データイネーブル信号は、前記受信段で記録イネーブル信号として解析されることを特徴とする請求項６に記載の撮像装置。
【請求項８】
イメージシグナルプロセッサにおいて、
イメージセンサーから入力された外部映像に相応する電気信号に対して、フィルタリング及びインターポーレーションの少なくともいずれかに相応する前処理を行い、キャプチャー命令の入力直後に処理されるべきｋ(自然数)番目のフレームに後続するｋ＋１番目のフレームに相応する垂直同期信号の出力区間を拡張するための遅延制御命令を前記イメージセンサーに出力する前処理部と;
前記前処理された電気信号に相応するようにエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;
前記エンコーディングされたイメージデータを受信段に出力するデータ出力部と；を含み、
前記遅延制御命令に相応して、前記イメージセンサーが、ｋ＋１番目のフレームに相応する垂直同期信号の出力区間を拡張して出力することを特徴とするイメージシグナルプロセッサ。
【請求項９】
前記イメージセンサーから出力する前記垂直同期信号の出力区間の終端点は、前記エンコーディング部により前記ｋ番目のフレームのエンコーディングが完了した時点と一致して、あるいは、その以後に示され、
前記終端点は、フォーリングエッジ又はライジングエッジであることを特徴とする請求項８に記載のイメージシグナルプロセッサ。
【請求項１０】
前記データ出力部が、前記ｋ番目のフレームのエンコーディング処理が完了したことを感知して前記前処理部に通知すれば、前記前処理部は、前記イメージセンサーに復帰制御命令を出力し、
前記復帰制御命令は、k+２番目のフレームに相応する垂直同期信号の出力区間の長さをデフォルトに再設定し、ゲイン値をデフォルトに再調整することを特徴とする請求項８に記載のイメージシグナルプロセッサ。
【請求項１１】
前記ｋ番目のフレームに対して出力されるエンコーディングされたイメージデータは、‘ＳＴＡＲＴ  ＭＡＲＫＥＲ’から‘ＳＴＯＰ  ＭＡＲＫＥＲ’までであることを特徴とする請求項８に記載のイメージシグナルプロセッサ。
【請求項１２】
前記データ出力部は、前記エンコーディング部から入力されるエンコーディングされたイメージデータを、予め指定されたクロックだけ遅延して出力するレジスタを含むことを特徴とする請求項８に記載のイメージシグナルプロセッサ。
【請求項１３】
前記データ出力部は、
有効データイネーブル制御命令に応じて、ハイ又はロー状態の前記有効データイネーブル信号を生成して出力するＨ_ｓｙｎｃ発生器と;
データ出力制御命令に応じて、前記エンコーディング部から入力された有効データと、無効データ又はダミーデータとを出力する伝送遅延部と;
前記有効データイネーブル制御命令及び前記データ出力制御命令を生成して出力する伝送制御部と；
を含むことを特徴とする請求項８に記載のイメージシグナルプロセッサ。
【請求項１４】
前記有効データイネーブル信号は、前記受信段で記録イネーブル信号として解析されることを特徴とする請求項１３に記載のイメージシグナルプロセッサ。
【請求項１５】
イメージセンサーを備えた撮像装置のイメージシグナルプロセッサで行われる垂直同期信号の遅延出力方法において、
キャプチャー命令を入力される段階と;
エンコーディング部からｋ(自然数)番目のフレームに対する垂直同期信号を入力される段階と;
ｋ＋１番目のフレームに対する遅延制御命令を前記イメージセンサーに伝送する段階と;
前記ｋ番目のフレームに対するエンコーディング処理が完了すると、前記イメージセンサーに復帰制御命令を伝送する段階と；を含み、
前記遅延制御命令によって、前記イメージセンサーは、ｋ＋１番目のフレームに相応する垂直同期信号の出力区間を拡張して出力し、前記復帰制御命令によって、前記イメージセンサーは、k+２番目のフレームに対する垂直同期信号の出力区間の長さの再調整及びゲイン値の再調整を行うことを特徴とする垂直同期信号の遅延出力方法。
【請求項１６】
前記イメージセンサーから出力する前記垂直同期信号の出力区間の終端点は、前記ｋ番目のフレームのエンコーディングが完了した時点と同一あるいは後続して出力され、
前記終端点は、フォーリングエッジ又はライジングエッジであることを特徴とする請求項１５に記載の垂直同期信号の遅延出力方法。
【請求項１７】
前記ｋ番目のフレームに対するエンコーディングが完了しているか否かは、エンコーディングされたデータのヘッダー情報及びテール情報を用いて判断されることを特徴とする請求項１５に記載の垂直同期信号の遅延出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データエンコーディングに関し、より詳細には、エンコーディングされたデータの伝達に関する。
【背景技術】
【０００２】
近年、小型及び薄型の撮像素子が、携帯電話機やＰＤＡ(Personal  Digital  Assistant)などの小型及び薄型の携帯用端末に搭載されることによって、携帯用端末が撮像装置としても機能することができる。これにより、携帯電話機のような携帯用端末は、遠隔地に音声情報だけでなく、画像情報も伝送できるようになった。撮像素子は、携帯電話機やＰＤＡだけでなく、ＭＰ３プレーヤーなどの携帯用端末にも具備されている。したがって、種々の携帯用端末が外部映像を撮像して電子的なデータとして保持する撮像装置としても機能することができる。
【０００３】
一般に、撮像装置には、一般的にＣＣＤ(Charge  Coupled  Device)型イメージセンサーやＣＭＯＳ(Complementary  Metal-Oxide  Semiconductor)型イメージセンサーなどの固体撮像素子が使われている。
【０００４】
図１は、一般的な撮像装置の構成を簡略に示した図であり、図２は、一般的なＪＰＥＧエンコーディング過程を示した図であり、図３は、従来のイメージシグナルプロセッサ(ＩＳＰ：  Image  Signal  Processor)がエンコーディングされたデータを出力するための信号形態を示した図である。
【０００５】
図１に示されたように、撮像された外部映像を電気的なデータに変換して表示部１５０にディスプレイする撮像装置は、イメージセンサー１１０と、イメージシグナルプロセッサ１２０と、バックエンドチップ(Back-end  chip)１３０と、ベースバンドチップ(Baseband  Chip)１４０と、表示部１５０と、を含む。その他に、撮像装置は、変換された電気的なデータを格納するためのメモリ、アナログ信号をデジタル信号に変換するＡＤ変換機などを更に含むことができる。
【０００６】
イメージセンサー１１０は、バイエルパターン(Bayer  Pattern)を持つセンサーであり、単位ピクセル別にレンズを介して入力された光の量に相応する電気信号を出力する。
【０００７】
イメージシグナルプロセッサ１２０は、イメージセンサー１１０から入力された電気信号(raw  data)をＹＵＶ値に変換し、変換されたＹＵＶ値をバックエンドチップ１３０に出力する。ＹＵＶ方式は、人間の眼が色相よりは明るさに敏感であるという事実に着目した方式であり、色を明るさ(Luminance)のＹ成分と色相(Chrominance)のＵ及びＶ成分とに分ける。Ｙ成分は、誤差に敏感であるので、色相成分のＵとＶより多いビットをコーディングする。典型的なＹ:Ｕ:Ｖの比率は、４:２:２である。
【０００８】
イメージシグナルプロセッサ１２０は、変換したＹＵＶ値をＦＩＦＯに順次格納することによって、バックエンドチップ１３０が該当情報を入力され得るようにする。
【０００９】
バックエンドチップ１３０は、入力されたＹＵＶ値を予め指定されたエンコーディング方法によりＪＰＥＧやＢＭＰに変換してメモリに格納したり、メモリに格納されたエンコーディングされたイメージをデコーディングして表示部１５０にディスプレイする。バックエンドチップ１３０は、イメージの拡大、縮小、ローテーションなどの機能も行うことができる。もちろん、図１に示されたように、ベースバンドチップ１４０が、バックエンドチップ１３０からデコーディングされたデータを入力され、表示部１５０にディスプレイすることもできる。
【００１０】
ベースバンドチップ１４０は、撮像装置の動作を全般的に制御する機能を行う。例えば、キー入力部(図示せず)を介して使用者から撮像命令が入力されると、ベースバンドチップ１４０は、バックエンドチップ１３０にイメージ生成命令を伝送することによって、バックエンドチップ１３０が入力された外部映像に相応するエンコーディングされたデータを生成するようにすることもできる。
【００１１】
表示部１５０は、バックエンドチップ１３０又はベースバンドチップ１４０の制御により提供されたデコーディングされたデータをディスプレイする。
【００１２】
図２には、バックエンドチップ１３０により行われる一般的なＪＰＥＧエンコーディング過程が示されている。ＪＰＥＧエンコーディング過程２００は、当業者にとって自明な事項であるので、簡略に説明することにする。
【００１３】
図２に示されたように、入力されたＹＵＶ値のイメージは、８x８ピクセル大きさのブロックに分けられ、各ブロックに対して、ＤＣＴ(離散コサイン変換、Discrete  Cosine  Transform)が行われる(２１０)。−１２８〜１２７間の８ビットの整数形態に入力された各ピクセルの画素値は、ＤＣＴにより-１０２４〜１０２３間の値に変換される。
【００１４】
次いで、量子化器(Quantizer)は、各ブロックのＤＣＴ係数を、視覚に及ぼす影響によって重み付けをして量子化する(２２０)。この重みのテーブルを量子化テーブルという。量子化テーブルの値は、ＤＣ近くでは小さい値を取り、高い周波数では、大きい値を取り、情報量の多いＤＣ近くのデータを小さな損失で送り、高周波数では、高い圧縮率を誘導する。
【００１５】
次いで、無損失コーダー(Lossless  coder)であるエントロピーエンコーダ(entropy  encoder)により最終圧縮されたデータが生成される(２３０)。
【００１６】
上述した過程を経てエンコーディングされたデータは、メモリに格納される。バックエンドチップ１３０は、メモリに積載されたデータを復号化して表示部１５０にディスプレイする等の処理を行う。
【００１７】
メモリに格納されたデータが復号化などの処理のために順次入力される過程の信号波形が、図３に示されている。一般に、バックエンドチップ１３０は、ＹＵＶ/ＢＡＹＥＲフォーマットのデータを入力されるように具現されており、このようなデータを入力されるためのインターフェースとして、Ｐ_ＣＬＫ、Ｖ_ｓｙｎｃ、Ｈ_ＲＥＦ、ＤＡＴＡ信号を用いている。
【００１８】
図３に示されたように、従来のバックエンドチップ１３０は、一つのフレームに対するエンコーディング処理を行う途中で後続するフレームに対する垂直同期信号(Ｖ_ｓｙｎｃ２)及び/又はイメージデータを入力されるように構成されており、イメージデータのエンコーディング時に誤りが発生する可能性が多いという問題点があった。
【００１９】
この場合、バックエンドチップ１３０は、現在処理されているフレームに対するエンコーディング処理だけでなく、次のフレームに対するエンコーディング処理を共に行うことがあり、正確なデータエンコーディングが完了されないという問題点もあった。
【００２０】
また、バックエンドチップ１３０のエンコーディング部が、エンコーディングされたデータをデコーディング部に伝達したり、メモリに格納する場合、新たな垂直同期信号(Ｖ_ｓｙｎｃ２)を受信した後には、現在フレームに対して、エンコーディングされたデータが正常に入力されないという問題点もあった。
【発明の開示】
【発明が解決しようとする課題】
【００２１】
それで、本発明の目的は、バックエンドチップの処理効率を増進させることができる垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供することにある。
【００２２】
本発明の他の目的は、エンコーダによりエンコーディングされたデータを受信段(例えば、バックエンドチップ、ベースバンドチップ等)に伝達するにあたり、最適の時点で垂直同期信号を出力(すなわち、新たなフレームの入力を認識)できるようにする垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供することにある。
【００２３】
本発明の更に他の目的は、受信段でエンコーディングされたデータを入力される場合、新たなフレームの入力を示す垂直同期信号の入力により、現在フレームに対して処理されたデータの入力が妨害を受けない垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供することにある。
【００２４】
また、本発明の更に他の目的は、イメージシグナルプロセッサがエンコーディングされたデータをバックエンドチップに提供するにあたり、一般的なインターフェース構造を用いることによって、ハードウェアの設計及び制御の側面で有利な効果を持つ垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供することにある。
【００２５】
また、本発明の更に他の目的は、イメージシグナルプロセッサが、エンコーディング速度によって入力されるフレームのエンコーディングの可否を決定でき、スムーズなエンコーディング動作を行える垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供することにある。
【００２６】
その他の本発明の目的は、以下に述べられる望ましい実施形態を通してより明確になるであろう。
【課題を解決するための手段】
【００２７】
上述した目的を達成するために本発明の一側面によれば、イメージシグナルプロセッサ及び/又は前記イメージシグナルプロセッサを含む撮像装置が提供される。
【００２８】
本発明の一実施形態に係る撮像装置は、外部映像に相応する電気信号を出力するイメージセンサーと;前記電気信号に対して、フィルタリング及びインターポーレーション(interpolation)の少なくともいずれかに相応する前処理を行うサブＩＳＰ(Image  Signal  Processor)と;前記前処理された電気信号に相応するようにエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;前記エンコーディングされたイメージデータを受信段に出力するデータ出力部と；を含むことができる。ここで、前記サブＩＳＰは、キャプチャー命令の入力直後に処理されるべきｋ(自然数)番目のフレームに後続するｋ＋１番目のフレームに相応する垂直同期信号の出力区間を拡張するための遅延制御命令を前記イメージセンサーに出力し、前記イメージセンサーは、遅延制御命令に相応して前記垂直同期信号の出力区間を拡張して出力することができる。
【００２９】
前記イメージセンサーから出力する前記垂直同期信号の出力区間の終端点は、前記エンコーディング部により前記ｋ番目のフレームのエンコーディングが完了した時点と同一あるいは後続して出力されることができる。前記終端点は、フォーリングエッジ(falling  edge)又はライジングエッジ(rising  edge)であることができる。
【００３０】
前記データ出力部が、前記ｋ番目のフレームのエンコーディング処理が完了したことを感知して前記サブＩＳＰに通知すれば、前記サブＩＳＰは、前記イメージセンサーに復帰制御命令を出力することができる。前記復帰制御命令は、k+２番目のフレームに相応する垂直同期信号の出力区間の長さをデフォルトに再設定し、ゲイン(gain)値をデフォルトに再調整するようにする命令であってもよい。
【００３１】
前記ｋ番目のフレームに対して出力されるエンコーディングされたイメージデータは、‘ＳＴＡＲＴ  ＭＡＲＫＥＲ’から‘ＳＴＯＰ  ＭＡＲＫＥＲ’までであってもよい。
【００３２】
前記データ出力部は、前記エンコーディング部から入力されるエンコーディングされたイメージデータを、予め指定されたクロックだけ遅延して出力するレジスタを含むことができる。
【００３３】
前記データ出力部は、有効データイネーブル制御命令に応じて、ハイ(High)又はロー(Low)状態の前記有効データイネーブル信号を生成して出力するＨ_ｓｙｎｃ発生器と;データ出力制御命令に応じて、前記エンコーディング部から入力された有効データと、無効データ又は予め生成されたダミーデータとを出力する伝送遅延部と;前記有効データイネーブル制御命令及び前記データ出力制御命令を生成して出力する伝送制御部と；を含むことができる。
【００３４】
前記有効データイネーブル信号は、前記受信段で記録イネーブル(write  enable)信号として解析されることができる。
【００３５】
本発明の他の実施形態に係るイメージシグナルプロセッサは、イメージセンサーから入力された外部映像に相応する電気信号に対して、フィルタリング及びインターポーレーション(interpolation)の少なくともいずれかに相応する前処理を行い、キャプチャー命令の入力直後に処理されるべきｋ(自然数)番目のフレームに後続するｋ＋１番目のフレームに相応する垂直同期信号の出力区間を拡張するための遅延制御命令を前記イメージセンサーに出力する前処理部と;前記前処理された電気信号に相応するようにエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;前記エンコーディングされたイメージデータを受信段に出力するデータ出力部と；を含むことができる。ここで、前記遅延制御命令に相応して、前記イメージセンサーが、ｋ＋１番目のフレームに相応する垂直同期信号の出力区間を拡張して出力することができる。
【００３６】
前記イメージセンサーから出力する前記垂直同期信号の出力区間の終端点は、前記エンコーディング部により前記ｋ番目のフレームのエンコーディングが完了した時点と一致したり、その以後に示されることができる。前記終端点は、フォーリングエッジ又はライジングエッジであることができる。
【００３７】
前記データ出力部が、前記ｋ番目のフレームのエンコーディング処理が完了したことを感知して前記前処理部に通知すれば、前記前処理部は、前記イメージセンサーに復帰制御命令を出力することができる。前記復帰制御命令は、k+２番目のフレームに相応する垂直同期信号の出力区間の長さをデフォルトに再設定し、ゲイン値をデフォルトに再調整するようにする命令であってもよい。
【００３８】
前記ｋ番目のフレームに対して出力されるエンコーディングされたイメージデータは、‘ＳＴＡＲＴ  ＭＡＲＫＥＲ’から‘ＳＴＯＰ  ＭＡＲＫＥＲ’までであってもよい。
【００３９】
前記データ出力部は、前記エンコーディング部から入力されるエンコーディングされたイメージデータを、予め指定されたクロックだけ遅延して出力するレジスタを含むことができる。
【００４０】
前記データ出力部は、有効データイネーブル制御命令に応じて、ハイ又はロー状態の前記有効データイネーブル信号を生成して出力するＨ_ｓｙｎｃ発生器と;データ出力制御命令に応じて、前記エンコーディング部から入力された有効データと、無効データ又はダミーデータとを出力する伝送遅延部と;前記有効データイネーブル制御命令及び前記データ出力制御命令を生成して出力する伝送制御部と；を含むことができる。
【００４１】
前記有効データイネーブル信号は、前記受信段で記録イネーブル信号として解析されることができる。
【００４２】
上述した目的を達成するために本発明の他の側面によれば、イメージシグナルプロセッサで行われる垂直同期信号の遅延出力方法及び/又はその方法を行うためのプログラムが記録された記録媒体が提供される。
【００４３】
本発明の望ましい実施形態によれば、イメージセンサーを備えた撮像装置のイメージシグナルプロセッサで行われる垂直同期信号の遅延出力方法は、キャプチャー命令を入力される段階と;エンコーディング部からｋ(自然数)番目のフレームに対する垂直同期信号を入力される段階と;ｋ＋１番目のフレームに対する遅延制御命令を前記イメージセンサーに伝送する段階と;前記ｋ番目のフレームに対するエンコーディング処理が完了すると、前記イメージセンサーに復帰制御命令を伝送する段階と；を含むことができる。ここで、前記遅延制御命令によって、前記イメージセンサーは、ｋ＋１番目のフレームに相応する垂直同期信号の出力区間を拡張して出力し、前記復帰制御命令によって、前記イメージセンサーは、k+２番目のフレームに対する垂直同期信号の出力区間の長さの再調整及びゲイン値の再調整を行うことができる。
【００４４】
前記イメージセンサーから出力する前記垂直同期信号の出力区間の終端点は、前記ｋ番目のフレームのエンコーディングが完了した時点と同一あるいは後続して出力され、前記終端点は、フォーリングエッジ又はライジングエッジであることができる。
【００４５】
前記ｋ番目のフレームに対するエンコーディングが完了しているか否かは、エンコーディングされたデータのヘッダー(Header)情報及びテール(Tail)情報を用いて判断することができる。
【発明の効果】
【００４６】
上述のように、本発明は、バックエンドチップの処理効率を増進させることができるという効果がある。
【００４７】
また、本発明は、エンコーダによりエンコーディングされたデータを受信段(例えば、バックエンドチップ、ベースバンドチップ等)に伝達するにあたり、最適の時点で垂直同期信号を出力(すなわち、新たなフレームの入力を認識)できるようにする効果もある。
【００４８】
また、本発明は、受信段でエンコーディングされたデータを入力される場合、新たなフレームの入力を示す垂直同期信号の入力により、現在フレームに対して処理されたデータの入力が妨害を受けないという効果もある。
【００４９】
また、本発明は、イメージシグナルプロセッサがエンコーディングされたデータをバックエンドチップに提供するにあたり、一般的なインターフェース構造を用いることによって、ハードウェアの設計及び制御の側面で有利な効果を持つことができる。
【００５０】
また、本発明は、イメージシグナルプロセッサが、エンコーディング速度によって入力されるフレームのエンコーディングの可否を決定でき、スムーズなエンコーディング動作を行えるという効果もある。
【発明を実施するための最良の形態】
【００５１】
上述した目的、特徴及び長所は、添付の図面と関係する以下の詳細な説明を通してより明確になるであろう。
【００５２】
本発明は、種々の変更を加えることができ、複数の実施形態を持つことができるので、特定の実施形態を図面に例示して、詳細な説明に詳細に説明しようとする。しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むものと理解すべきである。本発明を説明するにおいて、関係する公知の技術に関する具体的な説明が本発明の要旨を不明にすると判断される場合、それに関する詳細な説明は省略することにする。
【００５３】
第１、第２などの用語は、種々の構成要素を説明するのに使用されることはできるが、前記構成要素らは、前記用語らにより限定されてはならない。前記用語らは、一つの構成要素を他の構成要素から区別する目的にのみ使用される。例えば、本発明の権利範囲を逸脱しなく、第１の構成要素は、第２の構成要素と名付けることができ、同じく第２の構成要素も第１の構成要素と名付けることができる。及び/又はという用語は、複数の関係する記載された項目の組み合わせ、あるいは、複数の関係する記載された項目のいずれかの項目を含む。
【００５４】
ある構成要素が他の構成要素に“連結されて”いるとか、“接続されて”いると言及された場合は、その他の構成要素に直接連結されているか、あるいは、接続されていることもできるが、中間に他の構成要素が存在することもできると理解すべきである。一方、ある構成要素が他の構成要素に“直接連結されて”いるとか、“直接接続されて”いると言及された場合は、中間に他の構成要素が存在しないと理解すべきである。
【００５５】
本願で使用した用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に意味が違わない限り、複数の表現を含む。本願において、”含む”又は“有する”などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、又は、これらを組み合わせたものが存在することを指定しようとするものであり、１つ又はその以上の他の特徴や数字、段階、動作、構成要素、部品、又は、これらを組み合わせたものの存在又は付加可能性を予め排除するものではないと理解すべきである。
【００５６】
違う意味として定義されない限り、技術的あるいは科学的な用語を含めて、ここで使用される全ての用語は、本発明が属する技術分野において通常の知識を有する者により一般的に理解されるものと同じ意味を持っている。一般的に使用される事前に定義されているものと同じ用語らは、関連技術の文脈上持つ意味と一致する意味を持つものと解釈されるべきであり、本願において明白に定義しない限り、理想的あるいは過度に形式的な意味として解析されない。
【００５７】
以下、添付の図面を参照して、本発明に係る望ましい実施形態を詳細に説明し、図面符号に関係なく、同一か対応する構成要素には同じ参照番号を付し、これに対する重複する説明は省略することにする。
【００５８】
また、本発明の実施形態を説明するにおいて、本発明の核心事項であるイメージシグナルプロセッサ(ＩＳＰ：  Image  Signal  Processor)の処理動作を中心として説明するが、本発明の権利範囲がこれに制限されないことは自明である。
【００５９】
図４は、本発明の実施形態に係る撮像装置の構成を簡略に示した図であり、図５は、本発明の実施形態に係るデータ出力部の構成を簡略に示した図であり、図６及び図７は、本発明の実施形態に係る各構成要素の出力信号波形を例示した図である。
【００６０】
図４に示されたように、本発明に係る撮像装置は、イメージセンサー１１０と、イメージシグナルプロセッサ４００と、バックエンドチップ４０５と、を含む。その他に、撮像装置は、表示部１５０、メモリ、ベースバンドチップ１４０、キー入力部などを更に含めることは自明であるが、本発明の要旨とは多少距離感があるので、これに対する説明は省略する。
【００６１】
イメージセンサー１１０は、Ｖ_ｓｙｎｃ制御部４４０を含む。Ｖ_ｓｙｎｃ制御部４４０は、サブイメージシグナルプロセッサ(ＩＳＰ)４１０からセンサー制御命令が入力されると、相応するようにフレームの垂直同期信号(Ｖ_ｓｙｎｃ)区間の長さを制御する。
【００６２】
例えば、図６に例示されたように、イメージセンサー１１０は、ｋ(自然数)番目のフレームに対する原信号(raw  data)を出力する間に、サブＩＳＰ４１０から遅延制御命令が入力されると、直後入力されるｋ＋１番目のフレームに対するＶ_ｓｙｎｃ信号が遅延出力されるように制御する。すなわち、本発明に係るサブＩＳＰ４１０などが、Ｖ_ｓｙｎｃ信号のライジングエッジを検出して、新たなフレームに対する電気信号の入力の可否を感知することを考えれば、ライジングエッジが発生する時点を遅延させるものである。ライジングエッジの遅延時間は、予め指定されてもよく、例えば、８〜２４ラインサイズのデータを処理するための時間のうちの任意の時間であることができる。
【００６３】
次いで、サブＩＳＰ４１０から復帰制御命令が入力されると、その以後から出力されるＶ_ｓｙｎｃ信号の区間をデフォルト長さに還元させ、ゲイン値を予め指定された値に再調整する。復帰制御命令は、入力されたキャプチャー命令(例えば、写真撮影命令)に相応するフレームの処理が完了した場合、サブＩＳＰ４１０から入力されることができる。ゲイン値を予め指定された値に再調整する理由は、以下の通りである。Ｖ_ｓｙｎｃ信号の出力区間を増やすのは、センサー統合時間(sensor  integration  time)である露出時間(exposure  time)を増やすことであり、それだけ明るさが明るくなるので、相対的にゲインが低くなるように調整して、適当な明るさを維持できるようにするためである。ゲイン値が異常に増加すると、後続して入力される映像に悪影響を与えるかもしれないためである。
【００６４】
イメージシグナルプロセッサ４００は、サブＩＳＰ４１０と、ＪＰＥＧエンコーダ４２０と、データ出力部４３０と、を含む。もちろん、イメージシグナルプロセッサ４００は、内部動作のためのクロック発生器(Clock  Generator)を更に含むことができる。
【００６５】
サブＩＳＰ４１０は、従来技術に係るイメージシグナルプロセッサとしての機能だけでなく、本明細書で説明される付加機能(例えば、センサー制御命令出力、キャプチャー命令出力、キャプチャー完了情報入力等)を更に行うことができる。
【００６６】
具体的に、サブＩＳＰ４１０は、ＪＰＥＧエンコーダ４２０の処理のための前処理過程を行うことができる。サブＩＳＰ４１０で前処理過程が行われるので、本明細書では、便宜上、サブＩＳＰ４１０が前処理部と称されることもある。サブＩＳＰ４１０は、各フレームに対して、イメージセンサー１１０から電気信号形態の原データ(raw  data)を各ライン別に入力されて処理した後、ＪＰＥＧエンコーダ４２０に伝達できる。
【００６７】
前処理過程には、カラーモデル変換(Color  Space  Transformation)、フィルタリング、ダウンサンプリング(Color  Sub  Sampling)などを含むことができる。
【００６８】
カラーモデル変換(Color  Space  Transformation)は、ＲＧＢカラーモデルをＹＵＶ(又は、ＹＩＱ)カラーモデルに変換する。これは、画質差に対する認識なく、情報の量を減らすことができるためである。
【００６９】
フィルタリングは、ローパスフィルター(ＬＰＦ:  low  pass  filter)を用いて映像を平滑化(smoothing)する過程であり、圧縮率を高めるためのものである。
【００７０】
ダウンサンプリングは、Ｙ値は全部使用し、他の値は一部だけ使用し、残りは捨てる等の方法により、色差(Chrominance)信号成分をダウンサンプリングする過程である。
【００７１】
また、サブＩＳＰ４１０は、バックエンドチップ４０５又はベースバンドチップ１４０からキャプチャー命令(例えば、写真撮影命令)が入力されると、イメージセンサー１１０から直後のフレームに対して出力される垂直同期信号(Ｖ_ｓｙｎｃ信号)の出力区間の長さを拡張するために、イメージセンサー１１０のＶ_ｓｙｎｃ制御部４４０にセンサー制御命令(すなわち、遅延制御命令)を出力し、ＪＰＥＧエンコーダ４２０にキャプチャー命令を出力する。垂直同期信号が、各フレームの入力が開始されることを意味するというのは、当業者にとって自明である。
【００７２】
遅延制御命令によって、Ｖ_ｓｙｎｃ制御部４４０は、直後に出力されるべきＶ_ｓｙｎｃ信号の出力区間の長さを拡張して出力する。また、キャプチャー命令によって、ＪＰＥＧエンコーダ４２０は、相応するフレームのイメージデータを処理する。キャプチャー命令によるＪＰＥＧエンコーダ４２０の処理過程は、従来の写真撮影命令による処理動作と同様である。したがって、ＪＰＥＧエンコーダ４２０にキャプチャー命令を出力する過程は、省略できる。
【００７３】
以後、データ出力部４３０は、ＪＰＥＧエンコーダ４２０から‘ＳＴＯＰ  ＭＡＲＫＥＲ’を含むＪＰＥＧエンコーディングされたデータが入力され、該当フレームに対するエンコーディング処理が完了したことを認識すると、サブＩＳＰ４１０にキャプチャー完了情報を出力する。
【００７４】
次いで、サブＩＳＰ４１０は、復帰制御命令をＶ_ｓｙｎｃ制御部４４０に出力することによって、Ｖ_ｓｙｎｃ信号の出力区間の長さの制御及びゲイン値の調整が行われるようにする。
【００７５】
ＪＰＥＧエンコーダ４２０は、先に述べた方式と同様に、サブＩＳＰ４１０により前処理された原データを圧縮処理して、ＪＰＥＧエンコーディングデータを生成する。
【００７６】
ＪＰＥＧエンコーダ４２０は、エンコーディング処理のために、予め指定されたブロック単位(例えば、８x８)で分割できるようにするために、サブＩＳＰ４１０から入力される処理された原データを臨時に格納するための入力メモリを含むことができる。また、ＪＰＥＧエンコーダ４２０は、ＪＰＥＧエンコーディングされたデータを、データ出力部４３０に出力する前に暫く格納する出力メモリを更に含むことができる。出力メモリは、例えば、ＦＩＦＯであることができる。すなわち、本発明に係るイメージシグナルプロセッサ４００は、従来のイメージシグナルプロセッサ１２０とは異なり、イメージデータのエンコーディングを更に行うことができる。
【００７７】
データ出力部４３０は、ＪＰＥＧエンコーダ４２０により生成されたＪＰＥＧエンコーディングされたデータを受信段(例えば、バックエンドチップ４０５、ベースバンドチップ１４０、カメラコントロールプロセッサー(ＣＣＰ)等-以下、バックエンドチップ４０５と称する)に伝達する。データ出力部４３０は、ＪＰＥＧエンコーダ４２０から入力されたデータを一定時間(例えば、２〜３クロック)遅延させて出力するようにするためのレジスタを含むことができる。
【００７８】
データ出力部４３０は、ＪＰＥＧエンコーダ４２０から入力されるエンコーディングされたデータが、‘ＳＴＯＰ  ＭＡＲＫＥＲ’を含むか否かを監視して、‘ＳＴＯＰ  ＭＡＲＫＥＲ’を含む場合、キャプチャー完了情報をサブＩＳＰ４１０に伝達する。
【００７９】
携帯用端末の全般的な動作制御を行うベースバンドチップ１４０からバックエンドチップ４０５が、例えば、写真をキャプチャーするとの命令を受信すると、サブＩＳＰ４１０にキャプチャー命令を伝送する。また、イメージシグナルプロセッサ４００から入力された画質改善されたＪＰＥＧエンコーディングされたデータを伝達されてメモリ(図示せず)に格納し、格納されたエンコーディングされたデータをデコーディングして表示部１５０にディスプレイしたり、ベースバンドチップ１４０が、メモリから格納されたエンコーディングされたデータを読み出して処理できるようにする。サブＩＳＰ４１０にキャプチャー命令を伝達するために、Ｉ２Ｃバスなどのように、制御信号送受信のためのバスを利用できる。
【００８０】
図５に、データ出力部４３０の細部構成が示されている。図５を参照するに、データ出力部４３０は、ＡＮＤゲート５１０と、Ｈ_ｓｙｎｃ発生器５３０と、伝送遅延部(Delay  unit)５４０と、伝送制御部５５０と、を含むことができる。
【００８１】
本発明に係るデータ出力部４３０は、別途のＶ_ｓｙｎｃ発生器(V_sync  generator)を備えなくてもよい。これは、先行する構成要素(例えば、ＪＰＥＧエンコーダ４２０)から入力されたＶ_ｓｙｎｃをそのまま出力するだけで済むためである。
【００８２】
ＡＮＤゲート５１０は、あらゆる入力に信号が入力される場合のみ、クロック信号(Ｐ_ＣＬＫ)をバックエンドチップ４０５に出力する。すなわち、イメージシグナルプロセッサ４００に備えられたクロック発生器(図示せず)からクロック信号を入力され、伝送制御部５５０からクロック制御信号を入力され、クロック制御信号がクロック信号出力を指示する場合のみ、クロック信号をバックエンドチップ４０５に出力する。クロック制御信号は、ハイ信号(High  Signal)又はロー信号(Low  Signal)形態であることができ、各々Ｐ_ＣＬＫイネーブル(enable)、又は、Ｐ_ＣＬＫディセーブル信号として認識されることができる。もちろん、逆の場合も可能である。この場合、クロック信号(Ｐ_ＣＬＫ)がバックエンドチップ４０５に出力される区間は、伝送遅延部５４０が、ＪＰＥＧエンコーディングされたデータのうち、有効データを出力する区間と一致するようにすることができる。伝送制御部５５０は、現在出力されるエンコーディングされたデータが有効データなのか無効データなのか識別できるため、ＡＮＤゲート５１０の出力信号を制御できることは、当業者にとって自明である。もし、クロック信号が常にバックエンドチップ４０５に出力されるように設定する場合、示されたＡＮＤゲート５１０は、省略できる。
【００８３】
Ｈ_ｓｙｎｃ発生器５３０は、伝送制御部５５０の制御により(すなわち、有効データイネーブル信号(Ｈ_ＲＥＦ)の出力命令が入力され、Ｈ_ＲＥＦ信号の出力終了命令が入力されるまで)、ハイ状態の有効データイネーブル信号(Ｈ_ＲＥＦ)を生成して出力する。有効データイネーブル信号のハイ区間(これは、設計方法によって、ロー区間に設定されてもよい)は、伝送遅延部５４０から、一つのフレームに対するＪＰＥＧエンコーディングされたデータのうち、有効データが出力される区間と一致する。伝送制御部５５０は、現在出力されるエンコーディングされたデータが有効データなのか無効データなのか識別できるため、Ｈ_ｓｙｎｃ発生器５３０の出力信号を制御できることは、当業者にとって自明である。
【００８４】
伝送遅延部５４０は、ＪＰＥＧエンコーダ４２０から入力されるデータをバックエンドチップ４０５に順次出力する。伝送遅延部５４０は、例えば、ＪＰＥＧエンコーダ４２０から入力されたデータを一定時間(例えば、２〜３クロック)遅延させて出力するようにするためのレジスタを含むことができる。伝送遅延部５４０が有効データを出力する区間は、Ｈ_ＲＥＦ信号がハイ状態で出力される区間と一致することができる。上述のように、有効データが出力される区間が、Ｈ_ＲＥＦ信号がロー状態で出力される区間と一致するように設計できることは、自明である。
【００８５】
伝送遅延部５４０に一時格納されたＪＰＥＧエンコーディングされたデータが有効データなのか否かは、伝送制御部５５０により判断でき、現在出力されるべきデータが有効データでない(例えば、ｆｆ、０x００を含むデータ)場合、伝送制御部５５０は、クロック信号がバックエンドチップ４０５に出力されないようにＡＮＤゲート５１０を制御でき、ロー状態のＨ_ＲＥＦ信号が出力されるようにＨ_ｓｙｎｃ発生器５３０を制御できる。
【００８６】
本明細書での無効データ(すなわち、有効でないデータ)は、ＪＰＥＧ標準などで言及している有効でないデータ(すなわち、実際的にイメージを構成しないデータ)を意味し、その例示として、ｆｆに表示されることができる。但し、図７での‘ｆｆｄ８’が‘ＳＴＡＲＴ  ＭＡＲＫＥＲ’の‘ＳＯＩ’として認識され、‘ｆｆｄ９’が‘ＳＴＯＰ  ＭＡＲＫＥＲ’の‘ＥＯＩ’として認識されることは、当業者にとって自明である。
【００８７】
無効データが出力される区間には、予め格納された,あるいは、予め指定されたダミーデータ(すなわち、形式だけを合わせるための用途に過ぎないデータ)が出力されることもできる。ダミーデータの出力のために、伝送遅延部５４０の前段に多重化器(ＭＵＸ)が具備されてもよい。多重化器を介してＪＰＥＧエンコーディングされたデータ及びダミーデータが出力され、伝送遅延部５４０が、これを入力されて出力するようにすることもできる。この場合、伝送制御部５５０が、入力されたＪＰＥＧエンコーディングされたデータが無効データであると判断すると、多重化器にダミーデータ出力命令を入力することができる。多重化器は、予めレジスタに格納されたダミーデータが伝送遅延部５４０に入力され、バックエンドチップ４０５に出力されるようにすることができる。
【００８８】
伝送制御部５５０は、伝送遅延部５４０が、有効データの出力のためにＪＰＥＧエンコーダ５３０から順次入力され、出力前に暫く格納するＪＰＥＧエンコーディングされたデータのヘッダーとテールとから、‘ＳＴＡＲＴ  ＭＡＲＫＥＲ’と‘ＳＴＯＰ  ＭＡＲＫＥＲ’とをキャプチャーして、ＪＰＥＧエンコーディングの始まりと終わりに対する情報を認識できる。すなわち、これにより、ＪＰＥＧエンコーダ４２０により、一つのフレームが全てエンコーディング及び/又は出力されているか否かを認識できる。
【００８９】
図６及び図７に、各構成要素により出力される信号の波形が例示されている。図６には、イメージセンサー１１０が、遅延制御命令によりＶ_ｓｙｎｃ信号の出力区間の長さを拡張する場合の信号波形が示されており、図７には、データ出力部４３０から出力する信号波形が示されている。
【００９０】
図６に示されたように、イメージセンサー１１０は、予め設定された周期に従ってＶ_ｓｙｎｃ信号を出力し、また、相応する電気信号(raw  data)を出力する。すなわち、写真撮影の前に通常のプリビュー(preview)状態(すなわち、写真撮影と無関係にイメージセンサー１１０から入力される電気信号が、エンコーディング及びデコーディングされて表示部１５０にディスプレイされる状態)では、符号６１０のような出力状態が維持される。しかし、k-１番目のフレームが処理される間に、使用者によりキャプチャー命令が入力されると、ｋ番目のフレームが処理される間に、サブＩＳＰ４１０からセンサー制御命令(すなわち、遅延制御命令)が入力され、直後に出力されるＶ_ｓｙｎｃ信号の出力区間の長さは拡張される。本明細書では、Ｖ_ｓｙｎｃ信号により新たなフレームが入力されることが、ライジングエッジにより検出されると仮定したので、符号６１０と６２０とを比較する場合、ライジングエッジの検出時点が、従来に比べて拡張されていることが分かる。ｋ番目のフレームの撮影が完了すると、ｋ＋１番目のフレームからは、再度プリビュー状態に維持される。
【００９１】
上述した過程により、Ｖ_ｓｙｎｃ信号の出力区間の長さが拡張されることによって、図７に示されたように、Ｖ_ｓｙｎｃ信号のライジングエッジが検出される時点が、該当フレームに対する処理が完了した時点、あるいは、その以後になるようにすることができる。
【００９２】
本発明に係るデータ出力部４３０は、上述した過程を経てｋ番目のフレームを処理する間に、ｋ＋１番目のフレームに対するＶ_ｓｙｎｃ信号により正常なデータの送受信が妨げられるという問題点を解決できる。
【００９３】
この場合、データ出力部４３０は、出力されるエンコーディングされたデータが有効なデータである場合のみ、Ｈ_ＲＥＦ信号をハイ状態に維持することができ、また、該当区間のみ、クロック信号がバックエンドチップ４０５に出力されるようにすることもできる。このように、有効でないエンコーディングデータ、又は、ダミーデータが出力される間には、バックエンドチップ４０５に出力されるべきクロック信号(Ｐ_ＣＬＫ)をオフさせることで、バックエンドチップ４０５の無駄な動作を最小化させることができる。これにより、バックエンドチップ４０５の電力消耗を最小化することができる。
【００９４】
従来のバックエンドチップ４０５は、ＹＵＶ/ＢＡＹＥＲフォーマットのデータを入力されるように具現されており、このようなデータを入力されるためのインターフェースとして、Ｐ_ＣＬＫ、Ｖ_ｓｙｎｃ、Ｈ_ＲＥＦ、ＤＡＴＡ信号を用いていた。
【００９５】
これを考慮して、本発明のイメージシグナルプロセッサ４００は、従来と同様のインターフェースを用いるように具現される。
【００９６】
したがって、本発明は、バックエンドチップ４０５が、従来のバックエンドチップの設計方法により具現された場合にも互換(port  matching)できることは自明である。
【００９７】
例えば、一般的なバックエンドチップ４０５の動作が、Ｖ_ｓｙｎｃ信号のライジングエッジの割り込みから動作初期化されるとすると、本発明もまた、従来のインターフェース構造を同様に適用したので、既存のＶ_ｓｙｎｃ信号が出力される形態と同様に、該当信号をバックエンドチップ４０５に入力することで、各チップ間でインターフェーシングが可能である。
【００９８】
同様に、一般的なバックエンドチップ４０５が、Ｖ_ｓｙｎｃライジング割り込みを発生しなければならず、また、イメージシグナルプロセッサ４００からデータを受ける際に、有効データイネーブル信号(Ｈ_ＲＥＦ)をメモリの記録イネーブル信号に用いることを考慮する場合、本発明に係る信号出力方式を用いることで、バックエンドチップ４０５の電力消耗も減らすことができる。
【００９９】
これまで、イメージシグナルプロセッサ４００がＪＰＥＧエンコーディング方式を用いる場合のみを中心として説明したが、ＢＭＰエンコーディング方式、ＭＰＥＧ(ＭＰＥＧ１/２/４、ＭＰＥＧ-４ＡＶＣ)エンコーディング方式、ＴＶアウト方式などのように、他のエンコーディング方式を支援する場合にも、同様のデータ伝送方式を利用できることは自明である。
【０１００】
図面と発明の詳細な説明は、単に本発明の例示的なものであり、これは、単に本発明を説明するための目的で使用されたものであって、意味限定や特許請求範囲上に記載された本発明の範囲を制限するために使用されたものではない。したがって、本技術分野の通常の知識を有する者ならば、これらから種々の変形及び均等な他の実施形態が可能であることを理解するはずである。よって、本発明の真の技術的保護範囲は、本願の特許請求範囲上の技術的思想により定められるべきである。
【図面の簡単な説明】
【０１０１】
【図１】一般的な撮像装置の構成を簡略に示した図である。
【図２】一般的なＪＰＥＧエンコーディング過程を示した図である。
【図３】従来のイメージシグナルプロセッサ(ＩＳＰ)がエンコーディングされたデータを出力するための信号形態を示した図である。
【図４】本発明の実施形態に係る撮像装置の構成を簡略に示した図である。
【図５】本発明の実施形態に係るデータ出力部の構成を簡略に示した図である。
【図６】本発明の実施形態に係る各構成要素の出力信号波形を例示した図である。
【図７】本発明の実施形態に係る各構成要素の出力信号波形を例示した図である。
【符号の説明】
【０１０２】
１４０  ベースバンドチップ
４００  イメージシグナルプロセッサ
４０５  バックエンドチップ
４２０  ＪＰＥＧエンコーダ
４３０  データ出力部
５１０  ＡＮＤゲート
５２０  Ｖ_ｓｙｎｃ発生器
５３０  Ｈ_ｓｙｎｃ発生器
５４０  伝送遅延部
５５０  伝送制御部
【図１】
2009515409.tif 000003
【図２】
2009515409.tif 000004
【図３】
2009515409.tif 000005
【図４】
2009515409.tif 000006
【図５】
2009515409.tif 000007
【図６】
2009515409.tif 000008
【図７】
2009515409.tif 000009
【国際調査報告】
2009515409.tif 000010
2009515409.tif 000011
2009515409.tif 000012