(57)【要約】  バックエンドチップの処理効率の増進及び電力消耗を防止できる垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供する。  垂直同期信号の遅延出力方法は、エンコーディング部からｍ番目のフレームに対する垂直同期信号が入力されると、エンコーディング部から入力されるカウント値を用いて、予め指定された処理ブロックに相応するｎ個のイメージデータ列が格納されているか否かを監視し、ｎ個のイメージデータ列が格納された場合、相応する垂直同期信号を受信段に出力する。したがって、バックエンドチップの処理効率の増進及び電力消耗を防止できる。
2009515412.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置のイメージシグナルプロセッサにおいて、
任意のフレームに対してイメージセンサーから入力された電気信号に相応するイメージデータ列を、予め指定された処理ブロックによりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;
前記処理ブロックの処理のために、前記エンコーディング部が、前記フレームに対する最初のｎ(自然数)個のイメージデータ列を格納した時点で、前記フレームに対する垂直同期信号(Ｖ_ｓｙｎｃ)を受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力し、前記エンコーディング部から入力されるエンコーディングされたイメージデータを前記受信段に出力するデータ出力部と；を含み、
前記処理ブロックが、ａ(自然数)xｂ(自然数)である場合、前記ｎは、１乃至ｂのうち任意の自然数であることを特徴とするイメージシグナルプロセッサ。
【請求項２】
前記エンコーディングされたイメージデータのうち、有効データが出力される区間のみ、前記受信段にクロック信号を出力することを特徴とする請求項１に記載のイメージシグナルプロセッサ。
【請求項３】
前記エンコーディングされたイメージデータのうち、無効データが出力される区間には、ダミーデータが出力されることを特徴とする請求項１に記載のイメージシグナルプロセッサ。
【請求項４】
前記フレームに対して出力されるエンコーディングされたイメージデータは、‘ＳＴＡＲＴ  ＭＡＲＫＥＲ’から‘ＳＴＯＰ  ＭＡＲＫＥＲ’までであることを特徴とする請求項１に記載のイメージシグナルプロセッサ。
【請求項５】
前記データ出力部は、前記エンコーディング部から入力されるエンコーディングされたイメージデータを、予め指定されたクロックだけ遅延して出力するレジスタを含むことを特徴とする請求項１に記載のイメージシグナルプロセッサ。
【請求項６】
前記データ出力部は、
垂直同期信号制御命令に応じて、ハイ又はロー状態の前記垂直同期信号を生成して出力するＶ_ｓｙｎｃ発生器と;
有効データイネーブル制御命令に応じて、ハイ又はロー状態の前記有効データイネーブル信号を生成して出力するＨ_ｓｙｎｃ発生器と;
データ出力制御命令に応じて、前記エンコーディング部から入力された有効データと、無効データ又は予め生成されたダミーデータとを出力する伝送遅延部と;
前記垂直同期信号制御命令、前記有効データイネーブル制御命令、及び前記データ出力制御命令を生成して出力する伝送制御部と；を含み、
前記伝送制御部は、前記エンコーディング部から入力されたカウンター値を用いて、前記フレームに対する最初のｎ(自然数)個のイメージデータ列を格納した時点で前記垂直同期信号制御命令を出力することを特徴とする請求項１に記載のイメージシグナルプロセッサ。
【請求項７】
前記有効データイネーブル信号は、前記受信段で記録イネーブル信号として解析されることを特徴とする請求項６に記載のイメージシグナルプロセッサ。
【請求項８】
撮像装置のイメージシグナルプロセッサにおいて、
垂直同期信号制御命令に応じて、ハイ又はロー状態の前記垂直同期信号を生成して出力するＶ_ｓｙｎｃ発生器と;
有効データイネーブル制御命令に応じて、ハイ又はロー状態の前記有効データイネーブル信号を生成して出力するＨ_ｓｙｎｃ発生器と;
データ出力制御命令に応じて、エンコーディング部から入力された有効データと、無効データ又は予め生成されたダミーデータとを出力する伝送遅延部と;
前記垂直同期信号制御命令、前記有効データイネーブル制御命令、及び前記データ出力制御命令を生成して出力する伝送制御部と；を含み、
前記伝送制御部は、前記エンコーディング部から入力されたカウンター値を用いて、前記フレームに対する最初のｎ(自然数)個のイメージデータ列を格納した時点で前記垂直同期信号制御命令を出力することを特徴とするイメージシグナルプロセッサ。
【請求項９】
イメージセンサー、イメージシグナルプロセッサ、バックエンドチップ、及び、ベースバンドチップを含む撮像装置において、
前記イメージシグナルプロセッサが、
任意のフレームに対してイメージセンサーから入力された電気信号に相応するイメージデータ列を、予め指定された処理ブロックによりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;
前記処理ブロックの処理のために、前記エンコーディング部が、前記フレームに対する最初のｎ(自然数)個のイメージデータ列を格納した時点で、前記フレームに対する垂直同期信号(Ｖ_ｓｙｎｃ)を受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力し、前記エンコーディング部から入力されるエンコーディングされたイメージデータを前記受信段に出力するデータ出力部と；を含み、
前記処理ブロックが、ａ(自然数)xｂ(自然数)である場合、前記ｎは、１乃至ｂのうち任意の自然数であることを特徴とする撮像装置。
【請求項１０】
イメージセンサーを備えた撮像装置のイメージシグナルプロセッサで行われる垂直同期信号の遅延出力方法において、
エンコーディング部からｍ(自然数)番目のフレームに対する垂直同期信号を入力される段階と;
前記エンコーディング部から入力されたカウント値を用いて、予め指定された処理ブロックに相応するｎ(自然数)個のイメージデータ列が格納されているか否かを監視する段階と;
ｎ個のイメージデータ列が格納された場合、前記ｍ番目のフレームに相応する垂直同期信号を受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力する段階と；を含み、
前記処理ブロックが、ａ(自然数)xｂ(自然数)である場合、前記ｎは、１乃至ｂのうち任意の自然数であることを特徴とする垂直同期信号の遅延出力方法。
【請求項１１】
前記エンコーディング部から前記処理ブロックに相応してエンコーディングされたデータを入力される段階と;
前記入力されたエンコーディングされたデータを前記受信段に出力する段階と、を更に含み、
前記エンコーディングされたデータのうち、有効データが出力される区間のみ、クロック信号を前記受信段に出力することを特徴とする請求項１０に記載の垂直同期信号の遅延出力方法。
【請求項１２】
前記ｍ番目のフレームに対するエンコーディングが完了しているか否かは、前記入力されるエンコーディングされたデータのヘッダー情報及びテール情報を用いて判断されることを特徴とする請求項１１に記載の垂直同期信号の遅延出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データエンコーディングに関し、より詳細には、エンコーディングされたデータの伝達のための垂直同期信号の出力に関する。
【背景技術】
【０００２】
近年、小型及び薄型の撮像素子が、携帯電話機やＰＤＡ(Personal  Digital  Assistant)などの小型及び薄型の携帯用端末に搭載されることによって、携帯用端末が撮像装置としても機能することができる。これにより、携帯電話機のような携帯用端末は、遠隔地に音声情報だけでなく、画像情報も伝送できるようになった。撮像素子は、携帯電話機やＰＤＡだけでなく、ＭＰ３プレーヤーなどの携帯用端末にも具備されている。したがって、種々の携帯用端末が外部映像を撮像して電子的なデータとして保持する撮像装置としても機能することができる。
【０００３】
一般に、撮像装置には、ＣＣＤ(Charge  Coupled  Device)型イメージセンサーやＣＭＯＳ(Complementary  Metal-Oxide  Semiconductor)型イメージセンサーなどの固体撮像素子が使われている。
【０００４】
図１は、一般的な撮像装置の構成を簡略に示した図であり、図２は、一般的なＪＰＥＧエンコーディング過程を示した図であり、図３は、従来のイメージシグナルプロセッサ(ＩＳＰ、Image  Signal  Processor)がエンコーディングされたデータを出力するための信号形態を示した図である。
【０００５】
図１に示されたように、撮像された外部映像を電気的なデータに変換して表示部１５０にディスプレイする撮像装置は、イメージセンサー１１０と、イメージシグナルプロセッサ(ＩＳＰ、Image  Signal  Processor)１２０と、バックエンドチップ(Back-end  chip)１３０と、ベースバンドチップ(Baseband  Chip)１４０と、表示部１５０と、を含む。その他に、撮像装置は、変換された電気的なデータを格納するためのメモリ、アナログ信号をデジタル信号に変換するＡＤ変換機などを更に含むことができる。
【０００６】
イメージセンサー１１０は、バイエルパターン(Bayer  Pattern)を持つセンサーであり、単位ピクセル別にレンズを介して入力された光の量に相応する電気信号を出力する。
【０００７】
イメージシグナルプロセッサ１２０は、イメージセンサー１１０から入力された電気信号(raw  data)をＹＵＶ値に変換し、変換されたＹＵＶ値をバックエンドチップ１３０に出力する。ＹＵＶ方式は、人間の眼が色相よりは明るさに敏感であるという事実に着目した方式であり、色を明るさ(Luminance)のＹ成分と色相(Chrominance)のＵ及びＶ成分とに分ける。Ｙ成分は、誤差に敏感であるので、色相成分のＵとＶより多いビットをコーディングする。典型的なＹ:Ｕ:Ｖの比率は、４:２:２である。
【０００８】
イメージシグナルプロセッサ１２０は、変換したＹＵＶ値をＦＩＦＯに順次格納することによって、バックエンドチップ１３０が該当情報を入力され得るようにする。
【０００９】
バックエンドチップ１３０は、入力されたＹＵＶ値を予め指定されたエンコーディング方法によりＪＰＥＧやＢＭＰに変換してメモリに格納したり、メモリに格納されたエンコーディングされたイメージをデコーディングして表示部１５０にディスプレイする。バックエンドチップ１３０は、イメージの拡大、縮小、ローテーションなどの機能も行うことができる。もちろん、図１に示されたように、ベースバンドチップ１４０が、バックエンドチップ１３０からデコーディングされたデータを入力され、表示部１５０にディスプレイすることもできる。
【００１０】
ベースバンドチップ１４０は、撮像装置の動作を全般的に制御する機能を行う。例えば、キー入力部(図示せず)を介して使用者から撮像命令が入力されると、ベースバンドチップ１４０は、バックエンドチップ１３０にイメージ生成命令を伝送することによって、バックエンドチップ１３０が入力された外部映像に相応するエンコーディングされたデータを生成するようにすることもできる。
【００１１】
表示部１５０は、バックエンドチップ１３０又はベースバンドチップ１４０の制御により提供されたデコーディングされたデータをディスプレイする。
【００１２】
図２には、バックエンドチップ１３０により行われる一般的なＪＰＥＧエンコーディング(encoding)過程が示されている。ＪＰＥＧエンコーディング過程２００は、当業者にとって自明な事項であるので、簡略に説明することにする。
【００１３】
図２に示されたように、入力されたＹＵＶ値のイメージは、８x８ピクセル大きさのブロックに分けられ、各ブロックに対して、ＤＣＴ(離散コサイン変換、Discrete  Cosine  Transform)が行われる(２１０)。-１２８〜１２７間の８ビットの整数形態に入力された各ピクセルの画素値は、ＤＣＴにより-１０２４〜１０２３間の値に変換される。
【００１４】
次いで、量子化器(Quantizer)は、各ブロックのＤＣＴ係数を、視覚に及ぼす影響によって重み付けをして量子化する(２２０)。この重みのテーブルを量子化テーブルという。量子化テーブルの値は、ＤＣ近くでは小さい値を取り、高い周波数では、大きい値を取り、情報量の多いＤＣ近くのデータを小さな損失で送り、高周波数では、高い圧縮率を誘導する。
【００１５】
次いで、無損失コーダー(Lossless  coder)であるエントロピーエンコーダ(entropy  encoder)により最終圧縮されたデータが生成される(２３０)。
【００１６】
上述した過程を経てエンコーディングされたデータは、メモリに格納される。バックエンドチップ１３０は、メモリに積載されたデータを復号化して表示部１５０にディスプレイする等の処理を行う。
【００１７】
メモリに格納されたデータが復号化などの処理のために順次入力される過程の信号波形が、図３に示されている。一般に、バックエンドチップ１３０は、ＹＵＶ/ＢＡＹＥＲフォーマットのデータを入力されるように具現されており、このようなデータを入力されるためのインターフェースとして、Ｐ_ＣＬＫ、Ｖ_ｓｙｎｃ、Ｈ_ＲＥＦ、ＤＡＴＡ信号を用いている。
【００１８】
図３に示されたように、従来のバックエンドチップ１３０は、エンコーディングされたデータを後続する構成要素(例えば、デコーディング部等)に伝達するにあたり、全過程でクロック信号(Ｐ_ＣＬＫ)の出力状態をオン(ＯＮ)状態に維持するので、バックエンドチップ１３０は、有効でないデータ(例えば、０x００を含むデータ)が入力される間にも、相互間にインターフェーシングのための動作を行わなければならない。
【００１９】
したがって、従来の撮像装置は、バックエンドチップ１３０が、不要な動作を行うことで、無駄な電力消耗が生じるという問題点があった。
【００２０】
また、図３に示されたように、従来のイメージシグナルプロセッサ１２０は、現在処理されているフレームに対するエンコーディング処理が完了していないにも関わらず、次のフレームに対するデータの入力を示す新たな垂直同期信号(Ｖ_ｓｙｎｃ２)をバックエンドチップ１３０に出力することができる。
【００２１】
この場合、バックエンドチップ１３０は、現在処理されているフレームに対する処理だけでなく、次のフレームに対する処理を共に行うことがあり、正確なデータの入力及び/又は処理が完了されないという問題点もあった。
【００２２】
また、図３に示されたように、従来のイメージシグナルプロセッサ１２０は、バックエンドチップ１３０でデータを格納する際に利用可能なＨ_ＲＥＦ信号を交番的に出力することによって、バックエンドチップ１３０のメモリの記録イネーブル(Write  enable)信号のスイッチングによる電力消耗が生じるという問題点もあった。
【発明の開示】
【発明が解決しようとする課題】
【００２３】
それで、本発明の目的は、バックエンドチップの処理効率の増進及び電力消耗を防止できる垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供することにある。
【００２４】
また、本発明の他の目的は、エンコーダによりエンコーディングされたデータを受信段(例えば、バックエンドチップ、ベースバンドチップ等)に伝達するにあたり、最適の時点で垂直同期信号を出力することができるようにする垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供することにある。
【００２５】
また、本発明の更に他の目的は、受信段でエンコーディングされたデータを入力される場合、新たなフレームの入力を示す垂直同期信号の入力により、現在フレームに対して処理されたデータの入力が妨害を受けない垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供することにある。
【００２６】
また、本発明の更に他の目的は、イメージシグナルプロセッサが、エンコーディングされたデータをバックエンドチップに提供するにあたり、一般的なインターフェース構造を用いることによって、ハードウェアの設計及び制御の側面で有利な効果を持つ垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供することにある。
【００２７】
また、本発明の更に他の目的は、イメージシグナルプロセッサが、エンコーディング速度によって入力されるフレームのエンコーディングの可否を決定でき、スムーズなエンコーディング動作を行える垂直同期信号の遅延出力方法及びその方法を行うイメージシグナルプロセッサを提供することにある。
【００２８】
その他の本発明の目的は、以下に述べられる実施形態を通じてより明確になるであろう。
【課題を解決するための手段】
【００２９】
上述した目的を達成するために本発明の一側面によれば、イメージシグナルプロセッサ及び/又は前記イメージシグナルプロセッサを含む撮像装置が提供される。
【００３０】
本発明の一実施形態によれば、撮像装置のイメージシグナルプロセッサにおいて、任意のフレームに対してイメージセンサーから入力された電気信号に相応するイメージデータ列を、予め指定された処理ブロックによりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;前記処理ブロックの処理のために、前記エンコーディング部が、前記フレームに対する最初のｎ(自然数)個のイメージデータ列を格納した時点で、前記フレームに対する垂直同期信号(Ｖ_ｓｙｎｃ)を受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力し、前記エンコーディング部から入力されるエンコーディングされたイメージデータを前記受信段に出力するデータ出力部と；を含むイメージシグナルプロセッサが提供される。ここで、前記処理ブロックが、ａ(自然数)xｂ(自然数)である場合、前記ｎは、１乃至ｂのうち任意の自然数であることを特徴とする。
【００３１】
前記エンコーディングされたイメージデータのうち、有効データが出力される区間のみ、前記受信段にクロック信号を出力することを特徴とする。
【００３２】
前記エンコーディングされたイメージデータのうち、無効データが出力される区間には、ダミーデータが出力されることができる。
【００３３】
前記フレームに対して出力されるエンコーディングされたイメージデータは、‘ＳＴＡＲＴ  ＭＡＲＫＥＲ’から‘ＳＴＯＰ  ＭＡＲＫＥＲ’までであることを特徴とする。
【００３４】
前記データ出力部は、前記エンコーディング部から入力されるエンコーディングされたイメージデータを、予め指定されたクロックだけ遅延して出力するレジスタを含むことができる。
【００３５】
前記データ出力部は、垂直同期信号制御命令に応じて、ハイ(High)又はロー(Low)状態の前記垂直同期信号を生成して出力するＶ_ｓｙｎｃ発生器と;有効データイネーブル制御命令に応じて、ハイ(High)又はロー(Low)状態の前記有効データイネーブル信号を生成して出力するＨ_ｓｙｎｃ発生器と;データ出力制御命令に応じて、前記エンコーディング部から入力された有効データと、無効データ又は予め生成されたダミーデータとを出力する伝送遅延部と;前記垂直同期信号制御命令、前記有効データイネーブル制御命令、及び前記データ出力制御命令を生成して出力する伝送制御部と；を含み、前記伝送制御部は、前記エンコーディング部から入力されたカウンター値を用いて、前記フレームに対する最初のｎ(自然数)個のイメージデータ列を格納した時点で前記垂直同期信号制御命令を出力することを特徴とする。
【００３６】
前記有効データイネーブル信号は、前記受信段で記録イネーブル(write  enable)信号として解析されることができる。
【００３７】
本発明の他の実施形態によれば、撮像装置のイメージシグナルプロセッサにおいて、垂直同期信号制御命令に応じて、ハイ(High)又はロー(Low)状態の前記垂直同期信号を生成して出力するＶ_ｓｙｎｃ発生器と;有効データイネーブル制御命令に応じて、ハイ(High)又はロー(Low)状態の前記有効データイネーブル信号を生成して出力するＨ_ｓｙｎｃ発生器と;データ出力制御命令に応じて、エンコーディング部から入力された有効データと、無効データ又は予め生成されたダミーデータとを出力する伝送遅延部と;前記垂直同期信号制御命令、前記有効データイネーブル制御命令、及び前記データ出力制御命令を生成して出力する伝送制御部を含み、前記伝送制御部は、前記エンコーディング部から入力されたカウンター値を用いて、前記フレームに対する最初のｎ(自然数)個のイメージデータ列を格納した時点で前記垂直同期信号制御命令を出力することを特徴とするイメージシグナルプロセッサが提供される。
【００３８】
本発明の更に他の実施形態によれば、イメージセンサー、イメージシグナルプロセッサ、バックエンドチップ、及び、ベースバンドチップを含む撮像装置において、前記イメージシグナルプロセッサが、任意のフレームに対してイメージセンサーから入力された電気信号に相応するイメージデータ列を、予め指定された処理ブロックによりエンコーディングし、エンコーディングされたイメージデータを生成するエンコーディング部と;前記処理ブロックの処理のために、前記エンコーディング部が、前記フレームに対する最初のｎ(自然数)個のイメージデータ列を格納した時点で、前記フレームに対する垂直同期信号(Ｖ_ｓｙｎｃ)を受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力し、前記エンコーディング部から入力されるエンコーディングされたイメージデータを前記受信段に出力するデータ出力部を含み、前記処理ブロックが、ａ(自然数)xｂ(自然数)である場合、前記ｎは、１乃至ｂのうち任意の自然数であることを特徴とする撮像装置が提供される。
【００３９】
上述した目的を達成するために本発明の他の側面によれば、イメージシグナルプロセッサで行われる垂直同期信号の遅延出力方法及び/又はその方法を行うためのプログラムが記録された記録媒体が提供される。
【００４０】
本発明の一実施形態によれば、イメージセンサーを備えた撮像装置のイメージシグナルプロセッサで行われる垂直同期信号の遅延出力方法において、エンコーディング部からｍ(自然数)番目のフレームに対する垂直同期信号を入力される段階と;前記エンコーディング部から入力されたカウント値を用いて、予め指定された処理ブロックに相応するｎ(自然数)個のイメージデータ列が格納されているか否かを監視する段階と;ｎ個のイメージデータ列が格納された場合、前記ｍ番目のフレームに相応する垂直同期信号を受信段-ここで、前記受信段は、バックエンドチップ又はベースバンドチップである-に出力する段階と；を含み、前記処理ブロックが、ａ(自然数)xｂ(自然数)である場合、前記ｎは、１乃至ｂのうち任意の自然数であることを特徴とする垂直同期信号の遅延出力方法が提供される。
【００４１】
前記垂直同期信号の遅延出力方法は、前記エンコーディング部から前記処理ブロックに相応してエンコーディングされたデータを入力される段階と;前記入力されたエンコーディングされたデータを前記受信段に出力する段階と；を更に含むことができる。ここで、前記エンコーディングされたデータのうち、有効データが出力される区間のみ、クロック信号を前記受信段に出力することができる。
【００４２】
前記ｍ番目のフレームに対するエンコーディングが完了しているか否かは、前記入力されるエンコーディングされたデータのヘッダー(Header)情報及びテール(Tail)情報を用いて判断することができる。
【発明の効果】
【００４３】
上述のように、本発明は、バックエンドチップの処理効率の増進及び電力消耗を防止できるという効果がある。
【００４４】
また、本発明は、エンコーダによりエンコーディングされたデータを受信段(例えば、バックエンドチップ、ベースバンドチップ等)に伝達するにあたり、最適の時点で垂直同期信号を出力することができるようにする効果もある。
【００４５】
また、本発明は、受信段でエンコーディングされたデータを入力される場合、新たなフレームの入力を示す垂直同期信号の入力により、現在フレームに対して処理されたデータの入力が妨害を受けないという効果もある。
【００４６】
また、本発明は、イメージシグナルプロセッサが、エンコーディングされたデータをバックエンドチップに提供するにあたり、一般的なインターフェース構造を用いることによって、ハードウェアの設計及び制御の側面で有利な効果を持つ効果もある。
【００４７】
また、本発明は、イメージシグナルプロセッサが、エンコーディング速度によって入力されるフレームのエンコーディングの可否を決定でき、スムーズなエンコーディング動作を行えるという効果もある。
【発明を実施するための最良の形態】
【００４８】
上述した目的、特徴及び長所は、添付の図面と関係する以下の詳細な説明を通してより明確になるであろう。
【００４９】
本発明は、種々の変更を加えることができ、複数の実施形態を持つことができるので、特定の実施形態を図面に例示して、詳細な説明に詳細に説明しようとする。しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むものと理解すべきである。本発明を説明するにおいて、関係する公知の技術に関する具体的な説明が本発明の要旨を不明にすると判断される場合、それに関する詳細な説明は省略することにする。
【００５０】
第１、第２などの用語は、種々の構成要素を説明するのに使用されることはできるが、前記構成要素らは、前記用語らにより限定されてはならない。前記用語らは、一つの構成要素を他の構成要素から区別する目的にのみ使用される。例えば、本発明の権利範囲を逸脱しなく、第１の構成要素は、第２の構成要素と名付けることができ、同じく第２の構成要素も第１の構成要素と名付けることができる。及び/又はという用語は、複数の関係する記載された項目の組み合わせ、あるいは、複数の関係する記載された項目のいずれかの項目を含む。
【００５１】
ある構成要素が他の構成要素に“連結されて”いるとか、“接続されて”いると言及された場合は、その他の構成要素に直接連結されているか、あるいは、接続されていることもできるが、中間に他の構成要素が存在することもできると理解すべきである。一方、ある構成要素が他の構成要素に“直接連結されて”いるとか、“直接接続されて”いると言及された場合は、中間に他の構成要素が存在しないと理解すべきである。
【００５２】
本願で使用した用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に意味が違わない限り、複数の表現を含む。本願において、“含む”又は“有する”などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、又は、これらを組み合わせたものが存在することを指定しようとするものであり、１つ又はその以上の他の特徴や数字、段階、動作、構成要素、部品、又は、これらを組み合わせたものの存在又は付加可能性を予め排除するものではないと理解すべきである。
【００５３】
違う意味として定義されない限り、技術的あるいは科学的な用語を含めて、ここで使用される全ての用語は、本発明が属する技術分野において通常の知識を有する者により一般的に理解されるものと同じ意味を持っている。一般的に使用される事前に定義されているものと同じ用語は、関連技術の文脈上持つ意味と一致する意味を持つものと解釈されるべきであり、本願において明白に定義しない限り、理想的あるいは過度に形式的な意味として解析されない。
【００５４】
以下、添付の図面を参照して、本発明に係る実施形態を詳細に説明し、図面符号に関係なく、同一か対応する構成要素には同じ参照番号を付し、これに対する重複する説明は省略することにする。
【００５５】
また、本発明の実施形態を説明するにおいて、本発明の核心事項であるイメージシグナルプロセッサ(ＩＳＰ、Image  Signal  Processor)の処理動作だけを中心として説明するが、本発明の権利範囲がこれに制限されないことは自明である。
【００５６】
図４は、本発明の一実施形態に係る撮像装置の構成を簡略に示した図であり、図５は、本発明の一実施形態に係るデータ出力部の構成を簡略に示した図であり、図６から図７は、本発明の一実施形態に係るイメージシグナルプロセッサのエンコーディングされたデータ出力のための信号波形を例示した図である。
【００５７】
図４に示されたように、撮像装置は、イメージセンサー１１０と、イメージシグナルプロセッサ４００と、バックエンドチップ４０５と、を含むことができる。その他に、撮像装置は、表示部１５０、メモリ、ベースバンドチップ１４０、及び、キー入力部などを更に含めることは自明であるが、本発明の要旨とは多少距離感があるので、これに対する説明は省略する。
【００５８】
イメージシグナルプロセッサ４００は、前処理部４１０と、ＪＰＥＧエンコーダ４２０と、データ出力部４３０と、を含む。もちろん、イメージシグナルプロセッサ４００は、内部動作のためのクロック発生器(Clock  Generator)を更に含むことができる。
【００５９】
前処理部４１０は、ＪＰＥＧエンコーダ４２０の処理のための前処理過程を行う。前処理部４１０は、各フレームに対して、イメージセンサー１１０から電気信号形態の原データ(raw  data)を各ライン別に入力されて処理した後、ＪＰＥＧエンコーダ４２０に伝達できる。
【００６０】
前処理過程には、カラーモデル変換(Color  Space  Transformation)、フィルタリング(Filtering)、ダウンサンプリング(Color  SubSampling)などが含まれることができる。
【００６１】
カラーモデル変換(Color  Space  Transformation)は、ＲＧＢカラーモデルをＹＵＶ(又は、ＹＩＱ)カラーモデルに変換し、これは、画質差に対する認識なく、情報の量を減らすことができるためである。
【００６２】
フィルタリング(Filtering)は、ローパスフィルタで映像を平滑化(smoothing)する過程であり、圧縮率を高めるためのものである。
【００６３】
ダウンサンプリング(Color  SubSampling)は、Ｙ値は全部使用し、他の値は、一部だけ使用し、残りは捨てる等の方法により、色差(Chrominance)信号成分をダウンサンプリングする過程である。
【００６４】
ＪＰＥＧエンコーダ４２０は、先に述べた方式と同様に前処理された原データ(raw  data)を圧縮処理して、ＪＰＥＧエンコーディングデータを生成する。
【００６５】
ＪＰＥＧエンコーダ４２０は、エンコーディング処理のために、予め指定されたブロック単位(例えば、８x８)で分割できるようにするために、前処理部４１０から入力される処理された原データを臨時に格納するための入力メモリを含むことができる。ＪＰＥＧエンコーダ４２０は、前処理部４１０とは異なり、予め指定されたブロック単位のデータが入力メモリに蓄積されるまでバッファーリング(buffering)を行うことができ、入力メモリに幾つかのラインが蓄積されているのか計数するためのカウンターを更に含むことができる。カウンターにより計数された値(L_count、以下、‘カウント値’と称する)は、データ出力部４３０に伝達され、垂直同期信号(Ｖ_ｓｙｎｃ)の出力時点を決定できるようにする。
【００６６】
また、ＪＰＥＧエンコーダ４２０は、ＪＰＥＧエンコーディングされたデータをデータ出力部４３０に出力する前に暫く格納する出力メモリを更に含むことができる。出力メモリは、例えば、ＦＩＦＯであることができる。すなわち、本発明に係るイメージシグナルプロセッサ４００は、従来のイメージシグナルプロセッサ１２０とは異なり、イメージデータのエンコーディングを更に行うことができる。
【００６７】
データ出力部４３０は、ＪＰＥＧエンコーダ４２０により生成されたＪＰＥＧエンコーディングされたデータを受信段(例えば、バックエンドチップ４０５、ベースバンドチップ１４０、カメラコントロールプロセッサー(ＣＣＰ)等-以下、バックエンドチップ４０５と称する)に伝達する。データ出力部４３０は、ＪＰＥＧエンコーダ４２０から入力されたデータを一定時間(例えば、２〜３クロック)遅延(delay)させて出力するようにするためのレジスタを含むことができる。
【００６８】
データ出力部４３０は、ＪＰＥＧエンコーダ４２０から入力されたＪＰＥＧエンコーディングされたデータをバックエンドチップ４０５に出力するにあたり、イメージセンサー１１０等から入力された垂直同期信号(Ｖ_ｓｙｎｃ)により、バックエンドチップ４０５に垂直同期信号(Ｖ_ｓｙｎｃ)を出力せず、ＪＰＥＧエンコーダ４２０が、エンコーディング作業を開始する準備がなされているか否かに従って、バックエンドチップ４０５に垂直同期信号を出力する。
【００６９】
すなわち、データ出力部４３０は、バックエンドチップ４０５に新たなフレームについてのデータが出力されることを通知するために、垂直同期信号を出力する前に、ＪＰＥＧエンコーダ４２０が、該当フレームに対するエンコーディング処理が用意されているかを判断する。
【００７０】
例えば、ＪＰＥＧエンコーダ４２０は、入力メモリに８ラインのデータ列が格納された時点で、８x８ブロック単位にエンコーディング作業を行うので、カウント値(L_count)を参照して、入力メモリに１〜８ライン(望ましくは、６〜７ライン)のデータ列が格納されていれば、エンコーディング作業の準備がなされていると判断できる。
【００７１】
これにより、データ出力部４３０は、垂直同期信号の出力後、短い時間内にエンコーディングされたデータ出力を開始することができ、出力されるエンコーディングされたデータのうち、有効データが出力される区間に、クロック信号(Ｐ_ＣＬＫ)及びハイ状態(又は、設計方法によって、ロー状態)の有効データイネーブル信号(Ｈ_ＲＥＦ)がバックエンドチップ４０５に出力されるように制御する。
【００７２】
但し、本明細書では、Ｈ_ＲＥＦ信号がハイ状態である場合、バックエンドチップ４０５が、ＪＰＥＧエンコーディングデータのうち、有効データが入力されると認識する場合を仮定して説明する。
【００７３】
バックエンドチップ４０５は、携帯用端末の全般的な動作制御を行うベースバンドチップ１４０から、例えば、写真をキャプチャーするとの命令を受信すると、イメージシグナルプロセッサ４００から入力された画質が改善されたＪＰＥＧエンコーディングされたデータを伝達されてメモリに格納しておき、デコーディングして表示部１５０にディスプレイしたり、ベースバンドチップ１４０が読み出して処理できるようにする。
【００７４】
図５に、データ出力部４３０の細部構成が示されている。図５を参照するに、データ出力部４３０は、ＡＮＤゲート５１０と、Ｖ_ｓｙｎｃ発生器(V_sync  generator)５２０と、Ｈ_ｓｙｎｃ発生器５３０と、伝送遅延部(Delay  unit)５４０と、伝送制御部５５０と、を含む。
【００７５】
ＡＮＤゲート５１０は、あらゆる入力に信号が入力される場合のみ、クロック信号(Ｐ_ＣＬＫ)をバックエンドチップ４０５に出力する。すなわち、イメージシグナルプロセッサ４００に備えられたクロック発生器(図示せず)からクロック信号を入力され、伝送制御部５５０からクロック制御信号を入力され、クロック制御信号がクロック信号出力を指示する場合のみ、クロック信号をバックエンドチップ４０５に出力する。クロック制御信号は、ハイ信号(High  Signal)又はロー信号(Low  Signal)形態であることができ、各々Ｐ_ＣＬＫイネーブル(enable)、又は、Ｐ_ＣＬＫディセーブル信号として認識されることができる。もちろん、逆の場合も可能である。図７に示されたように、クロック信号(Ｐ_ＣＬＫ)がバックエンドチップ４０５に出力される区間は、伝送遅延部５４０がＪＰＥＧエンコーディングされたデータのうち有効データを出力する区間と一致する。伝送制御部５５０は、現在出力されるエンコーディングされたデータが有効データなのか無効データなのか識別できるため、ＡＮＤゲート５１０の出力信号を制御できることは、当業者にとって自明である。
【００７６】
Ｖ_ｓｙｎｃ発生器５２０は、伝送制御部５５０の制御により有効区間を表示するための垂直同期信号(Ｖ_ｓｙｎｃ)を生成して出力する。Ｖ_ｓｙｎｃ発生器５２０は、伝送制御部５５０からＶ_ｓｙｎｃ信号の出力命令が入力されてからＶ_ｓｙｎｃ信号の出力終了命令が入力されるまで、ハイ(High)状態のＶ_ｓｙｎｃ信号を出力する。もちろん、設計方法によっては、この場合、ロー(Low)状態のＶ_ｓｙｎｃ信号が出力されてもよいことは自明である。これは、ハイ状態又はロー状態のＶ_ｓｙｎｃ信号の意味は、任意に定義できるためである。垂直同期信号が、各フレームの入力が開始されることを意味するというのは、当業者にとって自明である。
【００７７】
Ｈ_ｓｙｎｃ発生器５３０は、伝送制御部５５０の制御により(すなわち、有効データイネーブル信号(Ｈ_ＲＥＦ)の出力命令が入力され、Ｈ_ＲＥＦ信号の出力終了命令が入力されるまで)、ハイ(High)状態の有効データイネーブル(enable)信号(Ｈ_ＲＥＦ)を生成して出力する。有効データイネーブル信号のハイ区間(これは、設計方法によって、ロー区間であってもよいのは、先に述べた通りである)は、伝送遅延部５４０から、一つのフレームに対するＪＰＥＧエンコーディングされたデータのうち、有効データが出力される区間と一致する。伝送制御部５５０は、現在出力されるエンコーディングされたデータが有効データなのか無効データなのか識別できるため、Ｈ_ｓｙｎｃ発生器５３０の出力信号を制御できることは、当業者にとって自明である。
【００７８】
伝送遅延部５４０は、Ｈ_ＲＥＦ信号がハイ状態で出力される区間の間、ＪＰＥＧエンコーダ４２０から入力されるＪＰＥＧエンコーディングされたデータを順次出力する。伝送遅延部５４０は、例えば、ＪＰＥＧエンコーダ４２０から入力されたデータを一定時間(例えば、２〜３クロック)遅延(delay)させて出力するようにするためのレジスタを含むことができる。
【００７９】
伝送遅延部５４０に一時格納されたＪＰＥＧエンコーディングされたデータが有効データなのか否かは、伝送制御部５５０により判断でき、現在出力されるべきデータが有効データでない(例えば、０x００を含むデータ)場合、伝送制御部５５０は、クロック信号がバックエンドチップ４０５に出力されないようにＡＮＤゲート５１０を制御し、ロー状態のＨ_ＲＥＦ信号が出力されるようにＨ_ｓｙｎｃ発生器５３０を制御できる。
【００８０】
本明細書での無効データ(すなわち、有効でないデータ)は、ＪＰＥＧ標準などで言及している有効でないデータ(すなわち、実際的にイメージを構成しないデータ)を意味し、その例示として、０x００に表示されることができる。
【００８１】
無効データが出力される区間には、予め格納されたダミーデータ(すなわち、形式だけを合わせるための用途に過ぎないデータ)が出力されることもできる。ダミーデータの出力のために、伝送遅延部５４０の前段に多重化器(ＭＵＸ)が具備されてもよい。多重化器を介してＪＰＥＧエンコーディングされたデータ及びダミーデータが出力され、伝送遅延部５４０が、これを入力されて出力するようにすることもできる。この場合、伝送制御部５５０が、入力されたＪＰＥＧエンコーディングされたデータが無効データであると判断すると、多重化器にダミーデータ出力命令を入力することができる。多重化器は、予めレジスタに設定されたダミーデータが伝送遅延部５４０に入力され、バックエンドチップ４０５に出力されるようにすることができる。
【００８２】
伝送制御部５５０は、伝送遅延部５４０が、有効データの出力のためにＪＰＥＧエンコーダ５３０から順次入力され、出力前に暫く格納するＪＰＥＧエンコーディングされたデータのヘッダー(Header)とテール(Tail)とから、‘ＳＴＡＲＴ  ＭＡＲＫＥＲ’と‘ＳＴＯＰ  ＭＡＲＫＥＲ’とをキャプチャーして、ＪＰＥＧエンコーディングの始まりと終わりに対する情報を認識できる。すなわち、これにより、ＪＰＥＧエンコーダ４２０により、一つのフレームが全てエンコーディング及び/又は出力されているか否かを認識できる。
【００８３】
図６から図７に、各構成要素により出力される信号の波形が例示されている。図６には、イメージセンサー１１０と前処理部４１０とが各々出力する信号波形６１０、６２０が示されており、図７には、ＪＰＥＧエンコーダ４２０とデータ出力部４３０とが各々出力する信号波形６３０、６４０が示されている。図６及び図７には、各構成要素での遅延時間のみを表示するだけであり、各構成要素間で信号送受信のための遅延時間は、表示しない。
【００８４】
図６に示されたように、イメージセンサーは、Ｖ_ｓｙｎｃ信号１１０を出力した後、予め指定された遅延時間ｄ１後から電気信号(raw  data)の出力を開始する。
【００８５】
イメージセンサー１１０が出力した信号は、前処理部４１０に入力され、前処理部４１０は、フィルタリング(filtering)、インターポーレーション(interpolation)などの処理のために、遅延時間ｄ２の間、バッファーリング(buffering)及び/又は処理を行った後、処理されたデータをＪＰＥＧエンコーダ４２０に出力する。
【００８６】
ＪＰＥＧエンコーダ４２０は、予め指定されたブロック単位に処理するために、前処理部４１０から入力される処理されたデータを入力メモリに格納する。予め指定されたブロック単位の処理ができるように、データが入力メモリに格納されるまで、遅延時間ｄ３が必要となる。入力メモリに格納されるデータは、ライン単位に計数され、カウント値(L_count)が伝送制御部５５０にリアルタイムに入力される。
【００８７】
データ出力部４３０は、遅延時間ｄ３が満了する前(例えば、７ラインのデータが格納された時点)に、現在ＪＰＥＧエンコーダ４２０により処理されるフレームに対するＶ_ｓｙｎｃ信号をバックエンドチップ４０５に出力する。すなわち、図７に示されたように、該当フレームに対するＶ_ｓｙｎｃ信号の出力が遅れる。
【００８８】
次いで、データ出力部４３０は、ＪＰＥＧエンコーダ４２０から入力されるエンコーディングされたデータをレジスタに一時格納した後、順次出力する。レジスタにエンコーディングされたデータが記録され、出力される間に、遅延時間ｄ４だけ遅れることができる。
【００８９】
従来技術によれば、Ｖ_ｓｙｎｃ信号の出力後、遅延時間ｅ(ここで、ｅ＝ａ＋ｂ＋ｃ＋ｄ)が経過して初めて、エンコーディングされたデータが出力された。しかし、ｋ(自然数)番目のフレームに対するエンコーディングされたデータが出力される間に、ｋ＋１番目のフレームに対するＶ_ｓｙｎｃ信号が入力されると、ｋ＋１番目のフレームに対するＶ_ｓｙｎｃ信号の入力後には、ｋ番目のフレームに対するエンコーディングされたデータが正常に受信段に受信されないという問題点があった。
【００９０】
しかしながら、本発明に係るデータ出力部４３０は、上述した過程を経て、Ｖ_ｓｙｎｃ信号をバックエンドチップ４０５に出力した後、短い時間内に、エンコーディングされたデータの出力を開始することができ、ｋ番目のフレームを処理する間に、ｋ＋１番目のフレームに対するＶ_ｓｙｎｃ信号により正常なデータの送受信が妨げられるという問題点を解決できる。
【００９１】
この場合、データ出力部４３０は、出力されるエンコーディングされたデータが有効なデータである場合のみ、Ｈ_ＲＥＦ信号をハイ状態に維持することができ、また、該当区間のみ、クロック信号がバックエンドチップ４０５に出力されるようにすることができる。このように、有効でないエンコーディングデータ、又は、ダミーデータが出力される間には、バックエンドチップ４０５に出力されるべきクロック信号(Ｐ_ＣＬＫ)をオフ(図７に示されたＰ_ＣＬＫ信号の点線部分)させることで、バックエンドチップ４０５の無駄な動作を最小化させることができる。これにより、バックエンドチップ４０５の電力消耗を最小化することができる。
【００９２】
従来のバックエンドチップ４０５は、ＹＵＶ/ＢＡＹＥＲフォーマットのデータを入力されるように具現されており、このようなデータを入力されるためのインターフェースとして、Ｐ_ＣＬＫ、Ｖ_ｓｙｎｃ、Ｈ_ＲＥＦ、ＤＡＴＡ信号を用いていた。
【００９３】
これを考慮して、本発明のイメージシグナルプロセッサ４００は、従来と同様のインターフェースを用いるように具現される。
【００９４】
したがって、本発明は、バックエンドチップ４０５が、従来のバックエンドチップの設計方法により具現された場合にも互換(port  matching)できることは自明である。
【００９５】
例えば、一般的なバックエンドチップ４０５の動作が、Ｖ_ｓｙｎｃ信号のライジングエッジ(rising  edge)の割り込みから動作初期化されるとすると、本発明もまた、従来のインターフェース構造を同様に適用したので、既存のＶ_ｓｙｎｃ信号が出力される形態と同様に、該当信号をバックエンドチップ４０５に入力することで、各チップ間でインターフェーシングが可能である。
【００９６】
同様に、一般的なバックエンドチップ４０５が、Ｖ_ｓｙｎｃライジング(rising)割り込みを発生しなければならなく、また、イメージシグナルプロセッサ４００からデータを受ける際に、有効データイネーブル信号(Ｈ_ＲＥＦ)をメモリの記録イネーブル(write  enable)信号に用いることを考慮する場合、本発明に係る信号出力方式を用いることで、バックエンドチップ４０５の電力消耗も減らすことができる。
【００９７】
これまで、イメージシグナルプロセッサ４００が、ＪＰＥＧエンコーディング方式を用いる場合のみを中心として説明したが、ＢＭＰエンコーディング方式、ＭＰＥＧ(ＭＰＥＧ１/２/４、ＭＰＥＧ-４ＡＶＣ)エンコーディング方式、ＴＶアウト方式などのように、他のエンコーディング方式を支援する場合にも、同様のデータ伝送方式を利用できることは自明である。
【００９８】
図面と発明の詳細な説明は、単に本発明の例示的なものであり、これは、単に本発明を説明するための目的で使用されたものであって、意味限定や特許請求範囲上に記載された本発明の範囲を制限するために使用されたものではない。したがって、本技術分野の通常の知識を有する者ならば、これらから種々の変形及び均等な他の実施形態が可能であることを理解するはずである。よって、本発明の真の技術的保護範囲は、本願の特許請求範囲上の技術的思想により定められるべきである。
【図面の簡単な説明】
【００９９】
【図１】一般的な撮像装置の構成を簡略に示した図である。
【図２】一般的なＪＰＥＧエンコーディング過程を示した図である。
【図３】従来のイメージシグナルプロセッサ(ＩＳＰ、Image  Signal  Processor)が、エンコーディングされたデータを出力するための信号形態を示した図である。
【図４】本発明の一実施形態に係る撮像装置の構成を簡略に示した図である。
【図５】本発明の一実施形態に係るデータ出力部の構成を簡略に示した図である。
【図６】本発明の一実施形態に係るイメージシグナルプロセッサのエンコーディングされたデータ出力のための信号波形を例示した図である。
【図７】本発明の一実施形態に係るイメージシグナルプロセッサのエンコーディングされたデータ出力のための信号波形を例示した図である。
【符号の説明】
【０１００】
１１０  イメージセンサー
１２０  イメージシグナルプロセッサ
１３０  バックエンドチップ
１４０  ベースバンドチップ
１５０  表示部
４００  イメージシグナルプロセッサ
４０５  バックエンドチップ
４１０  前処理部
４２０  ＪＰＥＧエンコーダ
４３０  データ出力部
５１０  ＡＮＤゲート
５２０  Ｖ_ｓｙｎｃ発生器
５３０  Ｈ_ｓｙｎｃ発生器
５４０  伝送遅延部
５５０  伝送制御部
【図１】
2009515412.tif 000003
【図２】
2009515412.tif 000004
【図３】
2009515412.tif 000005
【図４】
2009515412.tif 000006
【図５】
2009515412.tif 000007
【図６】
2009515412.tif 000008
【図７】
2009515412.tif 000009
【国際調査報告】
2009515412.tif 000010
2009515412.tif 000011