(57)【要約】【課題】画像データを効率的に伝送することができるようにする。【解決手段】イメージセンサ１のインタフェース部１２には、撮像処理部１１により撮像された画像を構成する画素データの誤り訂正符号化を行うECC処理部２２が設けられる。一方、画像処理LSI２のインタフェース部３２には、イメージセンサ１から送信されてきた符号化データに基づいて誤り訂正復号を行い、画素データのエラーを訂正するECC処理部４５が設けられる。イメージセンサ１と画像処理LSI２からなる伝送システムにおいては、インタフェース部のリンク層にECC処理を行う回路が設けられ、物理層で生じた伝送誤りをリンク層において訂正するようになされている。本発明は、イメージセンサと画像処理LSIを有する撮像装置に適用することができる。【選択図】図１
2012105188.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段による撮像によって得られた画像を構成する画素データを情報語として誤り訂正符号を計算する誤り訂正符号計算手段と、
前記画素データに前記誤り訂正符号を付加して得られた符号語のデータである符号化データを、同じ機器内にある画像処理装置に出力する出力手段と
を備える画像出力装置。
【請求項２】
複数の前記符号化データを、前記画像出力装置と前記画像処理装置の間の複数の伝送路に割り当てる分割手段をさらに備え、
前記伝送路の数と同じ数だけ設けられる前記出力手段は、それぞれ、前記分割手段により前記伝送路に割り当てられた前記符号化データを出力する
請求項１に記載の画像出力装置。
【請求項３】
前記分割手段は、同じ符号語を構成する前記符号化データを異なる前記伝送路に割り当てる
請求項２に記載の画像出力装置。
【請求項４】
前記符号語の符号化率を設定する制御手段をさらに備え、
前記誤り訂正符号計算手段は、前記制御手段により設定された符号化率に従って前記誤り訂正符号の計算を行う
請求項１に記載の画像出力装置。
【請求項５】
撮像し、
撮像によって得られた画像を構成する画素データを情報語として誤り訂正符号を計算し、
前記画素データに前記誤り訂正符号を付加して得られた符号語のデータである符号化データを、同じ機器内にある画像処理装置に出力する
ステップを含む画像出力方法。
【請求項６】
撮像し、
撮像によって得られた画像を構成する画素データを情報語として誤り訂正符号を計算し、
前記画素データに前記誤り訂正符号を付加して得られた符号語のデータである符号化データを、同じ機器内にある画像処理装置に出力する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項７】
同じ機器内に設けられる画像出力装置において生成され、前記画像出力装置から出力された、前記画像出力装置の撮像手段による撮影によって得られた画像を構成する画素データを情報語として計算された誤り訂正符号を前記画素データに付加して得られた符号語のデータである符号化データを受信する受信手段と、
前記符号化データに含まれる前記誤り訂正符号に基づいて前記画素データの誤り訂正を行う誤り訂正手段と、
前記誤り訂正後の前記画素データから構成される前記画像を処理する画像処理手段と
を備える画像処理装置。
【請求項８】
前記受信手段は、前記画像出力装置と前記画像処理装置の間の複数の伝送路と同じ数だけ設けられ、
複数の前記受信手段により受信された複数の前記符号化データを取得し、それぞれの前記符号化データを、前記画像出力装置における複数の前記伝送路に対する割り当て順と逆順で出力する結合手段をさらに備え、
前記誤り訂正手段は、前記結合手段から出力された順に、前記符号化データを用いて前記誤り訂正を行う
請求項７に記載の画像処理装置。
【請求項９】
前記符号語の符号化率を設定する制御手段をさらに備え、
前記誤り訂正手段は、前記制御手段により設定された符号化率に従って前記誤り訂正を行う
請求項７に記載の画像処理装置。
【請求項１０】
同じ機器内に設けられる画像出力装置において生成され、前記画像出力装置から出力された、前記画像出力装置の撮像手段による撮影によって得られた画像を構成する画素データを情報語として計算された誤り訂正符号を前記画素データに付加して得られた符号語のデータである符号化データを受信し、
前記符号化データに含まれる前記誤り訂正符号に基づいて前記画素データの誤り訂正を行い、
前記誤り訂正後の前記画素データから構成される前記画像を処理する
ステップを含む画像処理方法。
【請求項１１】
同じ機器内に設けられる画像出力装置において生成され、前記画像出力装置から出力された、前記画像出力装置の撮像手段による撮影によって得られた画像を構成する画素データを情報語として計算された誤り訂正符号を前記画素データに付加して得られた符号語のデータである符号化データを受信し、
前記符号化データに含まれる前記誤り訂正符号に基づいて前記画素データの誤り訂正を行い、
前記誤り訂正後の前記画素データから構成される前記画像を処理する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１２】
画像出力装置と画像処理装置とを含む撮像装置であって、
前記画像出力装置は、
撮像手段と、
前記撮像手段による撮像によって得られた画像を構成する画素データを情報語として誤り訂正符号を計算する誤り訂正符号計算手段と、
前記画素データに前記誤り訂正符号を付加して得られた符号語のデータである符号化データを前記画像処理装置に出力する出力手段と
を備え、
前記画像処理装置は、
前記符号化データを受信する受信手段と、
前記符号化データに含まれる前記誤り訂正符号に基づいて前記画素データの誤り訂正を行う誤り訂正手段と、
前記誤り訂正後の前記画素データから構成される前記画像を処理する画像処理手段と
を備える
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像出力装置、画像出力方法、画像処理装置、画像処理方法、プログラム、および撮像装置に関し、特に、画像データを効率的に伝送することができるようにした画像出力装置、画像出力方法、画像処理装置、画像処理方法、プログラム、および撮像装置に関する。
【背景技術】
【０００２】
イメージセンサの高画質化、高フレームレート化に伴い、イメージセンサと、イメージセンサにより撮像された画像を処理する画像処理LSIとの間のインタフェースに求められるデータの伝送容量が高まってきている。
【０００３】
このような要求に応えるため、インタフェースのクロック周波数の向上、信号の低電圧化などの手法が採用されているが、この手法によれば、画像処理LSI側でのサンプリングタイミングの生成の難易度が高くなり、データを正しく伝送することが難しくなる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１１４７６２号公報
【非特許文献】
【０００５】
【非特許文献１】MIPI Alliance Standard for Camera Serial Interface2 (CSI-2)
【非特許文献２】地上デジタルテレビジョン放送の伝送方式，＜http://www.arib.or.jp/english/html/overview/doc/2-STD-B31v1_9.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、チップ間の伝送容量を高めるための規格としては、PCI-ExpressやSerial ATA等の規格がある。PCI-ExpressやSerial ATAにおいては、CDR(Clock Data Recovery)回路やイコライザの高性能化によって高い伝送容量が実現されている。また、携帯電話機向けのチップ間インタフェースとしてMIPI(Mobile Industry Processor Interface)規格がある。
【０００７】
これらの規格は、CPU(Central Processing Unit)間のインタフェースなど、より汎用的なインタフェース規格として作られていることもあって、イメージセンサ−画像処理LSI間のインタフェースとしては冗長な機能が多い。仮に、イメージセンサ−画像処理LSI間のインタフェースにこれらの規格を採用するとした場合、イメージセンサ−画像処理LSI間のインタフェースとしては不要な機能をも実装する必要があり、回路面積、消費電力、実装コストが増加してしまう。
【０００８】
特に、伝送エラー対策用の回路を実装することの影響が大きい。MIPI等の規格では、受信側のチップが送信側のチップにデータの再送を要求することによって伝送エラーの対策が行われているが、撮像特性を重視するために先端／微細トランジスタを通常用いることのないデバイスであるイメージセンサにとっては回路面積等の増大になってしまう。
【０００９】
また、伝送エラーが生じた場合にデータの再送によってそれをカバーするものとすると、リアルタイム性が損なわれるため、高フレームレートの画像データを伝送することが困難になる。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、例えばイメージセンサ−画像処理LSI間において、画像データを効率的に伝送することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の第１の側面の画像出力装置は、撮像手段と、前記撮像手段による撮像によって得られた画像を構成する画素データを情報語として誤り訂正符号を計算する誤り訂正符号計算手段と、前記画素データに前記誤り訂正符号を付加して得られた符号語のデータである符号化データを、同じ機器内にある画像処理装置に出力する出力手段とを備える。
【００１２】
複数の前記符号化データを、前記画像出力装置と前記画像処理装置の間の複数の伝送路に割り当てる分割手段をさらに設けることができる。この場合、前記伝送路の数と同じ数だけ設けられる前記出力手段には、それぞれ、前記分割手段により前記伝送路に割り当てられた前記符号化データを出力させることができる。
【００１３】
前記分割手段には、同じ符号語を構成する前記符号化データを異なる前記伝送路に割り当てさせることができる。
【００１４】
前記符号語の符号化率を設定する制御手段をさらに設けることができる。この場合、前記誤り訂正符号計算手段には、前記制御手段により設定された符号化率に従って前記誤り訂正符号の計算を行わせることができる。
【００１５】
本発明の第１の側面の画像出力方法は、撮像し、撮像によって得られた画像を構成する画素データを情報語として誤り訂正符号を計算し、前記画素データに前記誤り訂正符号を付加して得られた符号語のデータである符号化データを、同じ機器内にある画像処理装置に出力するステップを含む。
【００１６】
本発明の第１の側面のプログラムは、撮像し、撮像によって得られた画像を構成する画素データを情報語として誤り訂正符号を計算し、前記画素データに前記誤り訂正符号を付加して得られた符号語のデータである符号化データを、同じ機器内にある画像処理装置に出力するステップを含む処理をコンピュータに実行させる。
【００１７】
本発明の第２の側面の画像処理装置は、同じ機器内に設けられる画像出力装置において生成され、前記画像出力装置から出力された、前記画像出力装置の撮像手段による撮影によって得られた画像を構成する画素データを情報語として計算された誤り訂正符号を前記画素データに付加して得られた符号語のデータである符号化データを受信する受信手段と、前記符号化データに含まれる前記誤り訂正符号に基づいて前記画素データの誤り訂正を行う誤り訂正手段と、前記誤り訂正後の前記画素データから構成される前記画像を処理する画像処理手段とを備える。
【００１８】
前記受信手段を、前記画像出力装置と前記画像処理装置の間の複数の伝送路と同じ数だけ設け、複数の前記受信手段により受信された複数の前記符号化データを取得し、それぞれの前記符号化データを、前記画像出力装置における複数の前記伝送路に対する割り当て順と逆順で出力する結合手段をさらに設けることができる。この場合、前記誤り訂正手段には、前記結合手段から出力された順に、前記符号化データを用いて前記誤り訂正を行わせることができる。
【００１９】
前記符号語の符号化率を設定する制御手段をさらに設けることができる。この場合、前記誤り訂正手段には、前記制御手段により設定された符号化率に従って前記誤り訂正を行わせることができる。
【００２０】
本発明の第２の側面の画像処理方法は、同じ機器内に設けられる画像出力装置において生成され、前記画像出力装置から出力された、前記画像出力装置の撮像手段による撮影によって得られた画像を構成する画素データを情報語として計算された誤り訂正符号を前記画素データに付加して得られた符号語のデータである符号化データを受信し、前記符号化データに含まれる前記誤り訂正符号に基づいて前記画素データの誤り訂正を行い、前記誤り訂正後の前記画素データから構成される前記画像を処理するステップを含む。
【００２１】
本発明の第２の側面のプログラムは、同じ機器内に設けられる画像出力装置において生成され、前記画像出力装置から出力された、前記画像出力装置の撮像手段による撮影によって得られた画像を構成する画素データを情報語として計算された誤り訂正符号を前記画素データに付加して得られた符号語のデータである符号化データを受信し、前記符号化データに含まれる前記誤り訂正符号に基づいて前記画素データの誤り訂正を行い、前記誤り訂正後の前記画素データから構成される前記画像を処理するステップを含む処理をコンピュータに実行させる。
【００２２】
本発明の第３の側面の撮像装置は、画像出力装置と画像処理装置とを含む撮像装置であって、前記画像出力装置は、撮像手段と、前記撮像手段による撮像によって得られた画像を構成する画素データを情報語として誤り訂正符号を計算する誤り訂正符号計算手段と、前記画素データに前記誤り訂正符号を付加して得られた符号語のデータである符号化データを前記画像処理装置に出力する出力手段とを備え、前記画像処理装置は、前記符号化データを受信する受信手段と、前記符号化データに含まれる前記誤り訂正符号に基づいて前記画素データの誤り訂正を行う誤り訂正手段と、前記誤り訂正後の前記画素データから構成される前記画像を処理する画像処理手段とを備える。
【００２３】
本発明の第１の側面においては、撮像され、撮像によって得られた画像を構成する画素データを情報語として誤り訂正符号が計算され、前記画素データに前記誤り訂正符号を付加して得られた符号語のデータである符号化データが、同じ機器内にある画像処理装置に出力される。
【００２４】
本発明の第２の側面においては、同じ機器内に設けられる画像出力装置において生成され、前記画像出力装置から出力された、前記画像出力装置の撮像手段による撮影によって得られた画像を構成する画素データを情報語として計算された誤り訂正符号を前記画素データに付加して得られた符号語のデータである符号化データが受信され、前記符号化データに含まれる前記誤り訂正符号に基づいて前記画素データの誤り訂正が行われ、前記誤り訂正後の前記画素データから構成される前記画像が処理される。
【００２５】
本発明の第３の側面においては、画像出力装置により、撮像され、撮像によって得られた画像を構成する画素データを情報語として誤り訂正符号が計算され、前記画素データに前記誤り訂正符号を付加して得られた符号語のデータである符号化データが画像処理装置に出力される。また、前記画像処理装置により、前記符号化データが受信され、前記符号化データに含まれる前記誤り訂正符号に基づいて前記画素データの誤り訂正が行われ、前記誤り訂正後の前記画素データから構成される前記画像が処理される。
【発明の効果】
【００２６】
本発明によれば、画像データを効率的に伝送することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態に係る伝送システムの第１の構成例を示す図である。
【図２】Byte Packing処理の例を示す図である。
【図３】誤り訂正符号化の例を示す図である。
【図４】図１のイメージセンサの送信処理について説明するフローチャートである。
【図５】図１の画像処理LSIの受信処理について説明するフローチャートである。
【図６】ECC処理部が設けられていないイメージセンサと画像処理LSIの構成を示す図である。
【図７】伝送システムの第２の構成例を示す図である。
【図８】レーン分割の例を示す図である。
【図９】レーン結合の例を示す図である。
【図１０】図７のイメージセンサの送信処理について説明するフローチャートである。
【図１１】図７の画像処理LSIの受信処理について説明するフローチャートである。
【図１２】イメージセンサと画像処理LSIの他の構成を示す図である。
【図１３】伝送システムの第３の構成例を示す図である。
【図１４】パリティ長と符号化パラメータの関係を示す図である。
【図１５】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２８】
＜第１の実施の形態＞
［イメージセンサ１と画像処理LSI２の構成］
図１は、本発明の一実施形態に係る伝送システムの第１の構成例を示す図である。
【００２９】
図１の伝送システムは、イメージセンサ１と画像処理LSI(Large Scale Integrated Circuit)２から構成される。イメージセンサ１と画像処理LSI２はそれぞれ異なるLSIにより構成され、デジタルカメラや携帯電話機などの、撮像機能を有する同じ撮像装置内に設けられる。
【００３０】
図１の例においては、イメージセンサ１と画像処理LSI２は１本の伝送路を介して接続されている。イメージセンサ１と画像処理LSI２の間の伝送路は有線の伝送路であってもよいし、無線の伝送路であってもよい。以下、適宜、イメージセンサ１と画像処理LSI２の間の伝送路をレーン（Lane）という。
【００３１】
イメージセンサ１は、撮像処理部１１とインタフェース部１２から構成される。
【００３２】
撮像処理部１１は、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子よりなり、レンズを介して受光した光の光電変換を行う。また、撮像処理部１１は、光電変換によって得られた信号のA/D変換などを行い、１フレームの画像を構成する画素データを、１画素のデータずつ順にインタフェース部１２に出力する。
【００３３】
インタフェース部１２は、リンク層１２Ａの構成と物理層１２Ｂの構成からなる。インタフェース部１２には、リンク層１２Ａの構成としてByte Packing処理部２１とECC(Error Correcting Code)処理部２２が設けられる。また、物理層の構成として8B/10B変換部２３とParallel to Serial変換部２４が設けられる。
【００３４】
Byte Packing処理部２１は、アプリケーション層の構成である撮像処理部１１から供給された画素データを取得し、取得した画素データにByte Packing処理を施す。Byte Packing処理は、各画素のデータを１バイト単位のデータに変換する処理である。
【００３５】
図２は、Byte Packing処理の例を示す図である。
【００３６】
図２の上段に示す１２ビット単位の２つのデータは、それぞれ、撮像処理部１１により撮像された画像の１画素の画素データである。図２の例においては、撮像処理部１１により撮像された画像の各画素の画素値（RGB）が、１２ビットで表されるものとされている。
【００３７】
Byte Packing処理部２１においては、１２ビット単位のデータを対象としてByte Packing処理が行われることによって、白抜き矢印の先に示すように８ビット単位の３つのデータが生成される。
【００３８】
撮像処理部１１により撮像された画像の各画素の画素値は１２ビット以外のビット数で表されることがある。Byte Packing処理部２１においては、各画素の画素値がどのようなビット数で表される場合であっても後段の処理部において同じ処理を行うことができるように、画素データを８ビット単位のデータに区切り直す処理が行われる。Byte Packing処理部２１は、Byte Packing処理によって得られた１バイト（８ビット）単位の画素データをECC処理部２２に出力する。
【００３９】
ECC処理部２２は、Byte Packing処理部２１から供給された８ビット単位の画素データに基づいて、画素データの誤り訂正に用いられる誤り訂正符号を計算する。また、ECC処理部２２は、計算により求めた誤り訂正符号であるパリティを画素データに付加することによって誤り訂正符号化を行う。誤り訂正符号として例えばReed Solomon符号が用いられる。
【００４０】
図３は、ECC処理部２２による誤り訂正符号化の例を示す図である。
【００４１】
ECC処理部２２は、所定の数の８ビット単位の画素データを情報語として生成多項式に適用し、パリティの計算を行う。例えば、ECC処理部２２により求められるパリティも８ビット単位のデータとされる。ECC処理部２２は、白抜き矢印の先に示すように、計算により求めたパリティを情報語に付加し、符号語を生成する。ECC処理部２２は、生成した符号語のデータである符号化データを8B/10B変換部２３に出力する。
【００４２】
8B/10B変換部２３は、ECC処理部２２から供給された符号化データに8B/10B変換を施し、１０ビット単位のデータに変換した符号化データをParallel to Serial変換部２４に出力する。
【００４３】
Parallel to Serial変換部２４は、8B/10B変換部２３から供給された符号化データにParallel to Serial変換を施し、シリアルの符号化データを伝送路を介して画像処理LSI２に送信する。
【００４４】
画像処理LSI２は、画像処理部３１とインタフェース部３２から構成される。
【００４５】
インタフェース部３２も、イメージセンサ１のインタフェース部１２と同様に、リンク層３２Ａの構成と物理層３２Ｂの構成からなる。インタフェース部３２には、物理層３２Ｂの構成としてCDR(Clock Data Recovery)４１、サンプリング部４２、Serial to Parallel変換部４３、および10B/8B変換部４４が設けられる。また、リンク層３２Ａの構成としてECC処理部４５とByte Unpacking処理部４６が設けられる。イメージセンサ１のParallel to Serial変換部２４から出力された符号化データを表す信号はCDR４１とサンプリング部４２に入力される。
【００４６】
CDR４１は、入力信号のエッジを検出することによってビット同期をとり、エッジの検出周期に基づいてクロック信号を生成する。CDR４１は、生成したクロック信号をサンプリング部４２に出力する。
【００４７】
サンプリング部４２は、CDR４１により生成されたクロック信号に従って、入力信号のサンプリングを行い、サンプリングによって得られた符号化データをSerial to Parallel変換部４３に出力する。
【００４８】
Serial to Parallel変換部４３は、サンプリング部４２から供給された符号化データにSerial to Parallel変換を施し、１０ビット単位の符号化データを10B/8B変換部４４に出力する。
【００４９】
10B/8B変換部４４は、Serial to Parallel変換部４３から供給された１０ビット単位の符号化データに10B/8B変換を施し、８ビット単位の符号化データをECC処理部４５に出力する。
【００５０】
ECC処理部４５は、10B/8B変換部４４から供給された符号化データに含まれるパリティに基づいて誤り訂正演算を行うことによって画素データのエラーを検出し、検出したエラーの訂正を行う。ECC処理部４５は、各符号語を対象として誤り訂正復号を行い、誤り訂正後の画素データをByte Unpacking処理部４６に出力する。
【００５１】
Byte Unpacking処理部４６は、ECC処理部４５から供給された８ビット単位の画素データにByte Unpacking処理を施す。Byte Unpacking処理は、８ビット単位の画素データを、撮像処理部１１により撮像された画像の各画素の画素値を表すビット数と同じビット数で画素値が表される画素データに変換する処理である。
【００５２】
すなわち、Byte Unpacking処理部４６においては、図２を参照して説明した処理と逆の処理が行われることによって、８ビット単位の画素データが、１０ビット、１２ビットなどの、所定の数のビットで画素値が表される画素データに変換される。Byte Unpacking処理部４６は、Byte Unpacking処理によって得られた画素データを、アプリケーション層の構成である画像処理部３１に出力する。
【００５３】
画像処理部３１は、Byte Unpacking処理部４６から供給された画素データに基づいて１フレームの画像を生成し、生成した画像を用いて各種の画像処理を行う。イメージセンサ１から出力される画素データはRAW画像のデータであり、画像処理部３１においては、画像データの圧縮、画像の表示、記録媒体に対する画像データの記録などの各種の処理が行われる。
【００５４】
［イメージセンサ１と画像処理LSI２の動作］
ここで、図１の構成を有するイメージセンサ１と画像処理LSI２の一連の処理について説明する。
【００５５】
はじめに、図４のフローチャートを参照してイメージセンサ１の送信処理について説明する。図４の処理は、例えば、イメージセンサ１と画像処理LSI２を有する撮像装置に設けられたシャッタボタンが押されるなどして撮像の開始が指示されたときに開始される。
【００５６】
ステップＳ１において、撮像処理部１１は撮像を行う。撮像処理部１１は、撮像を行うことによって得られた１フレームの画像を構成する画素データを、１画素のデータずつ順に出力する。
【００５７】
ステップＳ２において、Byte Packing処理部２１は、撮像処理部１１から供給された画素データを取得し、Byte Packing処理を行う。
【００５８】
ステップＳ３において、ECC処理部２２は、Byte Packing処理によって得られた８ビット単位の画素データに基づいてパリティを計算し、画素データに付加することによって誤り訂正符号化を行う。
【００５９】
ステップＳ４において、8B/10B変換部２３は、誤り訂正符号化によって得られた符号化データに8B/10B変換を施す。
【００６０】
ステップＳ５において、Parallel to Serial変換部２４は、8B/10B変換後の符号化データにParallel to Serial変換を施す。
【００６１】
ステップＳ６において、Parallel to Serial変換部２４は、Parallel to Serial変換によって得られたシリアルの符号化データを伝送路を介して画像処理LSI２に送信する。ステップＳ２乃至Ｓ６の処理は、１フレームの画像を構成する全ての画素を対象として繰り返し行われ、１フレームの画像を構成する全ての画素のデータの送信が終了したとき、終了する。
【００６２】
次に、図５のフローチャートを参照して画像処理LSI２の受信処理について説明する。
【００６３】
ステップＳ１１において、CDR４１は、イメージセンサ１から送信されてきた信号を受信し、クロック信号を生成する。
【００６４】
ステップＳ１２において、サンプリング部４２は、CDR４１により生成されたクロック信号に従ってサンプリングを行う。
【００６５】
ステップＳ１３において、Serial to Parallel変換部４３は、サンプリングにより得られた符号化データにSerial to Parallel変換を施す。
【００６６】
ステップＳ１４において、10B/8B変換部４４は、Serial to Parallel変換によって得られた１０ビット単位の符号化データに10B/8B変換を施す。
【００６７】
ステップＳ１５において、ECC処理部４５は、８ビット単位の符号化データに基づいて誤り訂正復号を行い、画素データのエラーを訂正する。
【００６８】
ステップＳ１６において、Byte Unpacking処理部４６は、誤り訂正後の８ビット単位の画素データにByte Unpacking処理を施す。ステップＳ１１乃至Ｓ１６の処理は、１フレームの画像を構成する全ての画素データに基づいてイメージセンサ１において生成された符号化データを対象として繰り返し行われる。
【００６９】
１フレームの画像を構成する全ての画素データに基づいて生成された符号化データの処理が終了したとき、ステップＳ１７において、画像処理部３１は、Byte Unpacking処理部４６から供給された画素データに基づいて１フレームの画像を生成する。画像処理部３１は、生成した画像を用いて画像処理を行い、画像処理が終了したとき、処理を終了する。
【００７０】
以上のように、イメージセンサ１と画像処理LSI２からなる伝送システムにおいては、インタフェース部のリンク層にECC処理を行う回路が設けられ、物理層で生じた伝送誤りをリンク層において訂正するようになされている。これにより、画素データのエラーが生じた場合に画素データの再送をイメージセンサ１に対して要求する必要がないため、エラー対策を確保しつつ、データ伝送のリアルタイム性を実現することができる。また、再送要求用の伝送路を設ける必要がないため、回路構成の簡易化、コストの削減を図ることができる。
【００７１】
図６に、ECC処理部が設けられていないイメージセンサ１と画像処理LSI２の構成を示す。この場合、伝送エラーが生じたときには画像処理LSI２がイメージセンサ１に対してデータの再送を要求する必要があるため、リアルタイム性を確保できず、また、回路構成も複雑になってしまう。
【００７２】
＜第２の実施の形態＞
［イメージセンサ１と画像処理LSI２の構成］
図７は、伝送システムの第２の構成例を示す図である。
【００７３】
図７に示す構成のうち、図１に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００７４】
図７の伝送システムにおいては、イメージセンサ１と画像処理LSI２が、Lane＃０〜＃３の４本のレーンを介して接続されている。アプリケーション層に近い方を上位、物理層に近い方を下位とすると、インタフェース部１２のリンク層１２Ａには、ECC処理部２２より下位の位置にレーン分割部５１が設けられる。物理層１２Ｂには、Lane＃０〜＃３に対応して、8B/10B変換部とParallel to Serial変換部が４つずつ設けられる。
【００７５】
また、画像処理LSI２の物理層３２Ｂには、Lane＃０〜＃３に対応して、CDR、サンプリング部、Serial to Parallel変換部、および10B/8B変換部が４つずつ設けられる。また、リンク層３２Ａには、ECC処理部４５より下位の位置にレーン結合部６１が設けられる。
【００７６】
インタフェース部１２のECC処理部２２は、所定の数のバイト単位の画素データを情報語として生成多項式に適用し、パリティの計算を行う。ECC処理部２２は、計算により求めたパリティを情報語としての画素データに付加することによって符号化データを生成し、レーン分割部５１に出力する。
【００７７】
レーン分割部５１は、ECC処理部２２から供給された８ビット単位の画素データとパリティからなる符号化データを、先頭のデータから順にLane＃０〜＃３の各レーンに割り当てることによってレーン分割を行う。レーン分割部５１は、ある符号化データをLane＃３に割り当てたとき、それ以降の符号化データをLane＃０以降の各レーンに順に割り当てるようにしてレーン分割を行う。
【００７８】
図８は、レーン分割の例を示す図である。
【００７９】
数字を付して示す各ブロックは８ビット単位の画素データまたはパリティを表す。ブロック１〜４、ブロック５〜８、ブロック９〜１２のそれぞれの３２ビットのデータから１符号語が構成され、ブロック１〜１２の符号化データが順に供給された場合について説明する。
【００８０】
この場合、レーン分割部５１は、同じ符号語を構成する符号化データが同じレーンを使って伝送されないように、ECC処理部２２から供給された符号化データをLane＃０〜＃３に割り当てる。図８の例においては、同じ符号語を構成するブロック１〜４の符号化データが順にLane＃０〜＃３に割り当てられ、同様に、同じ符号語を構成するブロック５〜８の符号化データが順にLane＃０〜＃３に割り当てられている。また、同じ符号語を構成するブロック９〜１２の符号化データが順にLane＃０〜＃３に割り当てられている。
【００８１】
Lane＃０に割り当てられたブロック１，５，９の符号化データは、その順番で8B/10B変換部２３−０に供給され、Lane＃１に割り当てられたブロック２，６，１０の符号化データは、その順番で8B/10B変換部２３−１に供給される。Lane＃２に割り当てられたブロック３，７，１１の符号化データは、その順番で8B/10B変換部２３−２に供給され、Lane＃３に割り当てられたブロック４，８，１２の符号化データは、その順番で8B/10B変換部２３−３に供給される。
【００８２】
8B/10B変換部２３−０は、レーン分割部５１から供給された符号化データに8B/10B変換を施し、１０ビット単位の符号化データをParallel to Serial変換部２４−０に出力する。
【００８３】
Parallel to Serial変換部２４−０は、8B/10B変換部２３−０から供給された符号化データにParallel to Serial変換を施し、シリアルの符号化データをLane＃０を介して画像処理LSI２に送信する。
【００８４】
8B/10B変換部２３−１乃至２３−３も同様に、それぞれ、レーン分割部５１から供給された符号化データに8B/10B変換を施す。8B/10B変換部２３−１乃至２３−３は、それぞれ、１０ビット単位の符号化データをParallel to Serial変換部２４−１乃至２４−３に出力する。
【００８５】
Parallel to Serial変換部２４−１乃至２４−３は、それぞれ、8B/10B変換部２３−１乃至２３−３から供給された符号化データにParallel to Serial変換を施す。Parallel to Serial変換部２４−１乃至２４−３は、それぞれ、シリアルの符号化データをLane＃１〜＃３を介して画像処理LSI２に送信する。
【００８６】
Parallel to Serial変換部２４−０から出力された符号化データを表す信号はCDR４１−０とサンプリング部４２−０に入力される。また、Parallel to Serial変換部２４−１から出力された符号化データを表す信号はCDR４１−１とサンプリング部４２−１に入力される。Parallel to Serial変換部２４−２から出力された符号化データを表す信号はCDR４１−２とサンプリング部４２−２に入力される。Parallel to Serial変換部２４−３から出力された符号化データを表す信号はCDR４１−３とサンプリング部４２−３に入力される。
【００８７】
CDR４１−０は、入力信号のエッジを検出することによってビット同期をとり、クロック信号を生成する。CDR４１−０は、生成したクロック信号をサンプリング部４２−０に出力する。
【００８８】
サンプリング部４２−０は、CDR４１−０により生成されたクロック信号に従って、入力信号のサンプリングを行い、サンプリングによって得られた符号化データをSerial to Parallel変換部４３−０に出力する。
【００８９】
Serial to Parallel変換部４３−０は、サンプリング部４２−０から供給された符号化データにSerial to Parallel変換を施し、１０ビット単位の符号化データを10B/8B変換部４４−０に出力する。
【００９０】
10B/8B変換部４４−０は、Serial to Parallel変換部４３−０から供給された１０ビット単位の符号化データに10B/8B変換を施し、８ビット単位の符号化データをレーン結合部６１に出力する。
【００９１】
CDR４１−１乃至４１−３も同様に、それぞれ、入力された信号のエッジを検出することによってクロック信号を生成し、サンプリング部４２−１乃至４２−３に出力する。
【００９２】
サンプリング部４２−１乃至４２−３は、それぞれ、CDR４１−１乃至４１−３により生成されたクロック信号に従って、入力信号のサンプリングを行う。サンプリング部４２−１乃至４２−３は、それぞれ、サンプリングによって得られた符号化データをSerial to Parallel変換部４３−１乃至４３−３に出力する。
【００９３】
Serial to Parallel変換部４３−１乃至４３−４は、それぞれ、サンプリング部４２−１乃至４２−３から供給された符号化データにSerial to Parallel変換を施す。サンプリング部４２−１乃至４２−３は、それぞれ、１０ビット単位の符号化データを10B/8B変換部４４−１乃至４４−３に出力する。
【００９４】
10B/8B変換部４４−１乃至４４−３は、それぞれ、Serial to Parallel変換部４３−１乃至４３−３から供給された１０ビット単位の符号化データに10B/8B変換を施す。10B/8B変換部４４−１乃至４４−３は、それぞれ、８ビット単位の符号化データをレーン結合部６１に出力する。
【００９５】
レーン結合部６１は、10B/8B変換部４４−０乃至４４−３から供給された符号化データを、イメージセンサ１のレーン分割部５１による各レーンへの割り当て順と逆順で並び替えることによってレーン結合（統合）を行う。
【００９６】
図９は、レーン結合の例を示す図である。
【００９７】
ブロック１〜１２の符号化データのレーン分割が図８を参照して説明したようにして行われているものとする。この場合、レーン結合部６１においては、レーン分割時の各レーンへの割り当て順と逆順で符号化データが並び替えられ、図９の白抜き矢印の先に示すような、ECC処理部２２からの出力順と同じ並びの符号化データが生成される。レーン結合部６１は、並び替えを行うことによって生成したブロック１〜１２の符号化データを順にECC処理部４５に出力する。
【００９８】
ECC処理部４５は、レーン結合部６１から供給された符号化データに含まれるパリティに基づいて誤り訂正演算を行うことによって画素データのエラーを検出し、検出したエラーの訂正を行う。ECC処理部４５は、各符号語を対象として誤り訂正を行い、誤り訂正後の画素データをByte Unpacking処理部４６に出力する。
【００９９】
［イメージセンサ１と画像処理LSI２の動作］
ここで、図７の構成を有するイメージセンサ１と画像処理LSI２の一連の処理について説明する。
【０１００】
はじめに、図１０のフローチャートを参照してイメージセンサ１の送信処理について説明する。図１０の処理は、レーン分割の処理が追加されている点を除いて、基本的に、図４の処理と同様の処理である。
【０１０１】
ステップＳ３１において、撮像処理部１１は撮像を行い、１フレームの画像を構成する画素データを１画素のデータずつ順に出力する。
【０１０２】
ステップＳ３２において、Byte Packing処理部２１は、撮像処理部１１から供給された画素データを取得し、Byte Packing処理を行う。
【０１０３】
ステップＳ３３において、ECC処理部２２は、Byte Packing処理によって得られた８ビット単位の画素データに基づいてパリティを計算し、画素データに付加することによって誤り訂正符号化を行う。
【０１０４】
ステップＳ３４において、レーン分割部５１は、誤り訂正符号化によって得られた符号化データのレーン分割を行う。
【０１０５】
レーン分割後の処理は、レーン毎に、各レーンに割り当てられた符号化データを対象として並列に行われる。すなわち、ステップＳ３５において、8B/10B変換部２３−０乃至２３−３は、それぞれ、レーン分割部５１により割り当てられた符号化データに8B/10B変換を施す。
【０１０６】
ステップＳ３６において、Parallel to Serial変換部２４−０乃至２４−３は、それぞれ、8B/10B変換後の符号化データをシリアルデータに変換する。
【０１０７】
ステップＳ３７において、Parallel to Serial変換部２４−０乃至２４−３は、それぞれ、Parallel to Serial変換によって得られたシリアルの符号化データをLane＃０〜＃３を介して画像処理LSI２に送信する。ステップＳ３２乃至Ｓ３７の処理は、１フレームの画像を構成する全ての画素を対象として繰り返し行われ、１フレームの画像を構成する全ての画素のデータの送信が終了したとき、終了する。
【０１０８】
次に、図１１のフローチャートを参照して画像処理LSI２の受信処理について説明する。図１１の処理は、レーン結合の処理が追加されている点を除いて、基本的に、図５の処理と同様の処理である。
【０１０９】
ステップＳ４１において、CDR４１−０乃至４１−３は、それぞれ、Lane＃０〜＃３を介してイメージセンサ１から送信されてきた符号化データを表す信号を受信し、クロック信号を生成する。
【０１１０】
ステップＳ４２において、サンプリング部４２−０乃至４２−３は、それぞれ、クロック信号に従ってサンプリングを行う。
【０１１１】
ステップＳ４３において、Serial to Parallel変換部４３−０乃至４３−３は、それぞれ、サンプリングにより得られた符号化データにSerial to Parallel変換を施す。
【０１１２】
ステップＳ４４において、10B/8B変換部４４−０乃至４４−３は、それぞれ、Serial to Parallel変換によって得られた１０ビット単位の符号化データに10B/8B変換を施す。
【０１１３】
ステップＳ４５において、レーン結合部６１は、10B/8B変換部４４−０乃至４４−３から供給された符号化データを、レーン分割時の各レーンへの割り当て順と逆順で並び替えることによってレーン結合を行う。
【０１１４】
ステップＳ４６において、ECC処理部４５は、レーン結合後のそれぞれの８ビット単位の符号化データを対象として誤り訂正復号を行い、画素データのエラーを訂正する。
【０１１５】
ステップＳ４７において、Byte Unpacking処理部４６は、誤り訂正後の８ビット単位の画素データにByte Unpacking処理を施す。ステップＳ４１乃至Ｓ４７の処理は、１フレームの画像を構成する全ての画素データに基づいてイメージセンサ１において生成された符号化データを対象として繰り返し行われる。
【０１１６】
１フレームの画像を構成する全ての画素データに基づいて生成された符号化データの処理が終了したとき、ステップＳ４８において、画像処理部３１は、Byte Unpacking処理部４６から供給された画素データに基づいて１フレームの画像を生成する。画像処理部３１は、生成した画像を用いて画像処理を行い、画像処理が終了したとき、処理を終了する。
【０１１７】
このように、符号化データの分割をリンク層１２Ａにおいて行い、分割後の処理を物理層１２Ｂにおいて並列に行った上で、複数のレーンを用いて符号化データを並列に伝送することによって高速なデータ伝送が可能になる。以上においてはレーン数が４である場合について説明したが、さらに多くのレーンが用いられるようにすることも可能である。
【０１１８】
また、レーン分割／結合をECC処理部より下位の位置で行うことによって、ECC処理部をイメージセンサ１と画像処理LSI２にそれぞれ１つずつ設ければ済み、回路規模を削減することが可能になる。
【０１１９】
例えば、誤り訂正符号化を行うECC処理部より上位でレーン分割を行うとした場合、レーン数と同じ数のECC処理部を用意する必要があり、イメージセンサ１の回路規模が大きくなってしまうがそのようなことを防ぐことが可能になる。また、誤り訂正復号を行うECC処理部より上位でレーン結合を行うとした場合、レーン数と同じ数のECC処理部を用意する必要があり、画像処理LSI２の回路規模が大きくなってしまうがそのようなことを防ぐことが可能になる。
【０１２０】
誤り訂正符号化をレーン分割後に行うイメージセンサ１の構成と、誤り訂正復号をレーン結合前に行う画像処理LSI２の構成を図１２に示す。図１２のイメージセンサ１のリンク層１２Ａには、レーン分割部５１より下位の位置に、レーン数と同じ数のECC処理部２２−０乃至２２−３が設けられている。また、画像処理LSI２のリンク層３２Ａには、レーン結合部６１より下位の位置に、レーン数と同じ数のECC処理部４５−０乃至４５−３が設けられている。
【０１２１】
また、レーン分割前に誤り訂正符号化を行い、同じ符号語を構成する符号化データを異なるレーンで伝送することによって、伝送路で生じたバースト誤り（連続誤り）を復号後の符号語中に分散させることができ、誤り訂正能力を向上させることが可能になる。
【０１２２】
例えば、図９の左側に示すようにLane＃１において２バイトのバースト誤りが生じた場合を考える。Lane＃１において続けて伝送されたブロック６の符号化データとブロック１０の符号化データは誤りのあるデータである。図９に示すブロックのうち、斜線を付しているブロックは誤りが生じた符号化データのブロックを表し、斜線を付していないブロックは誤りが生じていない符号化データのブロックを表す。
【０１２３】
この場合、レーン結合後の符号化データにおいては、Lane＃１を介して伝送されたブロック６の符号化データとブロック１０の符号化データが異なる符号語中に分散することになる。一般に、誤り訂正符号ではバースト誤りに弱いものが多い。例えばReed Solomon符号では１符号語あたりに訂正できる誤り数が決まっているため、１符号語に集中するバースト誤りを符号語間で分散させることができれば、誤り訂正能力を高めることができることになる。
【０１２４】
＜第３の実施の形態＞
図１３は、伝送システムの第３の構成例を示す図である。
【０１２５】
図１３に示す構成のうち、図１に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１２６】
図１３の伝送システムの構成は、イメージセンサ１にマイクロプロセッサ７１が設けられ、画像処理LSI２にマイクロプロセッサ８１が設けられている点で図１の構成と異なる。
【０１２７】
イメージセンサ１のマイクロプロセッサ７１（マイクロプロセッサ上で動くファームウェア）に対しては、イメージセンサ１と画像処理LSI２を有する撮像装置の製造時などのタイミングで符号化率が設定されている。マイクロプロセッサ７１は、画像データの送信時、パリティ長指示信号をECC処理部２２に出力し、設定された符号化率に応じたデータ長のパリティが生成されるように、ECC処理部２２による誤り訂正符号化を制御する。図１３のイメージセンサ１による画像データの送信時の処理は、図４のフローチャートを参照して説明した処理と同じ処理である。
【０１２８】
一方、画像処理LSI２のマイクロプロセッサ８１に対しても、イメージセンサ１と画像処理LSI２を有する撮像装置の製造時などのタイミングで、イメージセンサ１に設定された符号化率と同じ符号化率が設定されている。マイクロプロセッサ８１は、画像データの受信時、パリティ長指示信号をECC処理部４５に出力し、設定された符号化率に応じたデータ長のパリティを検出し、誤り訂正が行われるように、ECC処理部４５による誤り訂正を制御する。図１３の画像処理LSI２による画像データの受信時の処理は、図５のフローチャートを参照して説明した処理と同じ処理である。
【０１２９】
図１４は、パリティ長指示信号により表されるパリティ長と符号化パラメータの関係を示す図である。
【０１３０】
図１４の例においては、０，２，４バイトのうちのいずれかのパリティ長をパリティ長指示信号によって設定することが可能とされている。パリティ長を０バイトとした場合、冗長なデータであるパリティを付加しない代わりに誤り訂正能力がない。一方、パリティ長を２バイトとした場合、２２６バイト中、１バイトの訂正が可能となり、パリティ長を４バイトとした場合、２２８バイト中、２バイトの訂正が可能となる。ここでは、Reed Solomon符号として２バイトまたは４バイトのパリティを用いる場合について説明しているが、パリティ長は２バイトと４バイトに限られるものではない。
【０１３１】
これにより、符号化率（パリティ長）を伝送路の誤り率に応じて適切に設定することが可能となる。伝送路の誤り率は、イメージセンサ１の物理層の性能と画像処理LSI２の物理層の性能などによって定まる。イメージセンサ１と画像処理LSI２の設計時に符号化率を固定しないで、撮像装置内に組み込むイメージセンサ１と画像処理LSI２の仕様が決まってから符号化率を設定できるようにすることにより、適切な符号化率を後から設定することが可能になる。
【０１３２】
一般に、パリティのデータ長が長いほど高い誤り訂正能力が得られる。一方、パリティは冗長なデータであるからそれを送信することは伝送速度の観点で好ましくなく、また、誤り訂正のための消費電力も増大する。従って、マイクロプロセッサによって符号化率を設定できるようにすることにより、伝送路の誤り率に応じた適切な符号化率を設定することができ、高速のデータ伝送を可能としつつ、消費電力を抑えることが可能となる。
【０１３３】
［コンピュータの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１３４】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１３５】
CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
【０１３６】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続される。また、入出力インタフェース１０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、リムーバブルメディア１１１を駆動するドライブ１１０が接続される。
【０１３７】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを入出力インタフェース１０５及びバス１０４を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１３８】
CPU１０１が実行するプログラムは、例えばリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１０８にインストールされる。
【０１３９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４０】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１４１】
１  イメージセンサ，  ２  画像処理LSI，  １１  撮像処理部，  １２  インタフェース部，  ２１  Byte Packing処理部，  ２２  ECC処理部，  ２３  8B/10B変換部，  ２４  Parallel to Serial変換部，  ３１  画像処理部，  ３２  インタフェース部，  ４１  CDR，  ４２  サンプリング部，  ４３  Serial to Parallel変換部，  ４４  10B/8B変換部，  ４５  ECC処理部，  ４６  Byte Unpacking処理部，  ５１  レーン分割部，  ６１  レーン結合部
【図１】
2012105188.tif 000003
【図２】
2012105188.tif 000004
【図３】
2012105188.tif 000005
【図４】
2012105188.tif 000006
【図５】
2012105188.tif 000007
【図６】
2012105188.tif 000008
【図７】
2012105188.tif 000009
【図８】
2012105188.tif 000010
【図９】
2012105188.tif 000011
【図１０】
2012105188.tif 000012
【図１１】
2012105188.tif 000013
【図１２】
2012105188.tif 000014
【図１３】
2012105188.tif 000015
【図１４】
2012105188.tif 000016
【図１５】
2012105188.tif 000017