(57)【要約】      （修正有）【課題】ベイヤ配列の撮像素子から得られる画像データに対して、空間的に相関性の高い行を生成することで、撮像画像の符号化効率を向上させる符号化方式を提供する。【解決手段】撮像素子は、ベイヤ配列の撮像素子から２行分の画素データを読出し、読み出した２行に含まれる画素データを、予め設定された規則に従って並び替えることで新たな２行を生成し、出力する読出制御部１０２と、読出制御部で得られた新たな２行における一方の行を入力して符号化する第１の符号化部１０３と、読出制御部で得られた新たな２行における他方の行を入力して符号化する第２の符号化部１０４とを有する。そして、読出制御手段は、単一色成分の画素で構成される行を、新たな２行における、少なくとも一方の行として生成する。【選択図】図１
2017143355.tif 000002
【特許請求の範囲】
【請求項１】
各色成分の信号を出力する複数の画素がベイヤ配列で配置された画素部から得られる２行分の画素データを予め設定された規則に従って並び替えることで新たな２行の画素データを生成する生成手段と、
該生成手段で生成された前記新たな２行における一方の行の画素データを符号化する第１の符号化手段と、
該生成手段で生成された前記新たな２行における他方の行の画素データを符号化する第２の符号化手段とを有し、
前記生成手段は、
単一色成分の画素で構成される行の画素データを、前記新たな２行における、少なくとも一方の行の画素データとして生成する
ことを特徴とする画像符号化装置。
【請求項２】
前記生成手段は、前記画素部において隣り合う２行の画素データに基づいて、Ｒ，Ｂ成分が交互に並んだ第１の行の画素データ、単一のＧ成分の画素で構成される第２の行の画素データを、前記新たな２行の画素データとして生成し、
前記第１の符号化手段は、前記第１の行の画素データを入力し、当該第１の行における符号化対象の着目画素に対して、既に符号化済みの画素から前記着目画素と同じ色成分を参照して予測画素を生成して予測符号化し、
前記第２の符号化手段は、前記第２の行の画素データを入力し、当該第２の行における符号化対象の着目画素に対して、既に符号化済みの画素を参照して前記着目画素に対する予測画素を生成して予測符号化する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記生成手段は、前記画素部において間に１行を挟む２行の画素データに基づいて、それぞれが単一色成分の画素で構成される第１の行と第２の行の画素データを生成し、前記第１の行の画素データを前記第１の符号化手段、前記第２の行の画素データを前記第２の符号化手段に供給し、
前記第１、第２の符号化手段それぞれは、
供給された行における符号化対象の着目画素に対して、既に符号化済みの画素の画素データを参照して前記着目画素に対する予測画素を生成して予測符号化する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記画素部と、
請求項１乃至３のいずれか１項に記載の画像符号化装置と
を有することを特徴とする撮像装置。
【請求項５】
前記第１の符号化手段で生成された符号化データを復号する第１の復号手段と、
前記第２の符号化手段で生成された符号化データを復号する第２の復号手段と、
前記第１、第２の復号手段により得られた２行の画素データからベイヤ配列の画像データを生成する並び替え手段と
を有することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記画素部を第１の層、前記生成手段及び前記第１、第２の符号化手段を第２の層として１つのチップに積層したことを特徴とする請求項４または５に記載の撮像装置。
【請求項７】
各色成分の信号を出力する複数の画素がベイヤ配列で配置された画素部より得られた画像データを符号化する画像符号化方法であって、
前記画素部から得られる２行分の画素データを、予め設定された規則に従って並び替えることで新たな２行の画素データを生成する生成工程と、
該生成工程で得られた前記新たな２行における一方の行の画素データを符号化する第１の符号化工程と、
該生成工程で得られた前記新たな２行における他方の行の画素データを符号化する第２の符号化工程とを有し、
前記生成工程は、
単一色成分の画素で構成される行を、前記新たな２行における、少なくとも一方の行として生成する
ことを特徴とする画像符号化方法。
【請求項８】
コンピュータが読み込み実行することで、前記コンピュータを、請求項１乃至３のいずれか１項に記載の画像符号化装置が有する各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置及び方法及び撮像装置に関するものである。
【背景技術】
【０００２】
近年、CMOSイメージセンサなどの撮像素子を備える撮像装置において、高画素化、高フレーム化が進んでいる。それに伴い、撮像素子から単位時間当たりに出力される画像信号量も増加しており、画像信号を出力するための伝送路帯域の拡大や、画素数を減らさずに画像信号伝送量を削減する施策が求められている。
【０００３】
一方、画像信号伝送量を削減する方法として、画像信号を符号化して圧縮処理を行う方法が知られている。例えば、特許文献１ではDPCM（Differential Pulse Code Modulation）符号化方式にて圧縮処理を行う方法が提案されている。DPCM符号化方式は、画像の空間的な相関性の高さを生かして、画素差分を取ることにより圧縮を行う方式であり、比較的簡単な回路で構成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−４５１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮像装置における撮像素子から読み出し方法として、複数の画素が２次元状に配列された画素配列から複数行の画素信号を同時に読み出す技術がある。しかしながら従来技術においては、複数行の読み出しであっても、単にそれぞれの行に対する、１次元配列として符号化処理を行っている。そのため複数行の読み出しに対して、空間的な相関性の高さが最適には考慮されていないため、符号化効率を損なっている場合がある。
【課題を解決するための手段】
【０００６】
この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
各色成分の信号を出力する複数の画素がベイヤ配列で配置された画素部から得られる２行分の画素データを予め設定された規則に従って並び替えることで新たな２行の画素データを生成する生成手段と、
該生成手段で生成された前記新たな２行における一方の行の画素データを符号化する第１の符号化手段と、
該生成手段で生成された前記新たな２行における他方の行の画素データを符号化する第２の符号化手段とを有し、
前記生成手段は、
単一色成分の画素で構成される行の画素データを、前記新たな２行における、少なくとも一方の行の画素データとして生成することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ベイヤ配列の画素から得られる画像データの符号化効率を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態における撮像素子のブロック構成図。
【図２】第１の実施形態における画素部からの読み出し制御の説明図。
【図３】第１の実施形態における符号化処理部の構成図。
【図４】第２の実施形態における画素部からの読み出し制御の説明図。
【図５】第３の実施形態における撮像装置のブロック構成図。
【図６】第１の実施形態における読出制御部の処理手順を示すフローチャート。
【図７】第２の実施形態における読出制御部の処理手順を示すフローチャート。
【図８】第４の実施形態における積層チップの構成例を示す図。
【図９】第５の実施形態が適用する携帯電話のブロック構成図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【００１０】
［第１の実施形態］
図１は、第１の実施形態における撮像素子における画像符号化処理に係る主要部分のブロック構成図である。本実施形態の撮像素子は、複数の画素が２次元配列された画素部１０１、画素部１０１から複数行の画素信号を選択して読み出す読出制御部１０２を有する。さらに、本実施形態の撮像素子は、画素部１０１から読み出されるデジタル化された画素データを複数の画素で構成される画素ブロックごとに符号化し、符号化データを生成する符号化処理部１０３、１０４、さらには、符号列生成部１０５を有する。符号列生成部１０５は、復号に必要な情報を含むヘッダを生成し、生成したヘッダに後続して符号化処理部１０３、１０４からの符号化データを結合し、符号列（符号化ストリーム）を生成し、撮像素子から出力する。実施形態における撮像素子は、ベイヤ配列の画像データ（ＲＡＷ画像データ）を符号化するものである。
【００１１】
次に、読出制御部１０２による画素部１０１の複数行の画素信号の読出しについて図２を用いて説明する。
【００１２】
図２の符号２００は、画素部１０１における２次元の画素配置を示している。画素部１０１は、図示のようにベイヤ配列のＲ，Ｇ，Ｂの各色成分の画素で構成される。画素配列２００において、参照符号２０、２１、２２、２３は行を示している。画素２０１、２０２、…、２０８…は、行２０を構成する画素群である。画素２１１、２１２、…、２１８、…は、行２１を構成する画素群である。画素２２１、２２２、…、２２８、…は、行２２を構成する画素群である。画素２３１、２３２、…、２３８、…は、行２３を構成する画素群である。
【００１３】
ベイヤ配列は、２×２画素に着目したとき、その中にＲ，Ｂ成分の画素がそれぞれ１つ、Ｇ成分の画素が２つ存在し、かつ、Ｇ成分の画素は斜めに向かい合う位置に配置されている。そして、この２×２画素のパターンが繰り返し配置されている。従って、或る行を着目したとき、その行は、ＲとＧ成分の画素だけが含まれるＲＧ行、ＢとＧ成分の画素だけが含まれるＢＧ行のいずれかとなる。しかも、ＲＧ，ＢＧ行は垂直方向に交互に繰り返される。
【００１４】
本実施形態の読出制御部１０２は、上記の特性を利用し、画素部１０１から隣り合う２行の画素群のデータを同時に読み出し、符号化処理部１０３，１０４に符号化対象の画像データとして供給する。ただし、読出制御部１０２は、読み出した２行の画素群のデータについて、予め設定されたルールに従って入れ替えて、新たな２つの行の画素データを生成し、生成したそれぞれの行の画素群のデータを符号化処理部１０３，１０４それぞれに供給する。以下、具体例を説明する。
【００１５】
画素部１０１の左上隅の座標を原点（０，０）と定義し、図２の水平右方向をｘ軸、垂直下方向をｙ軸と定義し、座標（ｉ，ｊ）の画素値をＰ（ｉ，ｊ）と表す。
【００１６】
従って第ｊ行とその隣の第ｊ＋１行の画素群は次のように定義できる。
第ｊ行＝｛Ｐ(0,j)、Ｐ(1,j)、Ｐ(2,j)、…｝
第ｊ＋１行＝｛Ｐ(0,j+1)、Ｐ(1,j+1)、Ｐ(2,j+1)、…｝
実施形態の読出制御部１０２は、読み出した２行のｘ座標ｉが同じで、かつ、ｉが奇数の場合、画素Ｐ（ｉ，ｊ）とＰ（ｉ，ｊ＋１）のデータを入れ替える処理を行って、新たな２つの行を生成する。この２つの新たな行を構成する画素は次のようになる。
新第ｊ行＝｛Ｐ(0,j)、Ｐ(1,j+1)、Ｐ(2,j)、…｝
新第ｊ＋１行＝｛Ｐ(0,j+1)、Ｐ(1,j)、Ｐ(2,j+1)、…｝
例えば、読出制御部１０２が図２における行２０、２１の画素群のデータを画素部１０１から読み出した場合に生成される新たな２つの行は、図示の符号２４，２５のようになる。図示のように、行２４は、画素２０１，２１２，２０３、２１４…と、Ｒ、Ｂの２つの成分の画素データが交互に配置される。他方の行２５は、画素２１１，２０２，２１３，２０４…と、単一のＧ成分で、かつ、画素間隔が近い画素データが並んだものとすることができ、空間的な相関性を高くすることが可能となる。
【００１７】
なお、上記では、読出制御部１０２は、データを読み出した２行中の画素群における、ｘ座標ｊが奇数の場合、画素Ｐ（ｉ，ｊ）とＰ（ｉ，ｊ＋１）のデータを入れ替えるものとしたが、入れ替えの条件としてｘ座標ｊが偶数の場合としても良い。この場合、行２４と２５との関係が逆になるだけである。
【００１８】
ここで、実施形態における読出制御部１０２の処理を、図６のフローチャートに従って説明する。なお、読出制御部１０２内には、画素部１０１から読み出した２行分の画素から、符号化処理部１０３，１０４に供給することになる新たな２行分の画素を格納可能なメモリが設けられているものとして説明する。また、以下に説明する各種変数も内部のメモリに確保されているものとする。
【００１９】
読出制御部１０２は、Ｓ６０１において、画素部１０１の行（Ｙ軸の座標）を特定するための変数ｊをゼロに初期化する。そして、読出制御部１０２は、Ｓ６０２にて、画素部１０１から第ｊ番目の行、及びその次の第ｊ＋１番目の行を読み出す。以降、第ｊ番目の行をＬ（ｊ）と表記する。よって、第ｊ＋１番目の行はＬ（ｊ＋１）と表記される。
【００２０】
次いで、Ｓ６０３にて、読出制御部１０２は、画素部１０１の水平方向（行方向）の位置（Ｘ軸の座標）を特定するための変数ｉをゼロに初期化する。さらに、読出制御部１０２は、符号化処理部１０３，１０４に供給するために、内部メモリに確保された新行ＮＬ（ｊ），ＮＬ（ｊ＋１）を初期化する。初期化の際、新行ＮＬ（ｊ）、ＮＬ（ｊ＋１）には画素のデータが１つも無い状態にする。
【００２１】
読出制御部１０２は、Ｓ６０４にて、変数ｉが偶数であるか否かを判定する。変数ｉが偶数であるとき、読出制御部１０２は処理をＳ６０５に進め、変数ｉが奇数である場合には処理をＳ６０６に進める。
【００２２】
Ｓ６０５にて、読出制御部１０２は、読み出した行Ｌ（ｊ）内の第ｉ番目の画素Ｐ（ｉ，ｊ）のデータを、ＮＬ（ｉ）に追加する。また、読出制御部１０２は、読み出した行Ｌ（ｊ＋１）内の第ｉ番目の画素Ｐ（ｉ，ｊ＋１）のデータを、ＮＬ（ｉ＋１）に追加する。
【００２３】
Ｓ６０６にて、読出制御部１０２は、読み出した行Ｌ（ｊ）内の第ｉ番目の画素Ｐ（ｉ，ｊ）のデータを、ＮＬ（ｉ＋１）に追加する。また、読出制御部１０２は、読み出した行Ｌ（ｊ＋１）内の第ｉ番目の画素Ｐ（ｉ，ｊ＋１）のデータを、ＮＬ（ｉ）に追加する。
【００２４】
Ｓ６０７にて、読出制御部１０２は、変数ｉが行の右端の位置を指し示しているのか否かを判定する。否の場合、読出制御部１０２は処理をＳ６０８に進め、変数ｉを“１”増加させ、Ｓ６０４に処理を戻す。
【００２５】
一方、Ｓ６０７にて、読出制御部１０２が、変数ｉが行の右端の位置を指し示していると判定した場合、画素部１０１からデータを読み出した２行の画素群から新２行へのデータ生成処理は終了したことになる。そこで、読出制御部１０２は、Ｓ６０９にて、新行ＮＬ（ｊ）の画素群のデータを符号化処理部１０３に供給し、新行ＮＬ（ｊ＋１）の画素群のデータを符号化処理部１０４に供給する。符号化処理部１０３、１０４はそれぞれ、与えられた画素群のデータについて符号化処理を行うことになる。
【００２６】
Ｓ６１０にて、読出制御部１０２は画素部１０１の全ラインの符号化処理を終えたか否かを判定する。否の場合、Ｓ６１１にて、読出性制御部１０２は変数ｊを“２”増加させ、処理をＳ６０２に戻す。一方、Ｓ６１０にて、読出制御部１０２は画素部１０１の全ラインのデータの符号化処理を終えたと判定した場合、本処理を終了する。
【００２７】
以上が実施形態における読出制御部１０２の具体的な処理手順である。上記説明からもわかるように、読出制御部１０２は、ＣＰＵ等のプロセッサがコンピュータプログラムに従って実行することも可能である。
【００２８】
なお、読出制御部１０２が、画素部１０１から２行の画素ペアＰ（ｉ、ｊ）とＰ（ｉ，ｊ）を同時に読み出すことができる場合、読出制御部１０２内に２行分のメモリを必要としないで、上記処理を実現できる。このためには、読出制御部１０２内に、ｘ座標ｉが偶数番目か、個数番目かを特定するための１ビットカウンタを設ける。そして、この１ビットカウンタが偶数を示している場合、読出制御部１０２は、画素Ｐ（ｉ、ｊ）を符号化処理部１０３に出力し、画素Ｐ（ｉ，ｊ）を符号化処理部１０４に出力する。一方、１ビットカウンタが奇数を示している場合、読出制御部１０２は、画素Ｐ（ｉ，ｊ）と画素（Ｐｉ，ｊ＋１）を交換する。そして、読出制御部１０２は、画素Ｐ（ｉ、ｊ）を符号化処理部１０４に出力し、画素Ｐ（ｉ，ｊ＋１）を符号化処理部１０３に出力する。
【００２９】
符号化処理部１０３は新行ＮＬ（ｊ）の画素群のデータを符号化し、符号化処理部１０４は新行ＮＬ（ｊ＋１）の画素群のデータを符号化する。以下符号化処理部１０３，１０４の処理内容を説明する。
【００３０】
図３は、実施形態における符号化処理部１０３、１０４のブロック構成図である。符号化処理部１０３、１０４は、読出制御部１０２によって読み出され、生成された新行の画素データをそれぞれ受信して予測符号化、すなわち、予測値と実際の画素値との差分を符号化していく。まず、差分符号化の動作について説明する。
【００３１】
減算器３００は、符号化対象の着目画素のデータと、予測画素保存部３０５に格納されている予測画素のデータとの間で差分を取り、その差分値を量子化部３０１に供給する。量子化部３０１は、送られてきた差分値に対して、符号量制御部３０４から設定された量子化ステップに従って量子化を行う。そして、量子化部３０１は、量子化後の差分値を、逆量子化部３０２及び可変長符号化部３０３に供給する。可変長符号化部３０３は、量子化後の差分値を入力し、可変長符号化を行い、生成した符号化データを符号列生成部１０５に供給する。また、可変長符号化部３０３は符号化処理を行うたびに、生成した符号化データの符号長を示す情報を、符号量制御部３０４に供給する。
【００３２】
符号量制御部３０４は、ある決められた画素数の単位で固定長の符号量になるように符号量制御を行う。例えば１６画素単位の圧縮率が１／２に設定されていたとする。画素部１０１における１画素が８ビットとすると、符号化前の１６画素のデータ量が１２８ビットなので、圧縮率１／２の場合、符号量制御部３０４は符号化後のデータ量が６４ビットになるように符号量制御を行う。実際には、或る１６画素の符号化を終えたとき、次の１６画素も同じ符号量になると推定する。そして、符号量制御部３０４は、１６画素の符号化が完了するたびに、次の１６画素の量子化ステップを更新すべく量子化部３０１を制御する。従って、符号量の制御は、１６画素分に相当するタイミングだけ遅延して行われる。
【００３３】
なお、１６画素単位に量子化ステップを更新するものとしたが、更新するタイミングの画素数に特に制限はない。符号量制御に粗さを許容するのであれば、更新タイミングが行単位、又は面（フレーム）単位であっても構わない。
【００３４】
また、可変長符号化部３０３は、量子化後の差分値の同じビット位置のビットで構成されるビットプレーンを単位に符号化する構成としても良い。例えば上記にならって１６画素の差分値の目標符号量が６４ビットとする。そして、ビットｘのプレーンの符号量をＡ（ｘ）と定義し、ビット０からビットｘのプレーンの符号化データの合計量『Ａ（０）＋Ａ（１）＋…＋Ａ（ｘ）』をＴ（ｘ）と表す。そして、差分値の取り得る範囲を規定する最大ビット位置をＭＳＢとする。この場合、可変長符号化部３０３は、次式を満足する最小値ｂを求める。
Ｔ（ＭＳＢ）−Ｔ（ｂ）≦６４
この最小値ｂを求めた場合、符号量制御部３０４は、可変長符号化部３０３が生成した全符号化データのうち、ビット０乃至ｂのプレーンの符号化データを削除する。この結果、上記のような１６画素分の符号量制御を、上記のような画素数に依存した遅延なしに実行することも可能である。
【００３５】
逆量子化部３０２は、量子化された差分値に対して逆量子化を行う。そして、加算器３０７は、逆量子化部３０２からの逆量子化後の差分値と、予測画素保存部３０５に格納されている着目画素の予測値とを加算し、加算後の画素を予測画素保存部３０５に保存する。
【００３６】
予測画素保存部３０５は、例えば符号化済みの１フレーム分の容量を有し、加算器３０７で生成された画素データを記憶保持する。そして、予測画素保存部３０５は、予測方向決定部３０６が決定した予測方向に従って、該当する予測画素を出力する。予測画素決定部３０６は予測の方向を決定して予測画素保存部６０５に予測方向を出力する。
【００３７】
ここで、符号化処理部１０３、１０４について補足する。符号化処理部１０３には、図２の行２４に示すように、Ｒ，Ｂ成分の画素のデータが混在して入力される。より詳しくは、左端の先頭の画素を便宜的に０番目と定義したとき、偶数番目はＲ成分の画素、奇数番目はＢ成分の画素となる。よって、符号化対象の画素が行２４の偶数番目に位置する場合、符号化処理部１０３における予測方向決定部３０６が決定する予測画素のデータは、予測画素保持部３０５が保持する水平方向に対して偶数番目の画素のデータを参照して決定する。符号化対象画素の色成分と予測画素の色成分とを一致させて、符号化効率を上げるためである。一方、符号化対象の画素が行２４の奇数番目に位置する場合、符号化処理部１０３における予測方向決定部３０６が決定する予測画素は、予測画素保持部３０５が保持する水平方向に対して奇数番目の画素のデータを参照して決定する。つまり、符号化処理部１０３における予測方向決定部３０６は、１画素ごとに、予測画素を求める処理を切り換える。
【００３８】
上記に対し、実施形態における符号化処理部１０４には、図２の行２５に示すように単一のＧ成分の画素のデータが入力される。よって、符号化処理部１０４における予測方向決定部３０６は、着目画素が奇数か偶数番目に応じた予測画素を求める処理の切替は行わず、符号化画素がモノクロ画像の画素として、単一のアルゴリズムに従った予測画素を決定する。
【００３９】
なお、本実施形態における撮像素子の構成としては、画素部１０１は画素層、符号化処理部１０３，１０４は信号処理層として積層させることで構成することもできる。撮像デバイス（撮像素子）の高速化、単純化のためには、符号列生成部１０５は撮像デバイスの外部に設けても良い。
【００４０】
また、実施形態のように、符号化処理部１０４には画素の空間的な相関性の高さが高くなるように、Ｇ成分のみの画素を供給することにより、符号化効率を上げることができる。
【００４１】
以上説明したように本実施形態によれば、ベイヤ配列の画素から得られる画像データの符号化効率を向上させることができる。これまでのデジタルカメラ、ビデオカメラで代表される撮像装置では、撮像素子と、各種画像処理に係る回路とはシステムバスを介して接続されていた。今後、撮像素子の解像度は上がる一方なので、撮像素子と画像処理回路間に伝送されるデータ量はますます増えていき、システムバスの帯域を圧迫することが予想される。かかる点、本実施形態の如く、撮像素子内に符号化に係る構成を実装したので、撮像素子から出力されるデータ量の増加を抑制でき、システムバスの帯域が圧迫を緩和することが期待できる。
【００４２】
上記実施形態では、符号化処理部１０３、１０４は、量子化部、符号量制御部を有するので、非可逆符号化を行うことになる。しかし、特に高精度での目標圧縮率を設定しなくても良く、オリジナルのＲＡＷ画像データより多少とも圧縮が期待できる可逆符号化を行うようにしても良い。符号化処理部１０３は、着目する行の先頭の２画素はそのまま出力し、３画素目以降が符号化対象の着目画素の場合、２つ前の画素（同一色成分の画素）との差分を、ハフマン符号化して可逆符号化データとして出力する。一方、符号化処理部１０４は、着目する行の先頭１画素はそのまま出力し、それ以降の着目画素を符号化する際に、直前の画素との差分をハフマン符号化して可逆符号化データとして出力する。
【００４３】
［第２の実施形態］
第２の実施形態では、その装置構成が第１の実施形態と同じであるものの、読出制御部１０２による画素部１０１からの読み出し、そして、出力法が第１の実施形態とは異なる例を説明する。
【００４４】
本第２の実施形態における、読出制御部１０２による画素部１０１からの画素データの読み出し、並びに、選択出力法について図４を参照して説明する。
【００４５】
図４における符号４００は、画素部１０１における２次元の画素配置を示している。符号４０乃至４３はそれぞれ行を示す。画素４０１、４０２、…、４０８、…は行４０を構成する画素群である。画素４１１、４１２、…、４１８、…は行４１を構成する画素群である。画素４２１、４２２、…、４２８、…は行４２を構成する画素群である。そして画素４３１、４３２、…、４３８、…は行４３を構成する画素群である。
【００４６】
ここで、行４０と行４２はともにＲ，Ｇ成分の画素で構成される。そして、行４１と行４２はともにＧ，Ｂ成分の画素で構成される。つまり、ベイヤ配列の１つの行は、２種類の色成分の画素で構成され、かつ、第ｊ行と第ｊ＋２行に含まれる色成分は互いに同じである。
【００４７】
そこで本第２の実施形態における読出制御部１０２は、画素部１０１から２ラインの画素データを読み出す際、第ｊ行と第ｊ＋２行の画素データを読み出して、それぞれが単一色成分となる新たな行の画素データを２つ生成し、符号化処理部１０３，１０４に供給することを特徴とする。一例を以下に説明する。
画素部１０１から読み出した第ｊ行であるＬ（ｊ）、並びに、第ｊ＋２行であるＬ（ｊ＋１）の画素群は次のように定義できる。
Ｌ（ｊ）＝｛Ｐ(0,j)、Ｐ(1,j)、Ｐ(2,j)、…｝
Ｌ（ｊ＋１）＝｛Ｐ(0,j+2)、Ｐ(1,j+2)、Ｐ(2,j+2)、…｝
本第２の実施形態における読出制御部１０２は、次式（１）に従って新たな２つの行ＮＬ（ｊ），ＮＬ（ｊ＋１）の画素データを生成する。
ＮＬ（ｊ）＝｛Ｐ(0,j)、Ｐ(0,j+2)、Ｐ(2,j)、Ｐ(2,j+2)、…｝
ＮＬ（ｊ＋１）＝｛Ｐ(1,j)、Ｐ(1,j+2)、Ｐ(3,j)、Ｐ(3,j+2)、…｝…（１）
図４における行４４、行４５は上記のＮＬ（ｊ）、ＮＬ（ｊ＋１）に対応する。図示の如く、行４４はＲ成分の画素のデータのみで構成され、行４５はＧ成分の画素のデータのみで構成される。つまり、新たな行のそれぞれは、単一色成分で、かつ、画素間隔が近い画素のデータが並んだ状態となり、空間的な相関性を高くすることが可能になる。
【００４８】
また、本第２の実施形態における読出制御部１０２は、第ｊ＋１行であるＬ（ｊ＋１）と、第ｊ＋３行であるＬ（ｊ＋３）の画素群のデータから、次式（２）に従って新たな２つの行ＮＬ（ｊ＋３）、ＮＬ（ｊ＋４）の画素データを生成する。
ＮＬ（ｊ＋３）＝｛Ｐ(1,j+1)、Ｐ(1,j+3)、Ｐ(3,j+1)、Ｐ(3,j+3)、…｝
ＮＬ（ｊ＋４）＝｛Ｐ(0,j+1)、Ｐ(0,j+3)、Ｐ(2,j+1)、Ｐ(2,j+3)、…｝…（２）
ここでＮＬ（ｊ＋３）はＢ成分の画素のデータのみで構成され、ＮＬ（ｊ＋４）はＧ成分の画素のデータのみで構成されることになる。そして、画素部１０１から４行分の読出しを終える都度、読出制御部１０２は変数ｊを“４”増加し、上記処理を繰り返す。
【００４９】
本第２の実施形態における読出制御部１０２の処理手順を図７のフローチャートに従って説明する。
【００５０】
読出制御部１０２は、Ｓ７０１において、変数ｊをゼロに初期化する。そして、読出制御部１０２は、Ｓ７０２にて、画素部１０１から第ｊ番目の行Ｌ（ｊ）、及び第ｊ＋２番目の行Ｌ（ｊ＋２）の画素のデータを読み出す。
【００５１】
次いで、Ｓ７０３にて、読出制御部１０２は、読み出した行Ｌ（ｊ）、Ｌ（ｊ＋２）の画素データに基づき、先に示した式（１）に従って、それぞれが単一色成分であり、かつ、オリジナルの画素の位置の間隔も近い順にならべた新行ＮＬ（ｊ）、ＮＬ（ｊ＋１）の画素データを生成する。そして、読出制御部１０２は、Ｓ７０４にて、新行ＮＬ（ｊ）の画素データを符号化処理部１０３に、新行ＮＬ（ｊ＋１）の画素データを符号化処理部１０４に供給し、符号化を行わせる。
【００５２】
読出制御部１０２は、Ｓ７０５において、画素部１０１から第ｊ＋１番目の行Ｌ（ｊ＋１）、及び第ｊ＋３番目の行Ｌ（ｊ＋３）の画素のデータを読み出す。そして、Ｓ７０６にて、読出制御部１０２は、読み出した行Ｌ（ｊ＋１）、Ｌ（ｊ＋３）の画素データに基づき、先に示した式（２）に従って、新行ＮＬ（ｊ＋３）、ＮＬ（ｊ＋４）の画素データを生成する。新行の各々の画素データは、単一色成分であり、かつ、オリジナルの画素の位置の間隔も近い順にならべた画素で構成される。そして、読出制御部１０２は、Ｓ７０７にて、新行ＮＬ（ｊ＋３）の画素データを符号化処理部１０３に、新行ＮＬ（ｊ＋４）の画素データを符号化処理部１０４に供給し、符号化を行わせる。
【００５３】
読出制御部１０２は、Ｓ７０８にて、画素部１０１の全ラインのデータの符号化処理を終えたか否かを判定する。否の場合、Ｓ７０９に進み、読出性制御部１０２は変数ｊを“４”増加させ、処理をＳ７０２に戻す。一方、Ｓ７０８にて、読出制御部１０２は画素部１０１の全ラインのデータの符号化処理を終えたと判定した場合、本処理を終了する。
【００５４】
なお、上記では、読出制御部１０２内に十分なメモリ（読出した２行と、新２行の４行分）を有するものとして説明した。しかし、読出制御部１０２内に画素部１０１から垂直方向に並んだ２画素のデータを読み出しては、先に示した規則に従い適宜交換して符号化処理部１０３、１０４それぞれ出力するようにしても良い。この場合、読出制御部１０２内には、読み出した２画素分のバッファが存在すればよく、回路規模を少なくできる。
【００５５】
次に、本第２の実施形態における符号化処理部１０３，１０４の動作を説明する。内部構成は第１の実施形態と同一なので割愛する。
【００５６】
上記の説明から明らかなように、符号化処理部１０３には、Ｒ成分の画素のみで構成される行の画素データと、Ｂ成分の画素のみで構成される行の画素データが、交互に供給される。一方、符号化処理部１０４には、Ｇ成分の画素のデータのみが供給される。よって符号化処理部１０４については、第１の実施形態と同様の処理を行えばよい。
【００５７】
また、符号化処理部１０３は、符号化対象の画素に対する予測画素を、着目画素が属する行のデータのみを参照して決定する場合には、特に問題がない。
【００５８】
ただし、符号化対象の着目画素に対する予測画素を、着目画素とそれ以外の他の行、つまり、２次元空間に配置された既符号化の画素のデータを参照して決定する場合には、符号化処理は第１の実施形態とは異なる処理を必要とする。以下、符号化処理部１０３が、符号化対象の着目画素の予測画素を、２次元空間に配置された既符号化の画素のデータを参照する場合について補足説明する。
【００５９】
符号化の最初の行を便宜的に第０行とする。読出制御部１０２はＳ７０４、Ｓ７０７にて、符号化処理部１０３に新行ＮＬを供給する。よって、符号化処理部１０３から見た場合、Ｓ７０４において読出制御部１０２から供給されるのが偶数番目の行の画素データ、Ｓ７０７において読出制御部１０２から供給されるのが奇数番目の行の画素データとなる。これまでの説明から明らかなように、符号化処理部１０３から見た場合、偶数番目の行はＲ成分の画素のデータのみで構成され、奇数番目の行はＢ成分の画素のデータのみで構成される。
【００６０】
よって、符号化処理部１０３における予測方向決定部３０６は、符号化対象の着目画素が偶数番目の行に属する場合、予測画素保存部３０５に格納された偶数番目の行の画素のデータのみを参照して予測画素を決定する。また、符号化処理部１０３における予測方向決定部３０６は、符号化対象の着目画素が奇数番目の行に属する場合、予測画素保存部３０５における奇数番目の行の画素のデータのみを参照して予測画素を決定すればよい。
【００６１】
なお、本第２の実施形態の構成は、画素部１０１は画素層、符号化処理部１０３，１０４は信号処理層として、積層されることで構成することもできる。本第２の実施形態のように、符号化処理部に対して、画素の空間的な相関性の高さが高くなるように、画素のデータを読み出すことにより、符号化効率を上げることができる。
【００６２】
［第３の実施形態］
本第３の実施形態では、上記の第１、第２の実施形態の構成を含んだシステムとしての撮像装置について説明する。なお、本第３の実施形態では、１つのシステムにて符号化と復号を行うものであるので、図１における符号列生成部１０５を介在する構成とはしていない。もちろん、符号列生成部１０５を介在させても構わない。図５において画素部１０１，読出制御部１０２，符号化処理部１０３、１０４は第１、第２の実施形態の構成と同様である。
【００６３】
図示において復号処理部５０１，５０２は符号化処理部１０３，１０４にて符号化された行単位の符号化データを入力し、復号を行う。並び替え部５０３は、復号して得た２行分の画素に基づき、読出制御部１０２とは逆の並び替え処理を行い、元のベイヤ配列の画素データ（ＲＡＷ画像データ）を生成する。カメラ信号処理部５０４は、並び替え部５０３で並び替えられた画素に対し、デモザイク処理、アパーチャ補正、ガンマ補正、ホワイトバランス等の撮像系の信号処理を行う。
【００６４】
本第３の実施形態における撮像装置の構成は、画素部１０１、符号化処理部１０３，１０４は撮像素子内部に、復号処理部５０１，５０２、並び替え部５０３、及び、カメラ信号処理部５０４は信号処理ＩＣ内に構成することができる。本第３の実施形態のように、符号化処理部に対して、画素の空間的な相関性の高さが高くなるように、画素を読み出すことにより、符号化効率を上げて撮像システムを構築することがきる。
【００６５】
［第４の実施形態］
次に、第４の実施形態を説明する。本第４の実施形態では画素部が積層型である例を示す。図８に示す様に、撮像部８００は、画素部１０１が形成された撮像チップ８０１と、読出制御部１０２、符号化処理部１０３、１０４が形成された高速ロジックプロセス用チップ８０２がチップレベルで互いに積層されている。
【００６６】
［第５の実施形態］
図９は、第５の実施形態が適用する携帯電話機（スマートホンを含む）１００の構成を示すブロック図である。携帯電話機９００は、音声通話機能の他、電子メール機能や、インターネット接続機能、画像の撮影、再生機能等を有する。
【００６７】
図において、通信部９０１は、ユーザが契約した通信キャリアに従う通信方式により他の電話機との間で音声データや画像データを通信する。音声処理部９０２は、音声通話時において、マイクロフォン９０３からの音声データを発信に適した形式に変換して通信部９０１に送る。また、音声処理部９０２は、通信部９０１から送られた通話相手からの音声データを復号し、スピーカ９０４に送る。撮像部９０５は、第１および第２の実施形態で説明した撮像素子または第３の実施形態で説明した撮像装置に対応し、被写体の画像を撮影し、画像データを出力する。画像処理部９０６は、画像の撮影時においては、撮像部９０５により撮影された画像データを処理し、記録に適した形式に変換して出力する。また、画像処理部９０６は、記録された画像の再生時には、再生された画像を処理して表示部９０７に送る。表示部９０７は、数インチ程度の液晶表示パネルを備え、制御部９０９からの指示に応じて各種の画面を表示する。不揮発メモリ９０８は、アドレス帳の情報や、電子メールのデータ、撮像部９０５により撮影された画像データ等のデータを記憶する。
【００６８】
制御部９０９はＣＰＵやメモリ等を有し、不図示のメモリに記憶された制御プログラムに従って電話機９００の各部を制御する。操作部９１０は、電源ボタンや番号キー、その他ユーザがデータを入力するための各種の操作キーを備える。カードＩＦ９１１は、メモリカード９１２に対して各種のデータを記録再生する。外部ＩＦ９１３は、不揮発メモリ９０８やメモリカード９１２に記憶されたデータを外部機器に送信し、また、外部機器から送信されたデータを受信する。外部ＩＦ９１３は、ＵＳＢ等の有線の通信方式や、無線通信など、公知の通信方式により通信を行う。
【００６９】
次に、電話機９００における音声通話機能を説明する。通話相手に対して電話をかける場合、ユーザが操作部９１０の番号キーを操作して通話相手の番号を入力するか、不揮発メモリ９０８に記憶されたアドレス帳を表示部９０７に表示し、通話相手を選択し、発信を指示する。発信が指示されると、制御部９０９は通信部９０１に対し、通話相手に発信する。通話相手に着信すると、通信部９０１は音声処理部９０２に対して相手の音声データを出力すると共に、ユーザの音声データを相手に送信する。
【００７０】
また、電子メールを送信する場合、ユーザは、操作部９１０を用いて、メール作成を指示する。メール作成が指示されると、制御部９０９はメール作成用の画面を表示部９０７に表示する。ユーザは操作部９１０を用いて送信先アドレスや本文を入力し、送信を指示する。制御部９０９はメール送信が指示されると、通信部９０１に対しアドレスの情報とメール本文のデータを送る。通信部９０１は、メールのデータを通信に適した形式に変換し、送信先に送る。また、通信部９０１は、電子メールを受信すると、受信したメールのデータを表示に適した形式に変換し、表示部９０７に表示する。
【００７１】
次に、電話機９００における撮影機能について説明する。ユーザが操作部９１０を操作して撮影モードを設定した後、静止画或いは動画の撮影を指示すると、撮像部９０５は静止画データ或いは動画データを撮影して画像処理部９０６に送る。画像処理部９０６は撮影された静止画データや動画データを符号化処理し、不揮発メモリ９０８に記憶する。また、画像処理部９０６は、撮影された静止画データや動画データをカードＩＦ９１１に送る。カードＩＦ９１１は静止画や動画データをメモリカード９１２に記憶する。
【００７２】
また、電話機９００は、この様に撮影された静止画や動画データを含むファイルを、電子メールの添付ファイルとして送信することができる。具体的には、電子メールを送信する際に、不揮発メモリ９０８やメモリカード９１２に記憶された画像ファイルを選択し、添付ファイルとして送信を指示する。
【００７３】
また、電話機９００は、撮影された静止画や動画データを含むファイルを、外部ＩＦ９１３によりＰＣや他の電話機等の外部機器に送信することもできる。ユーザは、操作部９１０を操作して、不揮発メモリ９０８やメモリカード９１２に記憶された画像ファイルを選択し、送信を指示する。制御部９０９は、選択された画像ファイルを不揮発メモリ９０８或いはメモリカード９１２から読み出し、外部機器に送信するよう、外部ＩＦ９１３を制御する。
【００７４】
なお、上記では、撮像部９０５は、第１および第２の実施形態における撮像素子または第３の実施形態で説明した撮像装置に対応するものとして説明した。しかし、第４の実施形態に示したように、積層チップ化することで画像処理部９０６の一部（例えば図１の読出制御部、符号化処理部１０３、１０４）を撮像部９０５として構成しても構わない。また、本発明は、本実施形態のような携帯電話機の撮像部に限らず、例えば、車載カメラや医療用機器、各種産業機器の撮像部などに適用することも可能である。
【００７５】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７６】
１０１…画素部、１０２…読出制御部、１０３、１０４…符号化処理部、１０５…符号列生成部
【図１】
2017143355.tif 000003
【図２】
2017143355.tif 000004
【図３】
2017143355.tif 000005
【図４】
2017143355.tif 000006
【図５】
2017143355.tif 000007
【図６】
2017143355.tif 000008
【図７】
2017143355.tif 000009
【図８】
2017143355.tif 000010
【図９】
2017143355.tif 000011
【手続補正書】
【提出日】平成28年12月7日(2016.12.7)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
Ｓ６０５にて、読出制御部１０２は、読み出した行Ｌ（ｊ）内の第ｉ番目の画素Ｐ（ｉ，ｊ）のデータを、ＮＬ（ｊ）に追加する。また、読出制御部１０２は、読み出した行Ｌ（ｊ＋１）内の第ｉ番目の画素Ｐ（ｉ，ｊ＋１）のデータを、ＮＬ（ｊ＋１）に追加する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
Ｓ６０６にて、読出制御部１０２は、読み出した行Ｌ（ｊ）内の第ｉ番目の画素Ｐ（ｉ，ｊ）のデータを、ＮＬ（ｊ＋１）に追加する。また、読出制御部１０２は、読み出した行Ｌ（ｊ＋１）内の第ｉ番目の画素Ｐ（ｉ，ｊ＋１）のデータを、ＮＬ（ｊ）に追加する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
Ｓ６１０にて、読出制御部１０２は画素部１０１の全ラインの符号化処理を終えたか否かを判定する。否の場合、Ｓ６１１にて、読出制御部１０２は変数ｊを“２”増加させ、処理をＳ６０２に戻す。一方、Ｓ６１０にて、読出制御部１０２は画素部１０１の全ラインのデータの符号化処理を終えたと判定した場合、本処理を終了する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
なお、読出制御部１０２が、画素部１０１から２行の画素ペアＰ（ｉ、ｊ）とＰ（ｉ，ｊ＋１）を同時に読み出すことができる場合、読出制御部１０２内に２行分のメモリを必要としないで、上記処理を実現できる。このためには、読出制御部１０２内に、ｘ座標ｉが偶数番目か、奇数番目かを特定するための１ビットカウンタを設ける。そして、この１ビットカウンタが偶数を示している場合、読出制御部１０２は、画素Ｐ（ｉ、ｊ）を符号化処理部１０３に出力し、画素Ｐ（ｉ，ｊ）を符号化処理部１０４に出力する。一方、１ビットカウンタが奇数を示している場合、読出制御部１０２は、画素Ｐ（ｉ，ｊ）と画素Ｐ（ｉ，ｊ＋１）を交換する。そして、読出制御部１０２は、画素Ｐ（ｉ、ｊ）を符号化処理部１０４に出力し、画素Ｐ（ｉ，ｊ＋１）を符号化処理部１０３に出力する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
予測画素保存部３０５は、例えば符号化済みの１フレーム分の容量を有し、加算器３０７で生成された画素データを記憶保持する。そして、予測画素保存部３０５は、予測方向決定部３０６が決定した予測方向に従って、該当する予測画素を出力する。予測方向決定部３０６は予測の方向を決定して予測画素保存部３０５に予測方向を出力する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
ここで、行４０と行４２はともにＲ，Ｇ成分の画素で構成される。そして、行４１と行４３はともにＧ，Ｂ成分の画素で構成される。つまり、ベイヤ配列の１つの行は、２種類の色成分の画素で構成され、かつ、第ｊ行と第ｊ＋２行に含まれる色成分は互いに同じである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
そこで本第２の実施形態における読出制御部１０２は、画素部１０１から２ラインの画素データを読み出す際、第ｊ行と第ｊ＋２行の画素データを読み出して、それぞれが単一色成分となる新たな行の画素データを２つ生成し、符号化処理部１０３，１０４に供給することを特徴とする。一例を以下に説明する。
画素部１０１から読み出した第ｊ行であるＬ（ｊ）、並びに、第ｊ＋２行であるＬ（ｊ＋２）の画素群は次のように定義できる。
Ｌ（ｊ）＝｛Ｐ(0,j)、Ｐ(1,j)、Ｐ(2,j)、…｝
Ｌ（ｊ＋２）＝｛Ｐ(0,j+2)、Ｐ(1,j+2)、Ｐ(2,j+2)、…｝
本第２の実施形態における読出制御部１０２は、次式（１）に従って新たな２つの行ＮＬ（ｊ），ＮＬ（ｊ＋１）の画素データを生成する。
ＮＬ（ｊ）＝｛Ｐ(0,j)、Ｐ(0,j+2)、Ｐ(2,j)、Ｐ(2,j+2)、…｝
ＮＬ（ｊ＋１）＝｛Ｐ(1,j)、Ｐ(1,j+2)、Ｐ(3,j)、Ｐ(3,j+2)、…｝…（１）
図４における行４４、行４５は上記のＮＬ（ｊ）、ＮＬ（ｊ＋１）に対応する。図示の如く、行４４はＲ成分の画素のデータのみで構成され、行４５はＧ成分の画素のデータのみで構成される。つまり、新たな行のそれぞれは、単一色成分で、かつ、画素間隔が近い画素のデータが並んだ状態となり、空間的な相関性を高くすることが可能になる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
また、本第２の実施形態における読出制御部１０２は、第ｊ＋１行であるＬ（ｊ＋１）と、第ｊ＋３行であるＬ（ｊ＋３）の画素群のデータから、次式（２）に従って新たな２つの行ＮＬ（ｊ＋２）、ＮＬ（ｊ＋３）の画素データを生成する。
ＮＬ（ｊ＋２）＝｛Ｐ(1,j+1)、Ｐ(1,j+3)、Ｐ(3,j+1)、Ｐ(3,j+3)、…｝
ＮＬ（ｊ＋３）＝｛Ｐ(0,j+1)、Ｐ(0,j+3)、Ｐ(2,j+1)、Ｐ(2,j+3)、…｝…（２）
ここでＮＬ（ｊ＋２）はＢ成分の画素のデータのみで構成され、ＮＬ（ｊ＋３）はＧ成分の画素のデータのみで構成されることになる。そして、画素部１０１から４行分の読出しを終える都度、読出制御部１０２は変数ｊを“４”増加し、上記処理を繰り返す。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
読出制御部１０２は、Ｓ７０５において、画素部１０１から第ｊ＋１番目の行Ｌ（ｊ＋１）、及び第ｊ＋３番目の行Ｌ（ｊ＋３）の画素のデータを読み出す。そして、Ｓ７０６にて、読出制御部１０２は、読み出した行Ｌ（ｊ＋１）、Ｌ（ｊ＋３）の画素データに基づき、先に示した式（２）に従って、新行ＮＬ（ｊ＋２）、ＮＬ（ｊ＋３）の画素データを生成する。新行の各々の画素データは、単一色成分であり、かつ、オリジナルの画素の位置の間隔も近い順にならべた画素で構成される。そして、読出制御部１０２は、Ｓ７０７にて、新行ＮＬ（ｊ＋２）の画素データを符号化処理部１０３に、新行ＮＬ（ｊ＋３）の画素データを符号化処理部１０４に供給し、符号化を行わせる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
読出制御部１０２は、Ｓ７０８にて、画素部１０１の全ラインのデータの符号化処理を終えたか否かを判定する。否の場合、Ｓ７０９に進み、読出制御部１０２は変数ｊを“４”増加させ、処理をＳ７０２に戻す。一方、Ｓ７０８にて、読出制御部１０２は画素部１０１の全ラインのデータの符号化処理を終えたと判定した場合、本処理を終了する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
［第５の実施形態］
図９は、第５の実施形態が適用する携帯電話機（スマートホンを含む）９００の構成を示すブロック図である。携帯電話機９００は、音声通話機能の他、電子メール機能や、インターネット接続機能、画像の撮影、再生機能等を有する。
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2017143355.tif 000012