(57)【要約】  大きなサイズの画像撮影が必要な場合であっても、処理に必要なメモリの容量を削減することができる画像撮影装置、エンコード方法およびプログラムを提供しなければならない。  画像撮影装置は、撮影画像中の任意矩形領域を個別に出力する分割転送手段と、分割転送手段からのデータを１つの部分エンコーダでエンコードする分割エンコード手段と、エンコーダされたデータを最後に統合する統合手段とを備える。
2009066626.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像中の任意矩形領域を個別に出力する分割転送手段と、
前記分割転送手段からのデータを１つの部分エンコーダでエンコードする分割エンコード手段と、
エンコーダされたデータを最後に統合する統合手段と
を備えることを特徴とする画像撮影装置。
【請求項２】
前記分割転送手段で出力する画像データを回転処理する回転処理手段をさらに備えることを特徴とする請求項１記載の画像撮影装置。
【請求項３】
撮影画像中の任意矩形領域を個別に出力する分割転送ステップと、
前記分割転送手段からのデータを１つの部分エンコーダでエンコードする分割エンコードステップと、
エンコーダされたデータを最後に統合する統合ステップと
を有することを特徴とするエンコード方法。
【請求項４】
前記分割転送ステップで出力する画像データを回転処理する回転処理ステップをさらに有することを特徴とする請求項３記載のエンコード方法。
【請求項５】
コンピュータに、撮影画像中の任意矩形領域を個別に出力する分割転送ステップと、
前記分割転送手段からのデータを１つの部分エンコーダでエンコードする分割エンコードステップと、
エンコーダされたデータを最後に統合する統合ステップと
を実行させることを特徴とするプログラム。
【請求項６】
前記分割転送ステップで出力する画像データを回転処理する回転処理ステップをさらに実行させることを特徴とする請求項５記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像(静止画または動画)を撮影する画像撮影装置において、小さいメモリ容量で大きなサイズの画像撮影を可能とする技術に関するものである。
【背景技術】
【０００２】
画像撮影装置、とりわけ静止画撮影装置(カメラ)の機能増加に伴い、撮影可能な画像サイズは増加の一途を辿っている。【０００３】
ここで、バッファメモリと、バッファメモリから画像を分割して読み出し映像信号を生成する映像信号生成部と、分割して読み出した画像に対する画像情報を生成する画像情報生成部と、映像信号と画像情報を多重化する多重化部と、多重化された映像信号から分割画像データと画像情報を分離する同期コード検出部と、分離された分割画像データを符号化する画像符号化部と、符号化されたビットストリームと、分離された画像情報を多重化する多重化部とを有することで、画像を分割した分割画像データと、この分割画像データに関する画像情報との相関を容易にとる技術が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２０００−２４４９１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、関連技術においては画像を一旦全て取得してから画像エンコード処理を実施するため、画像撮影装置内に画像サイズ分のメモリを用意しておく必要があり、画像サイズの増加に伴う大容量化が実装上の困難を生んでいた。【０００５】
特に回転が必要な場合は、回転前と回転後で２枚分のメモリが必要(回転処理では、元画像を置き換える形での処理ができないので)であり、要求される容量はさらに増加する。【０００６】
本発明は、大きなサイズの画像撮影が必要な場合であっても、処理に必要なメモリの容量を削減することができる画像撮影装置、エンコード方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
かかる目的を達成するために、本発明は、以下の特徴を有することとする。【０００８】
本発明の画像撮影装置は、撮影画像中の任意矩形領域を個別に出力する分割転送手段と、
前記分割転送手段からのデータを１つの部分エンコーダでエンコードする分割エンコード手段と、
エンコーダされたデータを最後に統合する統合手段と
を備えることを特徴とする。【０００９】
また、本発明のエンコード方法は、撮影画像中の任意矩形領域を個別に出力する分割転送ステップと、
前記分割転送手段からのデータを１つの部分エンコーダでエンコードする分割エンコードステップと、
エンコーダされたデータを最後に統合する統合ステップと
を有することを特徴とする。【００１０】
また、本発明のプログラムは、コンピュータに、撮影画像中の任意矩形領域を個別に出力する分割転送ステップと、
前記分割転送手段からのデータを１つの部分エンコーダでエンコードする分割エンコードステップと、
エンコーダされたデータを最後に統合する統合ステップと
を実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、大きなサイズの画像撮影が必要な場合であっても、処理に必要なメモリの容量を削減することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１に本発明の基本的な構成を示す。【００１３】
カメラモジュールはセンサを持ち、内蔵レンズまたは外付けレンズによりセンサに結像した画像をデジタルデータ(画像データ)に変換する。【００１４】
入力バッファはカメラモジュールが出力した画像データを蓄積するＲＡＭである。【００１５】
画像エンコーダは画像データを保存用のフォーマットにエンコードする機能で、ＪＰＥＧエンコーダなどが使用される。【００１６】
出力バッファはエンコード済みの画像データを出力するメモリである。【００１７】
制御部は、ユーザからの操作等に応じて各部を制御するプログラムまたはシステムである。【００１８】
図１の構成自体は一般的な画像撮影装置と同じである。ただし、一般的な構成では入力バッファは一画面分のサイズが必要となるが、本発明においては分割数(後述)に応じて一画面分のサイズ÷分割数だけ用意すればよい。【００１９】
典型的な例では、１６ｂｉｔ／ｐｉｘｅｌで構成された５Ｍｐｉｘｅｌの画像を３分割する場合、本来５Ｍｐｉｘｅｌ分(１０Ｍｂｙｔｅ)必要になるが、本発明の方式で分割数３とした場合は１.６７Ｍｐｉｘｅｌ(３.３Ｍｂｙｔｅ)で済む。【００２０】
図２がカメラモジュールの構成である。センサは画像を捉え電気信号に変換する部品で、ＣＣＤやＣＭＯＳなどの方式が知られている。【００２１】
レンズは入射した光線をセンサ上に結蔵させる機能をもつ。レンズは外付けであってもよい。【００２２】
読み出し・画像処理部はセンサから読み出した信号を変換・加工し、画像データ(ラスタ画像)を生成する。【００２３】
画像ＲＡＭは生成された画像データを保持するＲＡＭである。画像ＲＡＭは一画面分のサイズが必要となる。【００２４】
矩形読み出し部は、画像ＲＡＭに格納された画像(一画面分)から、制御部に指定された任意の矩形領域を切り出し、ホストインターフェースに渡す機能をもつ。【００２５】
ホストインターフェースはホストデバイス(この実施の形態では画像撮影装置)からの指示を受け取る機能と、画像をホストデバイスに転送する機能をもつ。【００２６】
制御部は、ホストデバイスからの指示に各部を制御するプログラムまたはシステムである。【００２７】
図２の構成のうち、矩形読み出し部を設けたことが本発明の特徴である。これにより、画像を一部分ずつ取得することが可能になる。それ以外の部分は一般的な構成で、通常はカメラモジュールに内蔵されたＤＳＰなどにより実現される。【００２８】
図３が画像エンコーダの構成である。本発明における画像エンコーダは、一般的なエンコーダ処理を部分エンコーダとストリーム連結処理とに分割している。また、画像を部分ごとにエンコードするため、中間結果を保持するための部分ストリーム保持バッファを持つ。【００２９】
部分エンコーダは、画像の一部のみが入力された場合に、その一部分のみをエンコードするように構成された処理である。【００３０】
一般的な画像エンコード方式(ＪＰＥＧなど)では、画像を細かなブロック(１６×１６ｐｉｘｅｌなど)に分割して各ブロックをエンコードし、それを一つのストリームとして構成した上でヘッダをつけた構成となっている。【００３１】
部分エンコーダは、この各ブロックのエンコード処理を抽出した構成となっており、入力された部分画像に含まれる各ブロックについてエンコード処理を実施し、中間結果をメモリに書き込む機能を持つ。【００３２】
ストリーム連結処理は、部分ストリーム保持バッファに格納された中間結果を一つのストリームとして構成しなおし、ヘッダを付加する機能をもつ。【００３３】
部分ストリーム保持バッファは、ラスタ画像ではなくエンコードされた画像を保持するので、エンコード後のサイズに応じた容量のみ確保すればよい。典型的には、５ＭｐｉｘｅｌのＪＰＥＧ画像では１Ｍｂｙｔｅ〜２Ｍｂｙｔｅ程度である。また、部分ストリーム保持バッファと出力バッファは共通としてもよい。【００３４】
続いて本実施の形態の動作を説明する。
まず、制御部がカメラモジュールに撮影指示を発行し、カメラモジュールがセンサ画像を取得、カメラモジュール内の画像ＲＡＭに画像を生成する。【００３５】
続いて図４に示す方法にてエンコード済み画像データの生成までを実施する。本発明では、画像を分割数で指定された回数に分割して処理する。図４は、画像を分割数３で分割処理する場合の例である。【００３６】
分割された各部分について、以下のように処理する。
（１）カメラモジュールから分割された領域の一つを取得する。取得された画像データは入力バッファに格納される。【００３７】
（２）画像エンコーダの部分エンコーダにより、入力バッファに格納された画像を部分エンコードする。エンコードした結果は部分ストリーム保持バッファに格納される。この時点では部分的なストリームであり、またヘッダも付加されていないのでエンコード済み画像データとしては不完全な状態である。【００３８】
（３）（１）〜（２）を分割数分繰り返す。【００３９】
（４）画像エンコーダのストリーム連結処理により、部分ストリーム保持バッファに格納された部分的なストリームを結合・ヘッダを付加し、完全なエンコード済み画像データとして出力バッファに出力する。【００４０】
これらが完了後、制御部はカメラモジュールに対し画像の消去・電源切断を指示し、また必要に応じて出力バッファのエンコード済み画像データを外部記憶装置などに保存し、処理を完了する。【００４１】
なお、図４では横長の短冊状に分割したが、縦長に分割しても、また縦横両方向に分割してもよい。ただし一般的には横長の短冊状に分割する方が実装が容易である。これは、元々の画像エンコーダの処理が上から下の各ラインを左から右に処理していくためである。本発明では、カメラモジュールからの画像取得から中間の回転処理、画像エンコード処理を分割処理可能な形にすることにより、メモリ容量の要求量を削減しつつ大きな画像サイズの撮影を可能にする。【００４２】
図５に、本発明の他の実施の形態を示す。図５は図１記載の構成に対し、さらに画像を回転してエンコードする機能を追加している。これは、画像撮影装置における実装面積の都合などによりカメラモジュールが傾いて配置される場合に有用である。【００４３】
図５では、図１に対して中間バッファと画像回転処理が追加されている。画像回転処理は単に画像を回転させるだけの処理で、一般的な手法で構成可能である。【００４４】
図１の場合と異なり、本実施の形態ではカメラモジュールから出力された画像は一旦中間バッファに格納し、続いて画像回転処理を経て入力バッファに格納される。【００４５】
本実施の形態では、画像はカメラモジュールの画像ＲＡＭ上における横方向を分割する。分割数に応じ、中間バッファと入力バッファの容量は以下のようにして決定される。【００４６】
分割した辺の長さ = 画像ＲＡＭ上での横幅÷分割数
中間バッファ容量 = 分割した辺の長さ×分割した辺の長さの画像を格納できる容量
入力バッファ容量 = 画像ＲＡＭ上での縦幅×分割した辺の長さの画像を格納できる容量【００４７】
図６を参照して、本実施の形態の動作を示す。カメラモジュール内の画像ＲＡＭに画像が生成された後の動作は以下のようになる。【００４８】
まず、分割された領域のうち、分割した辺の長さ×分割した辺の長さに相当する正方形の領域をカメラモジュールから取得する。取得された画像データは中間バッファに格納される。【００４９】
次に、中間バッファの画像を画像回転処理にて回転し、入力バッファに格納する。このとき、分割された領域が回転した状態で入力バッファに格納されるように正方形領域を格納していく。【００５０】
上記の２ステップを画像ＲＡＭ上での縦幅÷分割数分繰り返す。【００５１】
そして、画像エンコーダの部分エンコーダにより、入力バッファに格納された画像を部分エンコードする。エンコードした結果は部分ストリーム保持バッファに格納される。【００５２】
上記の４ステップを分割数分繰り返す。【００５３】
最後に、画像エンコーダのストリーム連結処理により、部分ストリーム保持バッファに格納された部分的なストリームを結合・ヘッダを付加し、完全なエンコード済み画像データとして出力バッファに出力する。【００５４】
以上のようにして、回転が必要な場合であっても、分割数に応じたわずかな容量の中間バッファを追加することで、回転してエンコードする機能が実現できる。【００５５】
本実施の形態によれば、大きなサイズの画像撮影が必要な場合であっても、処理に必要なメモリの容量を削減することができ、特に、回転のために必要な追加のメモリ容量を抑えることができる。【００５６】
なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、画像撮影装置の機能を実現するためのプログラムを装置に読込ませて実行することにより装置の機能を実現する処理を行ってもよい。さらに、そのプログラムは、コンピュータ読み取り可能な記録媒体であるＣＤ−ＲＯＭまたは光磁気ディスクなどを介して、または伝送媒体であるインターネット、電話回線などを介して伝送波により他のコンピュータシステムに伝送されてもよい。【００５７】
なお、この出願は、２００７年１１月２２日に出願した、日本特許出願番号２００７−３０３０９４号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【００５８】
本発明は、例えば、画像(静止画または動画)を撮影する画像撮影装置に適用可能である。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施の形態に係る構成を示す図である。
【図２】本発明の実施の形態に係る件らモジュールの構成を示す図である。
【図３】本発明の実施の形態に係る画像エンコーダの構成を示す図である。
【図４】本発明の実施の形態に係るエンコード済み画像データの生成までを示す図である。
【図５】本発明の他の実施の形態を示す図である。
【図６】本発明の他の実施の形態に係る動作を示す図である。
【図１】
2009066626.tif 000003
【図２】
2009066626.tif 000004
【図３】
2009066626.tif 000005
【図４】
2009066626.tif 000006
【図５】
2009066626.tif 000007
【図６】
2009066626.tif 000008
【国際調査報告】
2009066626.tif 000009
2009066626.tif 000010