(57)【要約】【課題】  光学的ズーム機能を有さない動画像撮像手段を備えた電子機器等における、画像の撮像状態に対応して最適な符号化方式を選択して実行することを可能とする動画像符号化装置を提供する。【解決手段】  本発明の動画像符号化装置は、動画像信号を入力する動画像信号入力手段と、入力された動画像信号によって再現される画像の状態を検出する画像状態検出手段と、複数の符号化方式のうちから、画像状態検出手段によって検出された画像の状態に対応した符号化方式を選択し、その符号化方式によって、入力された動画像信号を符号化するように、符号化手段を制御する符号化制御手段とを備える。【選択図】      図１
2005269428.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号を入力する動画像信号入力手段と、所定の複数の符号化方式のうちからいずれかの符号化方式を選択し、当該符号化方式によって、上記入力された動画像信号を符号化する符号化手段とを有する動画像符号化装置であって、
入力された上記動画像信号によって再現される画像の状態を検出する画像状態検出手段と、
上記画像状態検出手段によって検出された上記画像状態に対応して、上記複数の符号化方式のうちから符号化方式を選択し、当該符号化方式によって、上記入力された動画像信号を符号化するように、上記符号化手段を制御する符号化制御手段と
を備えたことを特徴とする動画像符号化装置。
【請求項２】
上記画像状態検出手段は、入力された現画像と当該現画像よりも時間的に前の前画像とを比較する画像比較部と、上記前画像を格納する前画像記憶部と、上記画像比較部による比較に基づいて、上記画像状態を判定する画像状態判定部とを備えたことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
上記画像状態判定部は、上記現画像が上記前画像と比較して拡大されたものであると判定した場合には、上記動画像信号を画質優先で符号化する符号化方式を選択するように上記符号化制御手段に対して指示することを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
上記画像状態判定部は、上記動画像信号を画質優先で符号化する符号化方式として、フレームレート又は量子化ステップサイズもしくは１フレーム当りの圧縮率が、上記前画像に用いた符号化方式の場合よりも低くて、より高精細な画像を再現する符号化方式を、選択するように指示することを特徴とする請求項３に記載の動画像符号化装置。
【請求項５】
上記画像状態検出手段は、上記画像状態の判定結果の情報を記憶する画像状態記憶部をさらに備え、
上記画像状態判定部は、上記画像状態記憶部に記憶された情報に基づいて、入力されている上記動画像信号が、実質的に静止している画像を再現するものであるか否かを判定し、静止していると判定した場合には、上記符号化制御手段に対して、上記動画像信号を画質優先で符号化する符号化方式を選択するように指示する
ことを特徴とする請求項２に記載の動画像符号化装置。
【請求項６】
上記画像状態判定部は、上記現画像が上記前画像から拡大された後に、上記画像状態が静止している状態になったと判定した場合には、上記符号化制御手段に対して、上記動画像信号を画質優先で符号化する符号化方式を選択するように指示することを特徴とする請求項５に記載の動画像符号化装置。
【請求項７】
入力される音声中に含まれている所定のキーワードを検出し、当該キーワードに対応した符号化方式を選択するための指令を出力する音声指令検出手段と、
上記音声指令検出手段から出力された指令に対応して、上記符号化方式の選択を変更する指令を上記画像状態検出手段へ出力する変更指令出力手段と
をさらに備えたことを特徴とする請求項１〜６のいずれかに記載の動画像符号化装置。
【請求項８】
上記音声指令検出手段は、上記音声が入力される音声入力部と、上記音声入力部に入力された音声を文字情報に変換し、その文字情報の中から、所定のキーワードに合致する文字情報を抽出し、当該文字情報に対応した符号化方式を選択するための指令を出力する音声認識部とを備えたことを特徴とする請求項７に記載の動画像符号化装置。
【請求項９】
上記音声認識部は、上記音声をテキストデータに変換してなる文字情報として出力する音声−テキスト変換部と、上記所定のキーワードを保存するキーワード記憶部と、上記音声−テキスト変換部からの出力と上記キーワード記憶部に記憶されているキーワードとを比較して、上記文字情報のうちから上記キーワードに合致する文字情報を抽出し、当該文字情報に対応した符号化方式を選択するための指令を出力する音声指令判定部とを備えたことを特徴とする請求項８に記載の動画像符号化装置。
【請求項１０】
上記音声指令検出手段は、上記所定のキーワードと合致する文字情報が検出された場合には、当該文字情報に対応した符号化方式を選択するための指令を出力し、当該指令が出力された場合にのみ、上記符号化制御手段が上記符号化方式の選択の変更を行うことを特徴とした請求項８又は９に記載の動画像符号化装置。
【請求項１１】
上記画像状態検出手段は、比較対象となるサンプル画像を予め記憶している画像記憶部と、上記入力された動画像信号によって再現される画像と上記画像記憶部に記憶されているサンプル画像とを比較する画像比較部と、上記画像比較部による比較の結果から、比較された両画像に対する類似度を判定し、所定の類似度以上の場合には、そのときのサンプル画像に対応した符号化方式を選択する指示を上記符号化制御手段へ出力する画像類似度判定部とを備えたことを特徴とする請求項１〜１０のいずれかに記載の動画像符号化装置。
【請求項１２】
音声が入力される音声入力部と、上記音声入力部に入力された音声を文字情報に変換し、その文字情報の中から、所定のキーワードに合致する文字情報を抽出し、当該文字情報に対応した符号化方式を選択するための指令を出力する音声認識部とを備え、
上記画像状態検出手段は、上記音声認識部によって上記所定のキーワードに合致する文字情報が抽出された場合には、そのキーワードに対応する画像を、上記画像記憶部に記憶されている画像の中から検索して、上記画像比較部で上記入力された画像と比較するための上記サンプル画像として用いる
ことを特徴とする請求項１１に記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像符号化装置に関し、例えば、携帯電話機に設けられたカメラなどから入力された動画像の符号化を行う装置に適用し得るものである。
【背景技術】
【０００２】
例えば、ビデオカメラなどで撮影された映像を、通信回線を用いて送信する場合には、一般に符号化という手法が用いられる。符号化とは、映像（画像）データを圧縮する処理のことであり、フレーム内符号化、フレーム間符号化、予測符号化などが知られている。また、さまざまな符号化方法のうちから、バッファの残量などに対応した方法を適宜に選択して用いるという技術なども一般に知られている。
【０００３】
上記のような技術では、その時々の状況や、各システムに特有の制御方法に対応した符号化を行うことが要請されるが、さまざまな符号化方法に対して、外部から入力される１種類のコントロール信号のみで適切な対応を行うことは困難である場合が多い。
【０００４】
ここで、屋外で怪我人がでたときに、携帯電話機を用いて病院に連絡を取り、動画像を利用してそのときの怪我の状態を伝えるというような場合についてを一例として考える。この場合、怪我の発生時の状況等を言葉で説明しているときには、特に画質を優先する必要はないが、怪我の患部の状態を一目瞭然に病院側に伝えたいときには、その患部の画像を病院へと伝送することが極めて有効である。従って、その場合には、患部の画像をビデオカメラなどで撮影し、その映像信号を携帯電話機を介して病院へと伝送することが要請される。このような患部の全体的な状況をまず伝達したい場合などには、動画像の画質を最優先にすることが望まれる。
【０００５】
あるいは、より詳細に患部の状態を伝達するためには、カメラの光学的なズーム機能を使うなどして、患部の拡大画像を撮影することが必要となる場合も多い。
【０００６】
ところが、そのように患部画像をズームインすると、フレーム間の動きが大きくなって、画質が劣化することがある。
【０００７】
そこで、このようなズームインの際に生じることの多い拡大画像の画質の劣化を回避するために、従来の技術では、ビデオカメラにおける、光学的なズーム制御と符号化方法の選択とを、連動させるようにしている（特許文献１）。
【０００８】
すなわち、ズームイン時には、圧縮率を下げて高精細な画像を復元できるような方式の符号化を選択して行い、ズームアウト時には、１フレーム当たりの圧縮率を上げてフレーム数を多くすることで動きを優先することができるような方式の符号化を選択して行うようにしている。そして、このようにして最適な方式によって符号化された画像信号は、携帯電話機及びその通信回線等を伝送手段として経由して、病院などの送信目的地へと転送される。
【特許文献１】特開平８−４６８５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、上記のような最適な符号化方式の選択は、光学的ズーム機能を有するビデオカメラ等においては可能であるが、例えば、カメラ付携帯電話機に用いられているような、光学的ズーム機能の付いていないカメラにおいては適用できない。
【００１０】
また、敢えてカメラ付携帯電話機のカメラに光学的ズーム機構等を付加すると、少なくともその部分の構造が煩雑なものとなり、ひいては携帯電話機全体の寸法の小型・薄型化の著しい妨げとなるという問題や、製造コストや部品コストが高額化する恐れがあるという問題がある。
【００１１】
さらに、仮に、そのような光学的ズーム機構等を付加できたとしても、その光学的ズームの機能等の使い方に不慣れなユーザにとっては、その操作が難しいものと感じられるという、別段の問題が発生する。例えば、カメラ付携帯電話機の場合には、一般に、撮影する画像のズームイン等のような加工処理は、入力操作用ボタン等を操作することによって電子的に行われるようになっており、光学的に行っているわけではない。このため、一般的なユーザにとっては、入力操作用ボタン等の操作とは別に、光学的ズームのような光学的な機能の操作を行うことに対しては、不慣れである場合が多く、その操作の簡便さや使い勝手の点で、種々の不都合が生じる恐れがある。
【００１２】
また、光学的ズーム機能を備えていないカメラ付携帯電話機などで、光学的ズーム機能を用いること以外の方法によって、撮影した映像を拡大する方法としては、撮影された画像を信号処理によって拡大する、という方法がある。
【００１３】
ところが、そのように信号処理によって画像を拡大すると、画像の精細度が劣化してしまう。また、そのような信号処理によって拡大されて精細度が劣化した画像に圧縮率が高くなるような符号化処理を施すと、画像の精細度はさらに劣化してしまうという問題がある。
【００１４】
本発明は、上述した課題を解決するためになされたもので、光学的ズーム機能を有さない動画像撮像手段を備えた電子機器等における、画像の撮像状態に対応して最適な符号化方式を選択して実行することを可能とする動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
かかる課題を解決するために、本発明に係る動画像符号化装置は、動画像信号を入力する動画像信号入力手段と、所定の複数の符号化方式のうちからいずれかの符号化方式を選択し、当該符号化方式によって、入力された動画像信号を符号化する符号化手段とを有する動画像符号化装置であって、入力された動画像信号によって再現される画像の状態を検出する画像状態検出手段と、画像状態検出手段によって検出された画像状態に対応して、複数の符号化方式のうちから符号化方式を選択し、当該符号化方式によって、入力された動画像信号を符号化するように、符号化手段を制御する符号化制御手段とを備えたことを特徴とする。
【００１６】
かかる構成により、入力された動画像信号が表す画像の状態に適応した符号化方式を自動的に選択し、その最適な符号化方式によって、最適な動画像信号の符号化が行われる。
【発明の効果】
【００１７】
本発明の動画像符号化装置によれば、入力された動画像信号が表す画像の状態に適応した符号化方式を自動的に選択し、その最適な符号化方式によって、画像の状態に適応した最適な動画像信号の符号化を行うことができるので、光学的ズーム機能を有さない動画像撮像手段を備えた電子機器（例えば、カメラ付携帯電話機）においても、ズームイン状態か静止画像状態か動画像状態か、といった画像の状態に対して最適な符号化方式を選択して実行することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明による動画像符号化装置の最良の形態について図面を参照して説明する。
【００１９】
（Ａ）第１の実施形態
図１は、本発明の第１の実施形態に係る動画像符号化装置の主要部の構成を示すブロック図である。
【００２０】
この動画像符号化装置は、入力された画像データの状態を検出する画像状態検出部１００と、カメラ装置などから画像データを入力する動画像信号入力部１０１と、入力された画像データを符号化する動画像符号化部１０２と、入力された画像データの符号化方法を制御する符号化制御部１０３とから、その主要部が構成されている。
【００２１】
画像状態検出部１００は、さらに詳細には、入力された画像データと前フレームの画像データとを比較する画像比較部１０４と、前画像データを記憶する前画像記憶部１０５と、入力された画像データと前フレームの画像データとの比較結果より画像の状態を判定する画像状態判定部１０６とを備えている。
【００２２】
動画像信号入力部１０１は、画像符号化部１０２及び画像比較部１０４に接続されており、入力された画像データを動画像符号化部１０２及び画像比較部１０４に送信する機能を有している。
【００２３】
動画像符号化部１０２は、動画像信号入力部１０１及び符号化制御部１０３に接続され、動画像信号入力部１０１から入力された画像データを、符号化制御部１０３から指示される符号化方式によって符号化して、その符号化されたデータを出力する機能を有している。
【００２４】
画像比較部１０４は、動画像信号入力部１０１、前画像記憶部１０５及び画像状態判定部１０６に接続され、動画像信号入力部１０１から入力された画像データと前画像記憶部１０５に記憶されている前フレームの画像との比較を行い、その結果を、画像状態判定部１０６へと送出する機能を有している。
【００２５】
前画像記憶部１０５は、画像比較部１０４に接続され、その画像比較部１０４で現フレームの画像データとして用いられた画像データを、次回の比較のために、前フレーム画像データとして記憶する機能を有している。
【００２６】
画像状態判定部１０６は、画像比較部１０４及び符号化制御部１０３に接続され、画像比較部１０４の処理結果を受けて画像の状態を判定し、その判定結果に基づいて、符号化方法を決定し、それを選択する指令を符号化制御部１０３へと送信する機能を有している。
【００２７】
符号化制御部１０３は、画像状態判定部１０６及び動画像符号化部１０２に接続され、画像状態検出部１００内の画像状態判定部１０６から出力される指令に基づいて、最適な符号化方式を選択して、その符号化方式に則した符号化処理を動画像符号化部１０２に実行させる、という制御を行う機能を有している。
【００２８】
次に、この第１の実施形態に係る動画像符号化装置の動作を、図２のフローチャートに基づいて説明する。
【００２９】
まず、ステップＳ１０１において、フレーム数Ｎをカウントする変数を０（Ｎ＝０）とする。
【００３０】
次に、カメラなどから動画像信号入力部１０１を通じて入力された画像データがある場合には（ステップＳ１０２のＹＥＳ）、その画像データを、画像比較部１０４に入力する（ステップＳ１０３）。入力データがない場合には（ステップＳ１０２のＮＯ）処理を終了する（ＥＮＤ）。
【００３１】
入力された画像が、１フレーム目である場合（ステップＳ１０４のＮＯ：Ｎ＝０のとき）には、その画像データを、前画像記憶部１０５に記憶する（ステップＳ１０５）。そして、次の画像データが入力されるのを待つ（ステップＳ１０５〜ステップＳ１０２）。
【００３２】
一方、ステップＳ１０４で、２フレーム目以降の画像であると判定された場合には（ステップＳ１０４のＹＥＳ：Ｎ≠０のとき）、フレーム数Ｎの１インクリメントを行なった後（ステップＳ１０６）、前画像記憶部１０５に記憶されている前画像を読み出して、その前画像と今入力された画像との比較を、画像比較部１０４で行う（ステップＳ１０７）。
【００３３】
画像比較部１０４での比較の結果は、画像状態判定部１０６に入力されて、そのときの画像の状態がズームイン画像状態であるか否かが判定される（ステップＳ１０８）。ここで、ズームイン画像であると判定された場合には（ステップＳ１０８のＹＥＳ）、画質重視の符号化を選択することを、符号化制御手段１０３に対して指示する（ステップＳ１０９）。この比較方法及び判定方法についてのさらに詳細な説明については、図３及び図４を用いて後述する。これに対して、ステップＳ１０８でズームイン画像ではないと判定された場合には（ステップＳ１０８のＮＯ）、動き重視の符号化を選択することを、符号化制御部１０３に対して指示する（ステップＳ１１０）。
【００３４】
いずれにしても、ここで符号化方法の指示が完了すると（ステップＳ１０９又はＳ１１０）、入力された画像データを前画像記憶部１０５に記憶する（ステップＳ１０５）。そして、次の画像データが入力されるのを待つ（ステップＳ１０２）。
【００３５】
一方、符号化制御部１０３は、画像の状態に適応した符号化方式を指示されると、それが画質重視の符号化方式を選択する指示である場合には（ステップＳ１０９の場合には）、フレームレートを下げる、１フレーム当りの圧縮率を下げる、量子化ステップサイズを小さくするなど、より高精細な画像を再現（復元）できるような符号化方式を選択して実行するという制御を、動画像符号化部１０２に対して行う。あるいは、動き重視の符号化方式を選択する指示の場合には（ステップＳ１１０の場合には）、フレームレートを上げる、１フレーム当りの圧縮率を上げる、量子化ステップサイズを大きくするなどの符号化方式を選択して実行するという制御を、動画像符号化部１０２に対して行う。
【００３６】
そして、動画像符号化部１０２では、符号化制御部１０３によって制御されて、最適なものとして選択された符号化方法による符号化を、動画像信号入力部１０１から入力された画像データに対して実行して、その符号化されたデータを出力する。
【００３７】
次に、画像比較部１０４及び画像状態判定部１０６で行われる比較方法及び判定方法（主にステップＳ１０７、Ｓ１０８で行われる動作）について、図３及び図４を用いて、さらに詳細に説明する。
【００３８】
図３は、通常のいわゆる広角の画像の状態から次第にズームイン（ズームアップ又はクローズアップとも呼ぶ）して行く、時系列的に連続した３フレーム分の画像データの一例を表したものである。この図３では、フレーム番号の若い順に（前の画像から後の画像への順に）、［０］、［１］、［２］と番号を付している。
【００３９】
また、図４は、画像比較・判定処理の主要な流れを示すフローチャートである。このフローチャートを説明する前提として、フレーム［０］の画像データ（以降［０］と呼ぶ）は、既に前画像記憶部１０５に記憶されているものとして説明する。
【００４０】
カウンタＣを０にセットした後（ステップＳ４０１：Ｃ＝０）、図３に示した前画像（ここでは［０］）における、点線部分に示したような画面中央部の画像を切り出す（ステップＳ４０２）。そして、切り出された画像の拡大画像のデータを、信号処理上の手法によって作成する（ステップＳ４０３）。この拡大処理は、拡大用のフィルタを使って行っても良く、あるいは単に、縦、横に所定の倍率で拡大した画像データを作成しても良い。
【００４１】
その［０］を拡大してなる画像と、現画像（ここでは［１］）との、マッチングを行う（ステップＳ４０４）。その比較した結果、両者の差分が規定値よりも小さいなど、両者がマッチした場合には（ステップＳ４０４のＹＥＳ）、ズームイン画像であると判定し、符号化制御部１０３に画質重視の符号化方式を選択して実行する制御を行う指令を出力して（ステップＳ４０５）、一連の処理を終了する（ＥＮＤ）。一方、両者がマッチしていない場合には（ステップＳ４０４のＮＯ）、カウンタＣを１インクリメントする（ステップＳ４０６：例えばＣ＝０をＣ＝１に書き替えるなどする）。
【００４２】
カウンタＣの示す数値が、所定の回数（ここではα回）以上の値になっていなければ（ステップＳ４０７のＮＯ：換言すれば所定の回数未満の場合には）、ステップＳ４０２に戻り、再度、上記と同様の処理（ステップＳ４０１〜Ｓ４０７）を行う。但し、次回のステップＳ４０３では、上記とは異なった拡大率で拡大画像を作成する。
【００４３】
あるいは、カウンタＣの示す数値が、所定の回数以上になったことが判定された場合には（ステップＳ４０７のＹＥＳ）、動き重視の符号化方式を選択する指令を符号化制御部１０３へと出力して（ステップＳ４０８）、一連の処理を終了する（ＥＮＤ）。
【００４４】
以上のような処理は、さらに次の画像に対しても上記と同様にして続けられる。すなわち、次の画像である［２］の画像についても、それを現画像とし、それよりも時間的に一つ前の画像である［１］の画像を前画像として、上記同様の処理を行う（ステップＳ４０１〜Ｓ４０４）。そして、［２］の画像がズームイン画像であると判定された場合には（ステップＳ４０４のＹＥＳ）、前画像である［１］の画像の場合よりも、さらに画質を重視する制御を［２］に対して行う命令を、符号化制御部１０３へと出力する（ステップＳ４０５）。
【００４５】
次に、この第１の実施形態に係る動画像符号化装置の作用、効果について説明する。
【００４６】
図３に［０］として示したような通常の状態（広角の状態）のままで、撮影対象が動く、という動画像の信号が入力されている場合には、それを検知して（ステップＳ１０８のＮＯ〜ステップＳ１１０）、一つ一つのフレームごとの画質重視の符号化よりも、動き重視の符号化を選択して実行することで（例えば、フレームレートの高い符号化を選択して行うことで）、撮影対象の動きがスムーズに再現されるようにすることができる。
【００４７】
あるいはまた、図３に［０］→［１］→［２］として示したようなズームインの状態の動画像の信号が入力されている場合には、それを検知して（ステップＳ１０８のＹＥＳ〜ステップＳ１０９）、動き重視の符号化よりも、一つ一つのフレームごとの画質重視の符号化を選択して実行することで（例えば、量子化ステップサイズの小さい符号化を選択して行うことで）、ズームイン状態に耐え得る高精細な動画像が再現されるようにすることができる。
【００４８】
以上のように、第１の実施形態に係る動画像符号化装置によれば、光学的ズーム機能が付いていない、又は構造上取り付けることが困難な、カメラや電子機器等においても、信号処理によって画像のズームインやズームアウトを行うと共に、そのときの画像の状態を判定することで、ズームインのときには画質重視の符号化方式を選択し、それ以外のときは動き重視の符号化方式を選択するなど、画像の状態に応じて適切な符号化方式を自動的に的確に選択して、常に良好な表示品質の画像を再現することのできる符号化を実行することができる。
【００４９】
（Ｂ）第２の実施形態
図５は、第２の実施形態に係る動画像符号化装置の主要部の構成を表したものである。この動画像符号化装置は、画像状態検出部２００内で、画像の状態を記憶する画像状態記憶部５０１を備えている点、及び画像状態判定部５０２が、画像の状態を判定する機能及び静止状態を判別する機能をさらに備えている点が、第１の実施形態と異なっている。その他については、第１の実施形態と同様である。なお、第１の実施形態と同様の構成部位には同じ符号を付し、その詳細な説明については省略する。
【００５０】
画像状態記憶部５０１は、画像状態判定部５０２に接続されており、画像状態判定部５０２で判定された画像の状態を、時系列的に順次記憶する機能を有している。
【００５１】
画像状態判定部５０２は、画像比較部１０４、画像状態記憶部５０１及び符号化制御手段１０３に接続されており、画像比較部１０４での比較の結果に基づいて、画像の状態を判定した後、必要に応じて静止状態も判定し、その結果を符号化制御部１０３に伝送する機能を有している。
【００５２】
次に、この第２の実施形態に係る動画像符号化装置の動作を、図５及び図６に基づいて説明する。
【００５３】
まず、フレーム数Ｎをカウントする変数を０とする（ステップＳ６０１：Ｎ＝０）。次に、カメラ（図示省略）などから動画像信号入力部１０１を通して入力された画像データがある場合には（ステップＳ６０２のＹＥＳ）、その画像データは画像比較部１０４に入力される（ステップＳ６０４）。またそれと共に、ズームインが何フレーム連続しているかをカウントする変数Ｚと、静止状態が何フレーム連続しているかをカウントする変数Ｓとを、それぞれ０にセットする（ステップＳ６０３）。以後、変数Ｓ及びＺは、画像状態記憶部５０１にて記憶、更新される。入力データがない場合には、処理を終了する（ＥＮＤ）。
【００５４】
画像データがあり、その入力された画像が１フレーム目である場合には（Ｎ＝０のとき：ステップ６０５のＮＯ）、その画像データを前画像記憶部１０５に記憶する（ステップＳ６０６）。そして次フレームの画像データが入力されるのを待つ（ステップＳ６０６〜Ｓ６０２）。
【００５５】
あるいは、２フレーム目以降の画像である場合には（Ｎ≠０のとき：ステップＳ６０５のＹＥＳ）、フレーム数Ｎのインクリメントを行なった後（ステップＳ６０７）、前画像記憶部１０５に記憶されている画像と、今入力された画像との比較を画像比較部１０４で行う（ステップＳ６０８）。
【００５６】
画像比較部１０４で行われた比較の結果は、画像状態判定部５０２に入力されて、ズームイン画像かどうかが判定される（ステップＳ６０９）。ここでズームイン画像であると判定された場合には（ステップＳ６０９のＹＥＳ）、変数Ｚをインクリメントすると共に、変数Ｓを０にセットし（ステップＳ６１０）、ステップＳ６０６に移る。ステップＳ６０６では、入力された画像データを前画像記憶部１０５に記憶し、次の画像データが入力されるのを待つ（ステップＳ６０２）。そして上記の流れを繰り返す。
【００５７】
あるいは、ステップＳ６０９で、ズームイン画像ではないと判定された場合には（ステップＳ６０９のＮＯ）、過去にズームイン画像が連続したか（Ｚ＞０）、又は静止状態が連続しているか（Ｓ＞０）を確かめる（ステップＳ６１１）。そのいずれかの場合には（ステップＳ６１１のＹＥＳ）、さらに、現画像が前画像と大差のない状態（静止状態）であるかどうかを判定する（ステップＳ６１２）。
【００５８】
そして、ステップＳ６１２にて静止状態ではないと判定された場合（ステップＳ６１２のＮＯ）、あるいはステップＳ６１１においてどちらの条件（Ｚ＞０又はＳ＞０）も満たさないと判定された場合には（ステップＳ６１１のＮＯ）、動き重視の符号化方式を選択して実行する制御を行う指令を、符号化制御部１０３に対して出力する（ステップＳ６１５）。
【００５９】
あるいは、ステップＳ６１２にて静止画像であると判定された場合には（ステップＳ６１２のＹＥＳ）、変数Ｓをインクリメントすると共に、変数Ｚを０にセットし（ステップＳ６１３）、画質重視の符号化を選択して実行する制御を行う指令を、符号化制御部１０３に対して出力する（ステップ６１４）。
【００６０】
続いて、入力された画像データを前画像記憶部１０５に記憶し（ステップＳ６０６）、次の画像データが入力されるのを待つ（ステップＳ６０６〜Ｓ６０２）。
【００６１】
他方、符号化制御部１０３は、符号化方式を指示されると、それが画質重視の符号化方式を選択する指示の場合には、フレームレートを下げる、フレーム圧縮率を下げる、量子化ステップサイズを小さくするなどの符号化方式を選択してそれによる符号化を実行する制御を動画像符号化部１０２に対して行う。あるいは、動き重視の符号化方式を選択する指示の場合には、フレームレートを上げる、フレーム圧縮率を上げる、量子化ステップサイズを大きくするなどの符号化方式を選択してそれによる符号化を実行する制御を動画像符号化部１０２に対して行う。
【００６２】
そして、動画像符号化部１０２では、動画像入力部１０１から入力されて来た画像データに対して、符号化制御部１０３によって制御された符号化方法による符号化を行って、その符号化されたデータを出力する。
【００６３】
次に、画像比較部１０４及び画像状態判定部５０２で行われる比較方法及び判定方法の一例について、図６及び図７に基づいて説明する。
【００６４】
図７は、時系列的に連続する４フレーム分の画像データの一例を表したものである。フレーム番号の若い順に、［０］、［１］、［２］、［３］と番号を付している。なお、この比較方法及び判定方法の主要な流れについては、図６に示したフローチャートのほぼ右半分を用いて説明する。また、その前提として［０］の画像データは既に前画像記憶部１０５に記憶されているものとする。
【００６５】
まず、前フレーム画像と現フレーム画像との比較を行う（ステップＳ６０８）。その結果、ズームイン画像であると判定された場合には、変数Ｚをインクリメントする（ステップＳ６１０）。ここでは、例えばＺ＝１にする。また、図７の［０］→［１］のときには、まだ静止状態は検知されていないので、Ｓ＝０とセットされる（ステップＳ６１０）。このズームインか否かの判定方法については、第１の実施形態で説明した方法と同様であるのでここでは省略する。
【００６６】
次の入力画像（図７の［２］）もズームイン画像である場合（図７の［１］→［２］；Ｚ＝２の状態）、その旨が判定されるが、次の入力画像（図７の［２］→［３］）では、ズームイン画像ではないと判定される。
【００６７】
より詳細には、ステップＳ６１１では、変数Ｚ＞０（Ｚ＝２）であることから、ステップＳ６１２に進む。ステップＳ６１２では、前画像と現画像の比較を行うが、この一例では静止画像であるため、静止画像と判定されて（ステップＳ６１２のＹＥＳ）、ステップＳ６１３に進む。
【００６８】
ステップＳ６１３では、静止状態の連続数を示す変数Ｓを１インクリメント（ここではＳ＝１）し、ステップＳ６１４において符号化制御部１０３に画質重視の制御を選択して実行する旨の指令を出力する。画質重視の制御の指令を受けた符号化制御部１０３は、量子化ステップサイズを小さくするなどの符号化方法を選択する旨の制御信号を動画像符号化部１０２に伝達し、動画像符号化部１０２では、その制御信号に基づいて、静止画像に適応した高精細な画像を再現できるような画質重視の符号化を行う。
【００６９】
以上のように、第２の実施形態の動画像符号化装置によれば、ズームイン状態が連続した後に静止画像状態となった場合にも、画質重視の符号化方式を選択するようにしたので、カメラを単に動かしただけでは画質重視とはならないが、目的の被写体にターゲットを合わせてから静止画状態になったと推定される場合に、そのズームインされて静止状態となっている画像について適切な符号化方式である、画質重視の符号化方式を選択することができる。
【００７０】
具体的には、例えば屋外で怪我をした際に、カメラ付携帯電話機を用いて病院に電話を掛け、そのときの怪我の状況を、動画像を利用して伝えるというような場合に、患部の状態を見せるときには一度大まかに（広角画像的に）患部を写しその後、患部へと徐々にズームインして行き、最大拡大率になった後、暫くはその拡大された静止画像の状態で患部を撮影し続ける、というような撮影の仕方が成されることがある。このような場合、そのズームイン中も、静止中も、常に良好な画質を再現することのできる符号化を適切に選択して実行することが可能となる。
【００７１】
（Ｃ）第３の実施形態
図８は、第３の実施形態に係る動画像符号化装置の主要部の構成を表したものである。この動画像符号化装置は、音声指令検出部８００と変更指令出力部８０５とを、さらに備えている点が、第２の実施形態と異なっている部分である。なお、第２の実施形態と同様の構成部位には同じ符号を付して、その詳細な説明については省略する。
【００７２】
音声指令検出部８００は、通話中の音声を入力する音声入力部８０１と、音声認識部８０６とを備えている。
【００７３】
より具体的には、音声認識部８０６は、音声入力部８０１を介して入力された音声を、テキストデータに変換する音声−テキスト変換部８０２と、その変換されたテキストデータのうちから、所定のキーワードに合致するテキストデータを識別して抽出する音声指令判定部８０３と、所定のキーワードをテキストデータとして記憶しているキーワード記憶部８０４とから、その主要部が構成されている。
【００７４】
音声入力部８０１は、音声−テキスト変換部８０２に接続されており、携帯電話機の通話機能にて通話中の音声を、音声−テキスト変換部８０２に送信する機能を有している。
【００７５】
音声−テキスト変換部８０２は、音声入力部８０１及び音声指令判定部８０３に接続されており、音声入力部８０１から入力された音声データをテキストデータに変換し、音声指令判定部８０３に送信する機能を有している。
【００７６】
音声指令判定部８０３は、音声−テキスト変換部８０２、キーワード記憶部８０４及び変更指令出力部８０５に接続されており、音声−テキスト変換部８０２から得られたテキストデータの中に、キーワード記憶部８０４に予め記憶されているテキストデータと同等のものがあるかを識別し、その結果を変更指令出力部８０５へと送出する機能を有している。
【００７７】
変更指令出力部８０５は、動画像入力部１０１、音声指令判定部８０３及び画像比較部１０４に接続されており、音声指令判定部８０３の判定結果を受信し、その結果に基づいて、スイッチをＯＮ／ＯＦＦする機能を有する、スイッチである。この変更指令出力部８０５のスイッチがＯＮの状態の場合には、動画像入力部１０１の画像データが画像比較部１０４に送信される。あるいはＯＦＦの場合には、送信されない。
【００７８】
上記以外の構成要素、接続状態及び機能については、第２の実施形態のそれと同様であるので、ここでの詳述は省略する。
【００７９】
次に、この第３の実施形態に係る動画像符号化装置の主要な動作について、図８及び図９に基づいて説明する。なお、主要な動作は概ね第２の実施形態とほぼ同様であるので、ここでは異なった部分のみについて説明する。
【００８０】
携帯電話機の通話機能を使用して通話が行われるが、その通話中の音声が、音声入力部８０１に入力されると、その音波がキャプチャされてデジタル化され、音声データとなる（ステップＳ９０１）。
【００８１】
続いて、音声−テキスト変換部８０２で、入力された音声データをテキストデータに変換する（ステップＳ９０２）。ここで、音声−テキスト変換とは、音声データを基本的な言語単位（音素）に変換し、音素を単語に構築し、さらに、文脈から単語を判断して発音が似ている単語（例えばｗｒｉｔｅとｒｉｇｈｔなど）の綴りを正しく修正すること等を言う。
【００８２】
変換されたテキストデータは、音声指令判定部８０３に送信され、キーワード記憶部８０４に予め記憶されたテキストデータとのマッチングが行われる（ステップＳ９０３）。
【００８３】
ここで予め記憶されていたテキストデータ（キーワード）とマッチすれば、音声指令判定部８０３は変更指令出力部８０５に対してスイッチをＯＮするように指示を出す（ステップＳ９０４）。あるいはマッチしなければ、スイッチをＯＦＦするように指示を出し（ステップＳ９０５）、次の音声入力を待つ（ステップＳ９０１）。
【００８４】
音声指令判定部８０３から指示を受けた変更指令出力部８０５は、その指示に従って、スイッチをＯＮもしくはＯＦＦにする。スイッチをＯＮにした場合は、動画像入力部１０１から得られた画像データを画像比較部１０４に送信する。
【００８５】
以降の処理については、第２の実施形態と同様であるので（ステップＳ９０６〜）、ここでの詳述は省略する。
【００８６】
上記の動作を、具体例に則して説明する。例えば、キーワード記憶部８０４には、「患部」、「写す」、「拡大」などのテキストデータが、キーワードとして予め記憶されていたとする。
【００８７】
音声入力部８０１に入力された音声が「これから患部を写します」という言葉であったとすると、その音声をデータ化してなる音声データは、音声−テキスト変換部８０２に送信されて、テキストデータに変換される。そのテキストデータから単語を抽出すると、例えば「これから」、「患部」、「写します」となる。これらのテキストデータとキーワード記憶部８０４に予め記憶されたキーワードとのマッチングをとり、「患部」、「写す」がマッチすることが判明すると、変更指令出力部８０５のスイッチをＯＮにし、以降、第２の実施形態に示したように、画像符号化方法を適応的に変更する処理に移る。
【００８８】
以上のようにして、第３の実施形態によれば、画像符号化方法を適応的に変更する方法として通話中の音声を利用するようにしたので、ユーザの意思を自動的かつ効果的に取り入れることができ、ユーザが必要なときにのみ画質優先の符号化を行うことが可能になる。
【００８９】
（Ｄ）第４の実施形態
図１０は、第４の実施形態に係る動画像符号化装置の主要部の構成を表したものである。この動画像符号化装置は、画像状態検出部３００が、前画像記憶部１０５の代りに画像記憶部１１５を備えている点、及び画像状態判定部１０６の代りに画像類似度判定部１１６を備えている点が、第１の実施形態と異なっている部分である。なお、第１の実施形態と同様の構成部位には同じ符号を付して、その詳細な説明については省略する。
【００９０】
画像記憶部１１５は、画像比較部１０４に接続されており、予めサンプルの画像データを記憶しておき、それを画像比較部１０４に対して提供する機能を有している。
【００９１】
画像類似度判定部１１６は、画像比較部１０４及び符号化制御部１０３に接続されており、画像比較部１０４における、入力された画像データと、予め記憶されていたサンプルの画像データとの比較の結果を受けて、画像の類似度を判定し、その結果を符号化制御部１０３へと送出する機能を有している。
【００９２】
上記以外の構成要素、接続状態及び機能については第１の実施形態と同様であるので、ここではそれらの詳述は省略する。
【００９３】
次に、この動画像符号化装置の動作について、図１０を参照して説明する。なお、その動作は概ね第１の実施形態と同様であるので、ここでは第１の実施形態の動画像符号化装置とは異なった部分について特に説明するものとする。
【００９４】
まず、動画像入力部１０１より入力された画像データは、画像比較部１０４にて、画像記憶部１１５に記憶されているサンプルの画像データと比較される。このときの比較の方法としては、例えば、第１の実施形態でズームインしているかどうかの判定を行う際のマッチング方法を用いる、ということがある。また、ここで追加すべき機能としては、ここでは拡大しているかどうかではなく類似しているかどうかを判定しなければならないのであるから、マッチングを取る際には、縮小画像も作成することも必要となる。
【００９５】
画像比較部１０４で比較した結果は、画像類似度判定部１１６に送信されて、判定される。例えば、画像比較部１０４の比較演算結果（演算値）が、所定の閾値よりも低ければ類似しているものと判定する。この比較結果の情報を、符号化制御部１０３に送信する。
【００９６】
符号化制御部１０３では、類似しているという結果の場合には、画質優先の符号化方式を選択し実行する旨の制御を行い、類似していないという結果の場合には、動き優先の符号化方式を選択し実行する旨の制御を行う。
【００９７】
そして動画像符号化部１０２では、符号化制御部１０３によって指示された（選択され制御された）符号化方式によって、例えば量子化ステップサイズの変更などのような、そのときの画像の状態に適応した符号化を行って、その符号化された画像データを出力する。
【００９８】
上述の動作を、具体例を用いて説明する。例えば、動画像入力部１０１に入力された画像データが、足の怪我を写している画像データであったとする。その画像データは、画像比較部１０４に入力されて、予め画像記憶部１１５に記憶された別の足の怪我の画像データとの比較が行われる。
【００９９】
その比較の結果は、画像類似度判定部１１６に伝送される。画像類似度判定部１１６では、比較の結果が所定の類似度以上の類似度で「類似している」、すなわち入力された画像が足の怪我である、と判定した場合には、符号化制御部１０３に画質優先の指示を出力して、怪我の様子がさらに詳細かつ明確な画像として再現できるような符号化方式を選択するように、符号化制御部１０３に対して指令を送る。
【０１００】
以上のように、第４の実施形態に係る動画像符号化装置によれば、予め画質優先の符号化方式を選択すべき画像を記憶しておき、その画像と、カメラ等からの入力画像との比較を行うようにしたので、画質優先が必要とされる画像を自動的かつ的確に識別することができ、効率的に画質優先の符号化制御を行うことが可能となる。
【０１０１】
なお、上記各実施形態では、画面の中央部分に注目して、その部分を拡大する場合について説明したが、注目する部分を画面内の特定の領域に指定したり、画像から所定のオブジェクトのみを抽出してその画像にのみ注目するようにすることなども可能であることは勿論である。
【０１０２】
上記第２の実施形態においては、ズームインが所定の回数以上続き、続いて静止画になった場合に画質優先とする、という判定は、時系列的に連続した複数のフレームを対象として行うようにしたが、何フレーム毎かにすることや、画素数を間引くなどして、判定のために要する演算量を減らすようにしても良い。
【０１０３】
上記第３の実施形態においては、音声−テキスト変換の後、予め用意したテキストとのマッチングを取るようにしたが、例えばユーザ自身の声を音声データとして記憶し、音声データ毎にマッチングを取るようにしても良い。
【０１０４】
また、通話中の音声を、通常の通話機能とは別に、符号化方式の選択のために（判断材料として）用いるようにしているが、それ以外の音声でも良く、例えば「画質優先」などと言葉で命令を出すことで、その命令に従って、画像符号化方法を変更できるようにしても良いことは勿論である。
【０１０５】
また、電話を掛ける側（当方側）の音声を、符号化方式の選択のために用いるようにしているが、電話を掛けた相手先から当方への音声を用いるようにしても良い。例えば、電話を掛けた先が病院である場合、一般に、「はい、○○病院です」などの音声（言葉）が当方側に伝送されて来る。そこで、相手先からの音声のうちから、「病院」という単語が検出された場合には、画像符号化方法の変更を行うようにする、ということなども可能である。
【０１０６】
また、第４の実施形態において、比較する画像を検索する際に、患部を説明している言葉のうちからサンプルとなる画像画像を推測するようにすれば、その後のサンプル画像と入力画像との比較処理がさらに大幅に軽減されるので、さらに望ましい。
【図面の簡単な説明】
【０１０７】
【図１】第１の実施形態に係る動画像符号化装置の主要部の構成を示すブロック図である。
【図２】第１の実施形態に係る動画像符号化装置の動作の流れを表したフローチャートである。
【図３】次第にズームインして行く、時系列的に連続した３フレーム分の画像データの一例を表した図である。
【図４】第１の実施形態に係る動画像符号化装置における画像比較、判定処理の主要な流れを示すフローチャートである。
【図５】第２の実施形態に係る動画像符号化装置の主要部の構成を表した図である。
【図６】第２の実施形態に係る動画像符号化装置における画像比較・判定処理の主要な流れを示すフローチャートである。
【図７】次第にズームインして行き、静止画像状態に至る、時系列的に連続した４フレーム分の画像データの一例を表した図である。
【図８】第３の実施形態に係る動画像符号化装置の主要部の構成を表した図である。
【図９】第３の実施形態に係る動画像符号化装置の主要な動作の流れを示すフローチャートである。
【図１０】第４の実施形態に係る動画像符号化装置の主要部の構成を表した図である。
【符号の説明】
【０１０８】
１００、２００、３００…画像状態検出部、１０１…動画像信号入力部、１０２…動画像符号化部、１０３…符号化制御部、１０４…画像比較部、１０５…前画像記憶部、１０６…画像状態判定部、１１５…画像記憶部、１１６…画像類似度判定部、５０１…画像状態記憶部、５０２…画像状態判定部、８００…音声指令検出部、８０１…音声入力部、８０２…音声−テキスト変換部、８０３…音声指令判定部、８０４…キーワード記憶部、８０５…変更指令出力部、８０６…音声認識部。
【図１】
2005269428.tif 000003
【図２】
2005269428.tif 000004
【図３】
2005269428.tif 000005
【図４】
2005269428.tif 000006
【図５】
2005269428.tif 000007
【図６】
2005269428.tif 000008
【図７】
2005269428.tif 000009
【図８】
2005269428.tif 000010
【図９】
2005269428.tif 000011
【図１０】
2005269428.tif 000012