(57)【要約】【課題】  入力画像の圧縮または記録とサムネイル画像の生成処理とを併行して行うとともに，生成されるサムネイル画像のサイズまたは画質を入力画像の圧縮または記録中に変更することが可能な画像処理装置，撮像装置，コンピュータプログラムおよび画像処理方法を提供する。【解決手段】  本発明に係る画像処理装置１２は，入力画像の圧縮符号化処理を行う入力画像圧縮部３００と，入力画像のうち１または２以上の画像に対し縮小変換を施すことにより縮小画像の生成処理を行う縮小画像生成部７００と，を備え，縮小画像生成部７００は，縮小画像の生成処理と，入力画像の圧縮符号化処理とを併行して行い，かつ，上記１または２以上の画像から選択される所望の画像に対し，サイズを変更して縮小画像の生成処理を行う。【選択図】    図１
2005341382.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の圧縮符号化処理と，縮小画像の生成処理と，を行う画像処理装置において：
前記入力画像の圧縮符号化処理を行う，入力画像圧縮部と；
前記縮小画像の生成処理を，前記入力画像のうち１または２以上の画像に対し縮小変換を施すことにより，前記入力画像の圧縮符号化処理と併行して行い，かつ，前記１または２以上の画像から選択される所望の画像に対し，サイズを変更して縮小画像の生成処理を行う，縮小画像生成部と；
を備えることを特徴とする，画像処理装置。
【請求項２】
前記所望の画像の選択は，ユーザの選択信号に応じて行われることを特徴とする，請求項１に記載の画像処理装置。
【請求項３】
前記所望の画像の選択は，所定の検出器による所定のパラメータの検出結果に基づいて，自動的に行われることを特徴する，請求項１に記載の画像処理装置。
【請求項４】
前記所定の検出器は，画像の色差成分を分析することにより肌色成分量を検出することが可能な肌色検出器であり，前記所定のパラメータは，前記肌色検出器により検出される肌色成分量であることを特徴とする，請求項３に記載の画像処理装置。
【請求項５】
前記所望の画像の選択は，一定間隔ごとに行われることを特徴とする，請求項１に記載の画像処理装置。
【請求項６】
請求項１に記載の画像処理装置と，撮像部と，を備え，
前記撮像部からの出力を前記入力画像とすることを特徴とする，撮像装置。
【請求項７】
前記入力画像は動画像であり，前記サイズの変更は前記動画像の撮影中に行われることを特徴とする，請求項６に記載の撮像装置。
【請求項８】
入力画像の圧縮符号化処理と，縮小画像の生成処理と，前記縮小画像の圧縮符号化処理と，を行う画像処理装置において：
前記入力画像の圧縮符号化処理を行う，入力画像圧縮部と；
前記入力画像のうち１または２以上の画像に対し縮小変換を施すことにより前記縮小画像の生成処理を行う，縮小画像生成部と；
前記縮小画像の圧縮符号化処理を前記入力画像の圧縮符号化処理と併行して行い，かつ，前記縮小画像生成部により生成された１または２以上の前記縮小画像から選択される所望の画像に対し，画質を変更して前記縮小画像の圧縮符号化処理を行う，縮小画像圧縮部と；
を備えることを特徴とする，画像処理装置。
【請求項９】
入力画像の圧縮符号化処理と，縮小画像の生成処理と，を行うコンピュータプログラムにおいて：
コンピュータを，
前記入力画像の圧縮符号化処理を行う，入力画像圧縮部と；
前記縮小画像の生成処理を，前記入力画像のうち１または２以上の画像に対し縮小変換を施すことにより，前記入力画像の圧縮符号化処理と併行して行い，かつ，前記１または２以上の画像から選択される所望の画像に対し，サイズを変更して縮小画像の生成処理を行う，縮小画像生成部と；
して機能させるための，コンピュータプログラム。
【請求項１０】
入力画像の圧縮符号化処理と，縮小画像の生成処理と，前記縮小画像の圧縮符号化処理と，を行うコンピュータプログラムにおいて：
コンピュータを，
前記入力画像の圧縮符号化処理を行う，入力画像圧縮部と；
前記入力画像のうち１または２以上の画像に対し縮小変換を施すことにより前記縮小画像の生成処理を行う，縮小画像生成部と；
前記縮小画像の圧縮符号化処理を前記入力画像の圧縮符号化処理と併行して行い，かつ，前記縮小画像生成部により生成された１または２以上の前記縮小画像から選択される所望の画像に対し，画質を変更して前記縮小画像の圧縮符号化処理を行う，縮小画像圧縮部と；
して機能させるための，コンピュータプログラム。
【請求項１１】
入力画像の圧縮符号化処理を行う，入力画像圧縮ステップと；
前記入力画像のうち１または２以上の画像に対し，前記入力画像の圧縮符号化処理と併行して縮小変換を施すことにより縮小画像の生成処理を行うとともに，前記１または２以上の画像から選択される所望の画像に対しては，サイズを変更して縮小画像の生成処理を行う，縮小画像生成ステップと；
を含むことを特徴とする，画像処理方法。
【請求項１２】
入力画像の圧縮符号化処理を行う，入力画像圧縮ステップと；
前記入力画像のうち１または２以上の画像に対し縮小変換を施すことにより縮小画像の生成処理を行う，縮小画像生成ステップと；
前記縮小画像生成ステップにより生成された前記縮小画像の圧縮符号化処理と，前記入力画像の圧縮符号化処理とを併行して行うとともに，前記生成された１または２以上の縮小画像から選択される所望の画像に対しては，画質を変更して縮小画像の圧縮符号化処理を行う，縮小画像圧縮ステップと；
を含むことを特徴とする，画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像処理装置，撮像装置，コンピュータプログラムおよび画像処理方法に係り，特に，動画像の圧縮および記録を行うことができる画像処理装置，撮像装置，コンピュータプログラムおよび画像処理方法に関する。
【背景技術】
【０００２】
デジタル方式の静止画カメラにおいては，すでに記録した画像の縮小画像（サムネイル画像）を生成し，生成したサムネイル画像をインデックスとして用いることが広く行われている。また，最近では，例えば，光ディスク，磁気ディスク，半導体メモリなどを記録媒体とするデジタル方式の動画カメラにおいても，撮影した動画像のサムネイル画像を，例えば，所望の位置から再生位置を指定する際のプレビュー画面として使用したり，記録後の編集作業（例えば，カット編集）等におけるプレビュー画面として用いられたりするようになってきている。これは，デジタル方式の動画カメラは，ランダム・アクセスが可能であるという特徴を有するからである。
【０００３】
すなわち，サムネイル画像は，１つの画面に複数の画像を同時に表示することができるため，ユーザは目的の画像を迅速に選ぶことが可能であることから，編集作業等に適している。また，サムネイル画像は，撮影した動画像そのものよりもデータ量が少ないため，表示時間を短縮することができ，高速で早送りや巻き戻しが可能なことから，再生位置の指定等に適している。
【０００４】
一方，静止画カメラの場合と同様に，一度半導体メモリなどに記録した動画像データからサムネイル画像を生成することは，操作が面倒であるだけでなく，処理時間も多くかかるため，ユーザが目的の画像を迅速に選んだり，画像の表示時間を短縮したりすることができない。すなわち，ランダム・アクセスが可能であるというデジタル方式の動画カメラの特徴を十分に活かすことができないという問題があった。
【０００５】
このような問題に鑑み，本発明者らは，撮像中に（撮像された通常の動画像の圧縮または記録中に）サムネイル画像を生成し，記録する記録装置および方法を発明するに至った（例えば，特許文献１および特許文献２参照）。この発明によれば，通常の動画像の圧縮または記録と併行してサムネイル画像を生成することができるため，上記問題点を解決することができる。
【０００６】
【特許文献１】特開２００１−１６０９４７号公報
【特許文献２】特開２００１−１６０９５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら，特許文献１および特許文献２に係る発明は，生成されるサムネイル画像のサイズまたは画質を，撮像中（動画像の圧縮または記録中）に変更することはできない。したがって，例えば，撮影者は，サムネイル動画像の特定の時間区間を，高画質で記録することなどができない。
【０００８】
すなわち，サムネイル動画像を，例えば，所望の位置から再生位置を指定する際のプレビュー画面として使用する場合や，記録後の編集作業等におけるプレビュー画面として用いる場合において，たくさんの人の顔が写ったサムネイル動画像のプレビューを行った場合，サムネイル動画像のサイズがもともと小さい（解像度が低い）ことから，人の顔がはっきりと記録されず，所望の画像を検索するのが困難である，という問題があった。
【０００９】
そこで，本発明は，このような問題に鑑みてなされたもので，その目的とするところは，通常の画像（入力画像）の圧縮または記録とサムネイル画像の生成処理とを併行して行うとともに，生成されるサムネイル画像のサイズまたは画質を入力画像の圧縮または記録中に変更することが可能な，新規かつ改良された画像処理装置，撮像装置，コンピュータプログラムおよび画像処理方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために，本発明のある観点によれば，入力画像の圧縮符号化処理と，縮小画像の生成処理と，を行う画像処理装置において：入力画像の圧縮符号化処理を行う，入力画像圧縮部と；縮小画像の生成処理を，入力画像のうち１または２以上の画像に対し縮小変換を施すことにより，入力画像の圧縮符号化処理と併行して行い，かつ，１または２以上の画像から選択される所望の画像に対し，サイズを変更して縮小画像の生成処理を行う，縮小画像生成部と；を備える画像処理装置が提供される。
【００１１】
このように，縮小画像の生成処理を入力画像の圧縮符号化と併行して行うことにより，入力画像系列から取り出した画像の縮小画像を自動的に生成することが可能となる。したがって，画像の撮影後に，改めて縮小画像の生成処理を行う必要をなくすことができる。
【００１２】
また，本発明によれば，入力画像の圧縮符号化処理と，縮小画像の生成処理と，を行う画像処理装置において：入力画像の圧縮符号化処理を行う，入力画像圧縮部と；入力画像圧縮部により圧縮符号化された入力画像が記録される記録媒体と；縮小画像の生成処理を，入力画像のうち１または２以上の画像に対し縮小変換を施すことにより，圧縮符号化された入力画像の記録と併行して行い，かつ，１または２以上の画像から選択される所望の画像に対し，サイズを変更して縮小画像の生成処理を行う，縮小画像生成部と；を備える画像処理装置が提供される。
【００１３】
これにより，上記と同様に，画像の撮影後に，改めて縮小画像の生成処理を行う必要をなくすことができる。
【００１４】
上記所望の画像の選択は，ユーザの選択信号に応じて行われてもよい。例えば，ユーザが動画カメラのような撮像装置を用いて動画像を撮影中に，現在撮影している場面は大きなサイズの縮小画像（サムネイル画像）を生成したいと思った場合には，所定のトリガにより（例えば，動画カメラに設けられたサイズ変更ボタンなどを押すことにより），本発明に係る画像処理装置に設けられたユーザＩ／Ｆ（インターフェース）部を介して，サムネイル画像サイズ拡大の命令が縮小画像生成部に送られるようにしてもよい。
【００１５】
これにより，ユーザが希望する特定の場面（時間帯）に限って，ユーザの操作により大きなサイズのサムネイル画像を生成することができる。したがって，人の顔がたくさん写っているために，通常のサイズのサムネイル画像ではその顔の判別が不可能な場合であっても，通常よりも大きなサイズでサムネイル画像を生成することにより，ユーザは，入力画像の再生時の頭出しや，入力画像の編集時の検索などを容易に行うことができる。
【００１６】
また，上記所望の画像の選択は，所定の検出器による所定のパラメータの検出結果に基づいて，自動で行われてもよい。具体的には，画像の色差成分を分析することにより肌色成分量を検出することが可能な肌色検出器により検出される肌色成分量のような所定のパラメータに基づいて，自動的に行われてもよい。例えば，入力画像が多数の人の顔が写っているようなものの場合に，肌色検出器が上記入力画像に含まれる肌色成分を検出し，検出された肌色成分の量を，ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等により算出し，算出された肌色成分量が所定量以上である場合には，自動的に，サムネイル画像サイズ拡大の命令が縮小画像生成部に送られるようにしてもよい。
【００１７】
これにより，ユーザが特定の場面（例えば，人の顔がたくさん写っている場面など）に限ってサムネイル画像のサイズを拡大したい場合であっても，上記のようなユーザによるボタン操作などを必要とすることなくなるため，ユーザがより快適に動画像等の撮影をすることができる。
【００１８】
また，上記所望の画像の選択は，一定間隔ごとに自動的に行われるようにしてもよい。例えば，先頭フレームから一定間隔のフレームごとに自動的にフレームを抽出して，通常サイズよりも大きなサイズでサムネイル画像を生成するようにしてもよい。
【００１９】
この場合は，ユーザにとって必要でない場面においても拡大されたサイズのサムネイル画像が生成される場合もあるが，例えば，人の顔がたくさん写っている場面が長く続くような場合には，ユーザによる操作も肌色検出器による検出も必要がなくなるため，ユーザは，より快適に動画像等の撮影をすることができる。
【００２０】
ここで，サムネイル画像のサイズの変更は，解像度（画素数）を制御することにより行われるようにしてもよい。すなわち，例えば，通常よりも大きなサイズでサムネイル画像を生成しようとする場合には，本発明に係る画像処理装置のＣＰＵ等は，通常サイズのサムネイル画像を生成する場合の解像度よりも高い解像度（多い画素数）でサムネイル画像を生成するように，縮小画像生成部に命令を送るようにしてもよい。
【００２１】
なお，入力画像は，動画像であっても静止画像であってもよいが，本発明をより効果的に利用するためには，動画像であることが好ましい。さらに，上記のようなサイズの変更や画質の変更は，動画像の撮影中に行われるものであってもよい。
【００２２】
また，本発明によれば，入力画像の圧縮符号化処理と，縮小画像の生成処理と，縮小画像の圧縮符号化処理と，を行う画像処理装置において：入力画像の圧縮符号化処理を行う，入力画像圧縮部と；入力画像のうち１または２以上の画像に対し縮小変換を施すことにより縮小画像の生成処理を行う，縮小画像生成部と；縮小画像の圧縮符号化処理を入力画像の圧縮符号化処理と併行して行い，かつ，縮小画像生成部により生成された１または２以上の縮小画像から選択される所望の画像に対し，画質を変更して縮小画像の圧縮符号化処理を行う，縮小画像圧縮部と；を備える画像処理装置が提供される。
【００２３】
このように，縮小画像の圧縮符号化処理を入力画像の圧縮符号化と併行して行うことにより，生成された縮小画像の圧縮符号化を自動的に行うことが可能となる。したがって，画像の撮影後に，改めて縮小画像の圧縮符号化処理を行う必要をなくすことができる。
【００２４】
また，本発明によれば，入力画像の圧縮符号化処理と，縮小画像の生成処理と，縮小画像の圧縮符号化処理と，を行う画像処理装置において：入力画像の圧縮符号化処理を行う，入力画像圧縮部と；入力画像圧縮部により圧縮符号化された入力画像が記録される記録媒体と；入力画像のうち１または２以上の画像に対し縮小変換を施すことにより縮小画像の生成処理を行う，縮小画像生成部と；縮小画像の圧縮符号化処理を圧縮符号化された入力画像の記録と併行して行い，かつ，縮小画像生成部により生成された１または２以上の縮小画像から選択される所望の画像に対し，画質を変更して縮小画像の圧縮符号化処理を行う，縮小画像圧縮部と；を備える画像処理装置が提供される。
【００２５】
これにより，上記と同様に，画像の撮影後に，改めて縮小画像の圧縮符号化処理を行う必要をなくすことができる。
【００２６】
さらに，圧縮符号化された縮小画像の記録も，入力画像の圧縮符号化処理または圧縮符号化された入力画像の記録と同時に行われてもよい。ここで，縮小画像の記録は，入力画像が記録されている記録媒体と同一の記録媒体に記録されてもよく，異なる記録媒体に記録されてもよい。
【００２７】
上記所望の画像の選択は，ユーザの選択信号に応じて行われてもよい。例えば，ユーザが動画カメラのような撮像装置を用いて動画像を撮影中に，現在撮影している場面は高画質の縮小画像（サムネイル画像）を生成したいと思った場合には，所定のトリガにより（例えば，動画カメラに設けられた画質変更ボタンなどを押すことにより），本発明に係る画像処理装置に設けられたユーザＩ／Ｆ（インターフェース）装置を介して，サムネイル画像高画質化の命令が縮小画像生成部に送られるようにしてもよい。
【００２８】
これにより，ユーザが希望する特定の場面（時間帯）に限って高画質のサムネイル画像を生成することができる。したがって，人の顔がたくさん写っているために，通常の画質のサムネイル画像ではその顔の判別が不可能な場合であっても，通常よりも高い画質でサムネイル画像を生成することにより，ユーザは，入力画像の再生時の頭出しや，入力画像の編集時の検索などを容易に行うことができる。
【００２９】
また，上記所望の画像の選択は，所定の検出器による所定のパラメータの検出結果に基づいて，自動で行われてもよい。具体的には，画像の色差成分を分析することにより肌色成分量を検出することが可能な肌色検出器により検出される肌色成分量のような所定のパラメータに基づいて，自動的に行われてもよい。
【００３０】
例えば，入力画像が多数の人の顔が写っているようなものの場合に，肌色検出器が上記入力画像に含まれる肌色成分を検出し，検出された肌色成分の量を，ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等により算出し，算出された肌色成分量が所定量以上である場合には，自動的に，サムネイル画像の高画質化の命令が縮小画像生成部に送られるようにしてもよい。
【００３１】
これにより，ユーザが特定の場面（例えば，人の顔がたくさん写っている場面など）に限ってサムネイル画像を高画質化したい場合であっても，上記のようなユーザによるボタン操作などを必要とすることなくなるため，ユーザがより快適に動画像等の撮影をすることができる。
【００３２】
また，上記所望の画像の選択は，一定間隔ごとに自動的に行われるようにしてもよい。例えば，先頭フレームから一定間隔のフレームごとに自動的にフレームを抽出して，通常よりも高い画質でサムネイル画像を生成するようにしてもよい。
【００３３】
この場合は，ユーザにとって必要でない場面においても高画質のサムネイル画像が生成される場合もあるが，例えば，人の顔がたくさん写っている場面が長く続くような場合には，ユーザによる操作も肌色検出器による検出も必要がなくなるため，ユーザは，より快適に動画像等の撮影をすることができる。
【００３４】
ここで，サムネイル画像の画質の変更は，量子化パラメータの値を制御することにより行われるようにしてもよい。すなわち，例えば，通常よりも高い画質でサムネイル画像を生成しようとする場合には，本発明に係る画像処理装置のＣＰＵ等は，高画質のサムネイル画像用の量子化パラメータ値でサムネイル画像を生成するように，縮小画像生成部に命令を送るようにしてもよい。
【００３５】
なお，入力画像は，動画像であっても静止画像であってもよいが，本発明をより効果的に利用するためには，動画像であることが好ましい。さらに，上記のようなサイズの変更や画質の変更は，動画像の撮影中に行われるものであってもよい。
【００３６】
上記課題を解決するために，本発明の別の観点によれば，上述した画像処理装置と，撮像素子および光学系を含む撮像部と，を備え，撮像部からの出力を入力画像とする撮像装置が提供される。本発明に係る撮像装置としては，例えばデジタルスチルカメラのような静止画カメラであっても，例えばデジタルビデオカメラのような動画カメラであってもよい。また，入力画像は，静止画像であっても，動画像であってもよいが，本発明をより効果的に利用するためには，動画像であることが好ましい。さらに，上記のようなサイズの変更や画質の変更は，動画像の撮影中に行われるものであってもよい。
【００３７】
上記課題を解決するために，本発明のまた別の観点によれば，入力画像の圧縮符号化処理と，縮小画像の生成処理と，を行うコンピュータプログラムにおいて：コンピュータを，入力画像の圧縮符号化処理を行う，入力画像圧縮部と；縮小画像の生成処理を，入力画像のうち１または２以上の画像に対し縮小変換を施すことにより，入力画像の圧縮符号化処理と併行して行い，かつ，１または２以上の画像から選択される所望の画像に対し，サイズを変更して縮小画像の生成処理を行う，縮小画像生成部と；して機能させるためのコンピュータプログラムが提供される。
【００３８】
また，本発明によれば，入力画像の圧縮符号化処理と，縮小画像の生成処理と，を行うコンピュータプログラムにおいて：コンピュータを，入力画像の圧縮符号化処理を行う，入力画像圧縮部と；入力画像圧縮部により圧縮符号化された入力画像を記録する記録部と；縮小画像の生成処理を，入力画像のうち１または２以上の画像に対し縮小変換を施すことにより，圧縮符号化された入力画像の記録と併行して行い，かつ，１または２以上の画像から選択される所望の画像に対し，サイズを変更して縮小画像の生成処理を行う，縮小画像生成部と；して機能させるためのコンピュータプログラムが提供される。
【００３９】
また，本発明によれば，入力画像の圧縮符号化処理と，縮小画像の生成処理と，縮小画像の圧縮符号化処理と，を行うコンピュータプログラムにおいて：入力画像の圧縮符号化処理を行う，入力画像圧縮部と；入力画像のうち１または２以上の画像に対し縮小変換を施すことにより縮小画像の生成処理を行う，縮小画像生成部と；縮小画像の圧縮符号化処理を入力画像の圧縮符号化処理と併行して行い，かつ，縮小画像生成部により生成された１または２以上の縮小画像から選択される所望の画像に対し，画質を変更して縮小画像の圧縮符号化処理を行う，縮小画像圧縮部と；して機能させるためのコンピュータプログラムが提供される。
【００４０】
また，本発明によれば，入力画像の圧縮符号化処理と，縮小画像の生成処理と，縮小画像の圧縮符号化処理と，を行うコンピュータプログラムにおいて：入力画像の圧縮符号化処理を行う，入力画像圧縮部と；入力画像圧縮部により圧縮符号化された入力画像を記録する記録部と；入力画像のうち１または２以上の画像に対し縮小変換を施すことにより縮小画像の生成処理を行う，縮小画像生成部と；縮小画像の圧縮符号化処理を圧縮符号化された入力画像の記録と併行して行い，かつ，縮小画像生成部により生成された１または２以上の縮小画像から選択される所望の画像に対し，画質を変更して縮小画像の圧縮符号化処理を行う，縮小画像圧縮部と；して機能させるためのコンピュータプログラムが提供される。
【００４１】
さらに，圧縮符号化された縮小画像の記録も，入力画像の圧縮符号化処理または圧縮符号化された画像の記録と併行して行われてもよい。ここで，縮小画像の記録は，入力画像が記録されている記録媒体と同一の記録媒体に記録されてもよく，異なる記録媒体に記録されてもよい。
【００４２】
上記課題を解決するために，本発明のさらに別の観点によれば，入力画像の圧縮符号化処理を行う入力画像圧縮ステップと，入力画像のうち１または２以上の画像に対し，入力画像の圧縮符号化処理と併行して縮小変換を施すことにより縮小画像の生成処理を行うとともに，１または２以上の画像から選択される所望の画像に対してはサイズを変更して縮小画像の生成処理を行う縮小画像生成ステップと，を含む画像処理方法が提供される。
【００４３】
また，本発明によれば，入力画像の圧縮符号化処理を行う入力画像圧縮ステップと，入力画像圧縮ステップにより圧縮符号化された入力画像を記録する記録ステップと，入力画像のうち１または２以上の画像に対し，圧縮符号化された入力画像の記録と併行して縮小変換を施すことにより縮小画像の生成処理を行うとともに，１または２以上の画像から選択される所望の画像に対してはサイズを変更して縮小画像の生成処理を行う縮小画像生成ステップと，を含む画像処理方法が提供される。
【００４４】
また，本発明によれば，入力画像の圧縮符号化処理を行う入力画像圧縮ステップと，入力画像のうち１または２以上の画像に対し縮小変換を施すことにより縮小画像の生成処理を行う縮小画像生成ステップと，縮小画像生成ステップにより生成された縮小画像の圧縮符号化処理と入力画像の圧縮符号化処理とを併行して行うとともに，生成された１または２以上の縮小画像から選択される所望の画像に対しては画質を変更して縮小画像の圧縮符号化処理を行う縮小画像圧縮ステップと，を含む画像処理方法が提供される。
【００４５】
また，本発明によれば，入力画像の圧縮符号化処理を行う入力画像圧縮ステップと，入力画像圧縮ステップにより圧縮符号化された入力画像を記録する記録ステップと，入力画像のうち１または２以上の画像に対し縮小変換を施すことにより縮小画像の生成処理を行う縮小画像生成ステップと，縮小画像生成ステップにより生成された縮小画像の圧縮符号化処理と圧縮符号化された入力画像の記録とを併行して行うとともに，生成された１または２以上の縮小画像から選択される所望の画像に対しては画質を変更して縮小画像の圧縮符号化処理を行う縮小画像圧縮ステップと，を含む画像処理方法が提供される。
【００４６】
さらに，圧縮符号化された縮小画像の記録も，入力画像の圧縮符号化処理または圧縮符号化された画像の記録と同時に行われてもよい。ここで，縮小画像の記録は，入力画像が記録されている記録媒体と同一の記録媒体に記録されてもよく，異なる記録媒体に記録されてもよい。
【００４７】
上記所望の画像の選択は，上述したように，ユーザの選択信号に応じて行われてもよく，また，例えば，画像の色差成分を分析することにより肌色成分量を検出することが可能な肌色検出器により検出される肌色成分量のような所定のパラメータに基づいて，自動的に行われてもよい。
【００４８】
また，前記入力画像は，動画像であっても静止画像であってもよいが，本発明をより効果的に利用するためには，動画像であることが好ましい。さらに，上記のような解像度の変更や画質の変更は，動画像の撮影中に行われるものであってもよい。
【発明の効果】
【００４９】
本発明によれば，入力画像の圧縮または記録と縮小画像の生成処理とを併行して行うとともに，生成される縮小画像のサイズまたは画質を入力画像の圧縮または記録中に変更することが可能な画像処理装置，撮像装置，コンピュータプログラムおよび画像処理方法を提供することができる。
【発明を実施するための最良の形態】
【００５０】
以下に添付図面を参照しながら，本発明の好適な実施の形態について詳細に説明する。なお，本明細書及び図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。
【００５１】
まず，図１及び図２を参照しながら，本発明に係る画像処理装置の一実施形態である動画像処理装置の構成について説明する。
【００５２】
（動画像処理装置の構成）
図１は，本実施形態に係る画像処理装置１２を用いた撮像装置１０の概略的な構成を示すブロック図である。図１に示したように，撮像装置１０は，撮像部１００と，Ａ／Ｄ変換部２００と，入力画像圧縮部３００と，書き込み部４００と，記録媒体５００と，制御部６００と，縮小画像生成部７００と，縮小画像圧縮部８００と，ユーザＩ／Ｆ（インターフェース）部９００と，を備えている。この中で，入力画像圧縮部３００と書き込み部４００と記録媒体５００と制御部６００と縮小画像生成部７００と縮小画像圧縮部８００とは，本実施形態に係る画像処理装置１２を構成している。
【００５３】
撮像部１００は，例えば，ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等の撮像素子とレンズ等の光学系とからなる。Ａ／Ｄ変換部２００は，撮像部１００により撮像された画像信号をデジタル化することができる。
【００５４】
Ａ／Ｄ変換部２００でデジタル化された画像信号は，入力画像圧縮部３００に入力され，入力画像圧縮部３００は，入力された画像信号を圧縮符号化し，ビットストリームを生成することができる。本実施形態に係る動画像処理装置における圧縮方式としては，主に，ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）を想定しているが，これには限られず，例えば，ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ），Ｍｏｔｉｏｎ−ＪＰＥＧなどであってもよい。
【００５５】
書き込み部４００は，生成されたビットストリームを記録媒体５に書き込むことができる。記録媒体５は，書き込まれた圧縮符号化された画像信号を記録することができる。記録媒体５としては，例えば，光ディスク，磁気ディスク，半導体メモリ，磁気テープ等が挙げられるが，これらには限られない。ただし，ランダム・アクセスが可能な媒体が好ましい。
【００５６】
制御部６００は，例えば，ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）のことで，主に，入力画像圧縮部３００との符号化のためのパラメータのやり取り，縮小画像生成部７００への縮小サイズ（縮小画像の解像度）の指示，縮小画像圧縮部８００への圧縮制御，書き込み部４００への記録の開始および停止等を行い，本実施形態に係る動画像処理装置全体を制御する。
【００５７】
縮小画像生成部７００は，入力画像圧縮部３００内の所定のメモリ（例えば，フレームメモリ）から読み出した入力画像（フレーム画像）に対し，縮小変換を施し，縮小画像（サムネイル画像）を生成することができる。縮小画像圧縮部８００は，縮小画像生成部７００により生成されたサムネイル画像に対し，圧縮符号化処理を施し，ビットストリームを生成することができる。生成されたビットストリームは，書き込み部４００へ転送され，書き込み部４００により記録媒体５００に記録される。圧縮されたサムネイル画像の記録は，一般に，圧縮された通常画像（縮小されていない入力画像）と対応付けて記録される。この場合，サムネイル画像は，通常画像と同一の記録媒体に記録されてもよく，異なる記録媒体に記録されてもよい。
【００５８】
ユーザＩ／Ｆ部９００は，例えば，本実施形態に係る動画像圧縮装置に取り付けられたボタンやタッチパネル等の，ユーザ（例えば，撮影者）からの指示を受け取るインターフェースである。例えば，撮影者が，高画質で記録したい時間帯に「サムネイル動画像の画質」や「サムネイル動画像のサイズ（画素数）」などを指定すると，ユーザＩ／Ｆ部９００は，これらの指定された情報を制御部６００が理解できる信号に変換し，制御部６００に送信することができる。
【００５９】
なお，本実施形態に係る動画像処理装置を利用した撮像装置１０としては，例えば，蓄積媒体を使用して記録再生するデジタルビデオカメラなどが挙げられるが，これに限られるわけではなく，静止画処理機能を有するとともに動画処理機能をも備えたデジタルスチルカメラ（Ｄｉｇｉｔａｌ  Ｓｔｉｌｌ  Ｃａｍｅｒａ）などであってもよい。
【００６０】
（入力画像圧縮部３００の構成）
図２は，図１に示した入力画像圧縮部３００のより詳細な構成を示すブロック図である。初めに，入力画像圧縮部３００の具体的な構成を説明する前に，入力画像圧縮部３００で行われる処理の概略について説明する。まず，図１に示したＡ／Ｄ変換部２００から出力されたデジタル画像信号が入力画像圧縮部３００の入力として供給される。その後，制御部６００との間で受け渡しされる符号化のためのパラメータに基づいて圧縮符号化されたビットストリームが入力画像圧縮部３００から出力される。また，圧縮制御部６００から，入力画像圧縮部３００内のフレームメモリに対し，縮小画像（サムネイル画像）生成のためのデータアクセスが行われる。
【００６１】
次に，入力画像圧縮部３００の構成について説明する。図２に示したように，入力画像圧縮部３００は，前処理部３１０と，動きベクトル検出部３２０と，符号化部３３０と，を備えている。ここで，入力画像圧縮部３００は，後述する肌色検出部３４０を備えていてもよい。
【００６２】
前処理部３１０は，入力画像に対して適当な解像度変換および画素数変換を施す装置であり，フィルタ演算部３１０２と間引き処理部３１０４とを備えている。フィルタ演算部３１０２は，入力されるデジタル画像信号を，制御部６００からの指令に従い，符号化する対象画像に適した解像度変換（周波数特性変換）を行う。例えば，デジタルフィルタを用いてそのフィルタ係数を変えることにより，周波数成分の通過域特性を制御して解像度変換を施す方法がある。また，間引き処理部３１０４は，入力されるデジタル画像信号を，制御部６００からの指令に従い，符号化する対象画像に適した画素数変換（標本化数変換）を行う。例えば，水平方向の画素を間引くことにより画素数変換を行う方法がある。このように，前処理部３１０により前処理された画像信号は，動きベクトル検出部３２０と符号化部３３０とに供給される。
【００６３】
動きベクトル検出部３２０は，フレーム間の動き量を求める装置であり，フレームメモリ３２０２と動き検出部３２０４とを備えている。フレームメモリ３２０２は，符号化対象画像を蓄積するもので，複数のフレームの画像データを蓄積することができる程度の容量を有し，通常の（縮小されていない）動画像の圧縮のための画像データだけでなく，サムネイル画像の圧縮のための画像データをも同時に蓄積することができる。なお，この際，通常画像のデータとサムネイル画像のデータとは，メモリ上の異なるエリアに蓄積される構成であってもよい。すなわち，フレームメモリ３２０２は，撮影中，逐次記録媒体に記録していく前の非圧縮状態の画像データを一時的に蓄積するエリアと，サムネイル生成画像を一時的に蓄積するエリアの両方を有する。
【００６４】
また，動き検出部３２０４は，順方向および逆方向のフレーム間の動きベクトルの検出を行う。
【００６５】
動きベクトル検出部３２０においては，各フレームの時間的並びにおいて順方向と逆方向に相当するフレーム間の各マクロブロックごとに対する動き量を，ブロックマッチング法等を用いて最適な動きベクトル値を求める演算を実施し，その動きベクトル値を蓄えておく。
【００６６】
一般的に，ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）に代表される動画像圧縮方式においては，動きベクトルを求める際のフレーム間の動き予測方向により，フレーム間符号化するフレームは，順方向のみの予測によるＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ  ｐｉｃｔｕｒｅ）と，順方向および逆方向の両方向予測によるＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ  ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ  ｐｉｃｔｕｒｅ）とに分けられる。また，フレーム内符号化するフレームは，Ｉピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ  ｐｉｔｕｒｅ）と呼ばれる。Ｂピクチャは，予測画像（差分をとる基準となる画像）とし，時間的に前にすでに復号されたＩピクチャおよび／またはＰピクチャから作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と，イントラ符号化の中で，最も効率のよいものをマクロブロック単位で選択する。
【００６７】
したがって，マクロブロックタイプとしては，フレーム内符号化（Ｉｎｔｒａ）マクロブロックと，過去から未来を予測する順方向フレーム間予測マクロブロックと，未来から過去を予測する逆方向フレーム間予測マクロブロックと，前後両方向から予測する両方向マクロブロックとがある。Ｉピクチャ内のすべてのマクロブロックは，フレーム内符号化マクロブロックである。また，Ｐピクチャ内には，フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には，上述した４種類のすべてのタイプのマクロブロックが含まれる。
【００６８】
ここで，ＭＰＥＧでは，ランダムアクセスを可能とするために，複数枚のピクチャのまとまりであるＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）構造が採用されている。ＧＯＰに関するＭＰＥＧの規則では，（１）ビットストリーム上で，ＧＯＰの最初がＩピクチャであること，（２）原画像の順で，ＧＯＰの最後がＩまたはＰピクチャであること，の２つが規定されている。また，ＧＯＰとしては，以前のＧＯＰの最後のＩまたＰピクチャからの予測を必要とする構造も許されている。図３に，ＩおよびＰピクチャの周期をＭとし，ＧＯＰのピクチャ数をＮとして，Ｍ＝３，Ｎ＝１５のＧＯＰの例を示した。
【００６９】
符号化部３３０は，上記のような符号化を行ってビットストリームを生成する装置であり，主に，ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）部３３０２と，量子化部３３０４と，可変長符号化部３３０６と，逆量子化部３３０８と，逆ＤＣＴ部３３１０と，フレームメモリ３３１４と，動き補償部３３１６と，バッファ３３２２と，量子化制御部３３２４と，を備えている。符号化部３３０は，ＤＣＴ部３３０２，量子化部３３０４および可変長符号化部３３０６を通して圧縮された画像信号のビットストリームを出力する。それと同時に量子化部３３０４の出力を，逆量子化部３３０８および逆ＤＣＴ部３３１０を通して画像データを復号し，すでに再構築した参照フレームの画像データと足し合わせる加算部３３１２に供給し，加算部３３１２の出力をフレームメモリ３３１４に蓄積する。
【００７０】
次に，フレームメモリ３３１４に蓄積された画像データに対し，動きベクトル検出部３２０で得られた動きベクトルを用いて動き補償部３３１６で動き補償を行う。ここで，再構築した画像データを符号化するモードの場合には，加算部３３１８で前処理部３１０から入力される画像データとの引き算を行う。この時，スイッチ３３２０は，ａ側に接続されている。また，フレーム内で符号化するモードの場合には，スイッチ３３２０は，ｂ側に接続されている。さらに，可変長符号化部３３０６から出力されるビットストリームは，バッファ３３２２を介して図１に示した書き込み部４００へ出力される。また，量子化制御部３３２４は，制御部６００からの量子化に関する指令に基づいて，バッファ３３２２でのバッファ量を監視しながら，量子化部３３０４で行われる量子化の量子化パラメータを制御することにより，ビットレートを変動させることができる。
【００７１】
肌色検出部３４０は，画像データの色差成分を分析して「肌色成分量」を算出する機能を持ち，算出された肌色成分量は，制御部６００により読み取ることができる。
【００７２】
このように，符号化部３３０は，動きベクトル検出部３２０で得られた動きベクトル値を用いて動き補償を行うことにより，時間軸方向のデータの冗長度を削減し，かつＤＣＴによる空間軸方向から周波数軸方向への変換により冗長度を削減したデータに対し，周波数軸に対して重みづけを施した量子化を行う。符号化部３３０は，さらに，最終的なビットストリームを得る可変長符号化を行うことで，一連の動画像の圧縮符号化を実行している。
【００７３】
以上が通常の画像サイズの動画像系列に対する圧縮符号化装置の概要であるが，本実施形態では，一般的にＭＰＥＧに代表される上記処理に加え，通常サイズの画像の圧縮符号化処理と同時に行うサムネイル画像の生成と，生成したサムネイル画像の圧縮符号化処理をも行っている。なお，サムネイル画像の圧縮符号化の方式としては，例えば，通常サイズの画像と同様にＭＰＥＧを使用できる。
【００７４】
（制御部６００の処理の概要）
次に，図４を参照しながら，本実施形態の制御部６００の処理の概要について説明する。なお，図４は，本実施形態に係る画像処理装置１２における通常サイズの画像（入力画像）の圧縮符号化処理の概要を示したブロック図である。撮像部１００により撮像した動画像入力系列に対し，通常の画像サイズでの圧縮符号化を行った結果は，記録媒体５００，例えば，光ディスクメモリ５００ａに逐次書き込まれている。この際，制御部６００と入力画像圧縮部３００との間では，通常サイズ画像の圧縮符号化のためのレートコントロールが行われている。
【００７５】
このような基本処理と同時に，縮小画像生成部７００は，一定フレーム間隔で，入力画像が一時的に蓄積されている動きベクトル検出部３２０内のフレームメモリ３２０２（例えば，半導体メモリ）の中から，対象フレームを１枚読み出し，それに対して縮小画像生成部７００により縮小変換を施し，縮小画像（サムネイル画像）を生成する。その後，生成されたサムネイル画像は，縮小画像圧縮部８００に圧縮され，生成したビットストリームは，書き込み部４００に転送され，光ディスクメモリ５００ａに記録される。このような一連の処理が繰り返される。
【００７６】
ここで，本実施形態においては，生成されたサムネイル画像は，一旦フレームメモリ３２０２に蓄積されることなく，縮小画像生成部７００から，直接縮小画像圧縮部に送られるような構成でもよい。
【００７７】
これにより，従来の問題，すなわち，サムネイル動画像をフレームメモリに一旦記録してから圧縮を行っていたために，フレームメモリの容量以上のサムネイル動画像を格納できない，という問題も解消することができる。
【００７８】
しかし，本実施形態に係る画像処理装置１２においては，
【００７９】
以下，通常画像の圧縮符号化処理と同時に行われるサムネイル画像の生成処理を中心に，本発明の一実施形態での処理について説明する。
【００８０】
まず，図５および図６Ａ〜図６Ｃを参照しながら，本実施形態における通常画像（入力画像）のサイズの例およびこの入力画像から生成されるサムネイル画像についての縮小変換の例について説明する。ここで，図５は，本実施形態に係るサムネイル画像のサイズの例を示した説明図であり，図６Ａ〜図６Ｃは，本実施形態に係る画像処理装置１２による縮小変換の例を示した説明図である。
【００８１】
本実施形態における１フレーム分の入力画像のサイズは，例えば，図５に示したにように，水平方向に７０４画素，垂直方向に４８０画素からなる。したがって，水平方向に１６画素，垂直方向に１６画素ずつ分割したマクロブロックは，水平方向に４４個，垂直方向には３０個で構成される。この入力画像に対し生成されるサムネイル画像は，図６Ａ〜図６Ｃに示したように，複数倍率の縮小変換を施すことが可能である。例えば，図６Ａに示した例では，水平方向には４画素ごとに１画素を，垂直方向にも４画素ごとに１画素をサブサンプリングすることにより生成される。また，図６Ｂに示した例では，水平方向および垂直方向にそれぞれ，３画素ごとに１画素を，図６Ｃに示した例では，水平方向および垂直方向にそれぞれ，２画素ごとに１画素をサブサンプリングすることにより生成される。
【００８２】
なお，このようなサムネイル画像の生成は，制御部６００が，通常サイズの画像データが蓄積された動きベクトル検出部３２０内のフレームメモリ３２０２にアクセスすることにより行われる。
【００８３】
このように，動画サムネイルを記録する際，複数の画素数を選択できるようにしておくことで，例えば，撮影者がより高画質のサムネイル画像を残したい場面や時間帯だけ大きな画像サイズで記録し，その他の場面や時間帯は小さな画像サイズで記録する，というようなことが可能となる。なお，ここでは，サムネイル画像のサイズとして，図６Ａ〜図６Ｃに示したような，３種類のサイズの例を挙げたが，サムネイル画像のサイズはここに挙げた３種類のみに限定されず，２種類でも４種類以上であってもよい。
【００８４】
（制御部６００によるサムネイル画像の生成方法）
次に，図７〜図９を参照しながら，制御部６００による，本実施形態で採用する一定フレーム間隔で入力画像のフレームを抜き出してサムネイル画像を生成する方法について説明する。
【００８５】
まず，図７を参照しながら，撮影開始フレームの先頭から一定フレーム間隔で，入力画像の中からサムネイル画像を生成する対象フレームを抜き出すような場合について説明する。図７は，サムネイル画像生成のフレーム間隔の例を示す説明図である。本実施形態においては，入力される動画像系列は，例えば，１秒間に３０フレームであり，例えば，１秒間に２枚を等間隔（１５フレームごとに１枚）でサムネイル画像を生成している。このような例では，制御部６００は，等間隔フレームでフレームメモリ３２０２内の通常サイズ画像（入力画像）データにアクセスし，縮小変換を施してサムネイル画像を生成し，その結果を書き込み部４００に転送する処理（指示）を行う。なお，本実施形態においては，１５フレームに１枚の間隔でサムネイル動画像を生成する例を示したが，フレーム間隔は１５に限定されず，あらゆるフレーム数の間隔で入力画像を抜き出すことにより，サムネイル画像の生成が可能である。
【００８６】
次に，図８を参照しながら，１回の撮影中に，入力画像を一定間隔で抜き出し，サムネイル動画像を生成するという本実施形態に係る画像処理方法について説明する。なお，図８は，本実施形態に係る画像処理方法を示すフローチャートである。
【００８７】
図８に示したように，まず最初に，撮影が開始，すなわちエンコード（圧縮符号化）処理が開始されると，入力画像圧縮部３００は，逐次入力される動画像系列の通常サイズ画像（入力画像）のエンコードを行い，圧縮符号化された結果のビットストリームが，例えば，光ディスク等の記録媒体５００に記録される（Ｓ１０２）。この入力画像のエンコード処理と同時に行われるサムネイル画像の生成処理は，上記入力画像のエンコードが終了するまで行われ，入力画像のエンコードを終了するかどうかの判定が行われる（Ｓ１０４）。上記判定（Ｓ１０４）において，まだ終了でないと決定される場合には，入力画像のフレーム数のカウントを行う（Ｓ１０６）。
【００８８】
次に，現在処理しているフレームが，撮影開始フレームを含み，開始フレームからの一定フレーム間隔（周期）のフレームであるかどうかの判定を行う（Ｓ１０８）。フレーム間隔は，例えば，図７に示したように，１５フレームなどとすることができる。上記判定（Ｓ１０８）において，一定間隔のフレームと判定された場合には，次の判定（Ｓ１１０）に進むが，一定間隔のフレームと判定されなかった場合には，無処理のままステップＳ１０２へ戻る。
【００８９】
ステップＳ１１０において，撮影者からのサイズ変更指示が，ユーザＩ／Ｆ部９００から発せられているかどうかを判定し，発せられていた場合には，制御部６００は，縮小画像生成部７００へサイズ変更を指示する（Ｓ１１２）。サイズ変更の指示が発せられていない場合には，無処理のままステップＳ１１４に進む。
【００９０】
次に，ステップＳ１１４において，撮影者から高画質化の指示がユーザＩ／Ｆ部９００から発せられているかを判定し，発せられていた場合には，制御部６００は，縮小画像圧縮部８００へ高画質用量子化スケールの値による圧縮を指示する（Ｓ１１６）。高画質化の指示が発せられていない場合には，制御部６００は，縮小画像圧縮部８００へ通常画質モード用量子化スケールの値による圧縮を指示する（Ｓ１１８）。
【００９１】
最後に，撮影終了の指示が撮影者からユーザＩ／Ｆ部９００を介して発せられ，ステップＳ１０２において，エンコードを終了と判断した場合には，エンコード処理が終了となる。
【００９２】
これにより，ユーザが希望する特定の場面（時間帯）に限って，ユーザの操作により大きなサイズのサムネイル画像を生成することができる。したがって，人の顔がたくさん写っているために，通常のサイズのサムネイル画像ではその顔の判別が不可能な場合であっても，通常よりも大きなサイズでサムネイル画像を生成することにより，ユーザは，入力画像の再生時の頭出しや，入力画像の編集時の検索などを容易に行うことができる。
【００９３】
また，本実施形態の変形例として，画像処理装置１２は，サムネイル動画像内に人間の顔が含まれている場合に，自動で，高画質モードでサムネイル動画像を記録するものであってもよい。
【００９４】
例えば，通常のサムネイル画像では，顔の詳細部分が潰れてしまい，人物の顔が判別できなくなることもある。このような場合に，顔が被写体に含まれていることを自動で認識できれば，その場合（時間帯）にだけサムネイル動画像を高画質で記録することにより，撮影者が手動で操作することなく，自動で鮮明なサムネイル動画像を残すことができる。したがって，例えば，記録後のサムネイル動画像を用いて特定の人物の顔が含まれているシーンを検索する時などに，その検索を容易に行うことができる。本実施形態においては，肌色検出部３４０が，被写体中の人物などに含まれる肌色部分を検出することにより，自動でサムネイル画像を高画質で記録することが可能である。
【００９５】
このように，自動でサムネイル画像を高画質で記録する場合の実施形態を，図９を参照しながら説明する。本実施形態においては，肌色検出部３４０が，肌色成分量の大小を検出し，肌色成分を多く含む画像の場合に，自動で高画質で記録することができる。なお，図９は，自動でサムネイル画像を高画質で記録する場合の実施形態に係る画像処理方法を示すフローチャートである。
【００９６】
図９に示したように，まず最初に，撮影が開始，すなわちエンコード（圧縮符号化）処理が開始されると，入力画像圧縮部３００は，逐次入力される動画像系列の通常サイズ画像（入力画像）のエンコードを行い，圧縮符号化された結果のビットストリームが，例えば，光ディスク等の記録媒体５００に記録される（Ｓ２０２）。この入力画像のエンコード処理と同時に行われるサムネイル画像の生成処理は，上記入力画像のエンコードが終了するまで行われ，入力画像のエンコードを終了するかどうかの判定が行われる（Ｓ２０４）。上記判定（Ｓ２０４）において，まだ終了でないと決定される場合には，入力画像のフレーム数のカウントを行う（Ｓ２０６）。
【００９７】
次に，現在処理しているフレームが，撮影開始フレームを含み，開始フレームからの一定フレーム間隔（周期）のフレームであるかどうかの判定を行う（Ｓ２０８）。フレーム間隔は，例えば，図７に示したように，１５フレームなどとすることができる。上記判定（Ｓ２０８）において，一定間隔のフレームと判定された場合には，次の判定（Ｓ２１０）に進むが，一定間隔のフレームと判定されなかった場合には，無処理のままステップＳ２０２へ戻る。
【００９８】
ステップＳ２１０においては，肌色検出部３４０が肌色成分を所定量以上含むか否かの判定が行われる。この判定において，制御部６００が，肌色検出部３４０により検出された肌色成分量の出力結果に基づいて，肌色成分を所定量以上含むと判定した場合には，制御部６００は，縮小画像圧縮部８００へ高画質用量子化スケールの値による圧縮を指示する（Ｓ２１２）。一方，制御部６００が，肌色成分を所定量以上含まないと判定した場合には，制御部６００は，縮小画像圧縮部８００へ通常画質用量子化スケールの値による圧縮を指示する（Ｓ２１４）。
【００９９】
ここで，ステップＳ２１０における処理をより具体的に説明すると，高解像度化または高画質化するサムネイル画像の選択は，画像の色差成分を分析することにより肌色成分量を検出することが可能な肌色検出器により検出される肌色成分量のような所定のパラメータに基づいて，自動的に行われる。例えば，入力画像が多数の人の顔が写っているようなものの場合に，肌色検出部３４０が，上記入力画像に含まれる肌色成分を検出し，検出された肌色成分の量を制御部６００が算出し，算出された肌色成分量が所定量以上である場合には，制御部６００は，サムネイル画像サイズ拡大の命令を縮小画像生成部７００に送信したり，サムネイル画像の高画質化の命令を縮小画像圧縮部８００に送信したりする。
【０１００】
これにより，ユーザが特定の場面（例えば，人の顔がたくさん写っている場面など）に限ってサムネイル画像のサイズを拡大したい場合であっても，上記のようなユーザによるボタン操作などを必要とすることなくなるため，ユーザがより快適に動画像等の撮影をすることができる。
【０１０１】
なお，本実施形態においては，肌色成分量が所定量以上である場合に，高画質化の処理のみを行っているが，このような場合には限られない。すなわち，肌色成分量が所定量以上である場合には，高画質化の処理とともに，高解像度化の処理を行うものであってもよく，また，高画質化の処理は行わず，高解像度化の処理のみを行うものであってもよい。
【０１０２】
このように，本変形例に係る画像処理方法によれば，例えば，サムネイル動画像に人間の顔が含まれているような場合に，自動で高画質でサムネイル動画像を記録することが可能となる。
【０１０３】
また，図示はしないが，本実施形態の別の変形例として，画像処理装置１２は，高解像度化または高画質化する画像の選択を，一定間隔ごとに自動的に行うものであってもよい。例えば，画像処理装置１２は，先頭フレームから一定間隔のフレームごとに自動的にフレームを抽出して，通常サイズよりも大きなサイズでサムネイル画像を生成したり，通常の画質よりも高画質でサムネイル画像の圧縮符号化処理を行ったりするものであってもよい。
【０１０４】
このように，高解像度化または高画質化する画像の選択が一定間隔ごとに自動的に行われる場合には，ユーザにとって不必要な場面においても拡大されたサイズのサムネイル画像や高画質のサムネイル画像が生成される場合もある。しかし，例えば，人の顔をたくさん写っている場面が長く続くような場合には，ユーザによる操作も肌色検出器による検出も必要がなくなるため，ユーザは，より快適に動画像等の撮影をすることができる。
【０１０５】
以上のように，上述した実施形態に係る画像処理装置および画像処理方法によれば，通常の動画像カメラの記録媒体の記録と同時に，その画像系列から抽出したサムネイル動画像を生成することが可能となる。
【０１０６】
さらに，撮影者がより高品質でサムネイル画像を残したい場面では，高解像度または高画質で記録することができるので，サムネイル画像を再生して所望画像を検索する際などに，一定の解像度や画質で記録した場合に比べ，検索が非常に容易となる。例えば，画面内に人物の顔が小さく写っていた場合，通常のサムネイル画像では顔の詳細部分が潰れてしまい，人物の顔が判別できなくなることもあるが，上述した実施形態によれば，高品質でサムネイル画像を記録することができるため，このような場合の判別も容易になる。
【０１０７】
ここで，すべてのサムネイル画像を高品質化するのでなく，画面に人物の顔が小さく写っており，人物の顔の判別が困難である場合等，必要な場合にのみ高品質化することができるため，記録されているサムネイル画像のデータ量が増加することによる記憶媒体の容量の問題も生じない。
【０１０８】
なお，動画サムネイル画像のデータ量は，例えば，１ＧＯＰ当たり５ｋＢとすることができ，通常サイズの画像（入力画像）のデータ量は，例えば，１ＧＯＰ当たり５００ｋＢであるため，入力画像を再生するよりもサムネイル画像を再生した方が表示時間を短縮することができる。したがって，ユーザは，再生位置の頭出しや編集作業などを，サムネイル画像を利用することにより，迅速かつ快適に行うことができる。
【０１０９】
上記の各実施形態においては，サイズの変更および画質の変更を説明する際に，説明の便宜のため，高解像度化および高画質化についてのみ説明したが，低解像度化するものであっても，低画質化するものであってもよい。すなわち，本実施形態に係る画像処理装置は，入力画像が，サイズを小さくしたり，画質を粗くしたりしても十分認識できるような画像である場合には，記録媒体等におけるメモリ容量の消費を少なくするために，サムネイル画像を低解像度および低画質で記録できるようなものであってもよい。
【０１１０】
次に，図１０を参照しながら，上述したように生成されたサムネイル画像を再生するための装置について説明する。なお，図１０は，本実施形態に係る画像処理装置１２により生成されたサムネイル画像を再生するための装置の概略的な構成を示すブロック図である。
【０１１１】
通常サイズの画像およびサムネイル画像は，一般的なＭＰＥＧシステムでの再生系に相当する。記録媒体５００からビットストリームを読み取り部４０５により読み取り，読み取ったビットストリームを復号化部３３５で復号化し，後処理部３１５を介すことにより画像信号を生成する。画像信号はＤ／Ａ変換部２０５によりアナログ画像信号へ変換され，表示部１０００に表示される。
【０１１２】
復号化部３３５は，破線で囲んで示すように，読み取り部４０５からのビットストームがバッファ３３５０に供給される。バッファ３３５０の出力が可変長符号の復号化部（可変長復号化部）３３５２に供給され，可変長符号の復号化処理がなされる。可変長復号化部３３５２の出力が逆量子化部３３５４に供給され，記録時の量子化処理と逆の処理がなされる。逆量子化部３３５４の出力が加算部３３５６に供給される。加算部３３５６の出力に復号された画像信号が取り出される。
【０１１３】
加算部３３５６からの復号出力がフレームメモリ３３５８および動き補償部３３６０に供給される。フレームメモリ３３５８は，復号した画像信号を一時的に蓄積する。動き補償部３３６０は，可変長復号化部３３５２において分離された動きベクトルを用いて動き補償を行う。動き補償部３３６０の出力が前フレームの復号画像信号であり，復号画像信号が加算部３３５６に供給され，逆ＤＣＴ部３３６２の出力と加算される。
【０１１４】
加算部３３５６からの復号画像信号が後処理部３１５の補間処理部３１５２に供給される。補間処理部３１５２に対してフィルタ演算部３１５４が接続される。後処理部３１５は，記録時の前処理と逆の処理を行い，元の画素数の復号画像が後処理部３１５からＤ／Ａ変換部２０５に供給される。
【０１１５】
以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明は係る例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【０１１６】
本発明は，画像の圧縮および記録を行う画像処理装置および画像処理方法に適用可能であり，特に動画像の圧縮および記録処理を行う画像処理装置および画像処理方法に適用可能である。
【図面の簡単な説明】
【０１１７】
【図１】本実施形態に係る画像処理装置１２を用いた撮像装置１０の概略的な構成を示すブロック図である。
【図２】図１に示した入力画像圧縮部３００のより詳細な構成を示すブロック図である。
【図３】本実施形態に係る画像圧縮方式の例であるＭＰＥＧにおける，動き予測方向とＧＯＰの構造を示した説明図である。
【図４】本実施形態に係る画像処理装置１２における通常サイズの画像（入力画像）の圧縮符号化処理の概要を示したブロック図である。
【図５】本実施形態に係る入力画像のサイズの例を示した説明図である。
【図６Ａ】本実施形態に係る画像処理装置１２による縮小変換の例を示した説明図であって，入力画像を水平方向および垂直方向にそれぞれ１／４倍したものである。
【図６Ｂ】本実施形態に係る画像処理装置１２による縮小変換の例を示した説明図であって，入力画像を水平方向および垂直方向にそれぞれ１／３倍したものである。
【図６Ｃ】本実施形態に係る画像処理装置１２による縮小変換の例を示した説明図であって，入力画像を水平方向および垂直方向にそれぞれ１／２倍したものである。
【図７】本実施形態に係るサムネイル画像生成のフレーム間隔の例を示す説明図である。
【図８】本実施形態に係る画像処理方法であって，サイズまたは画質の変更がユーザの選択信号に応じて行われる例を示すフローチャートである。
【図９】本実施形態の変形例に係る画像処理方法であって，サイズまたは画質の変更が所定の検出器による所定のパラメータの検出結果に基づいて行われる例を示すフローチャートである。
【図１０】本実施形態に係る画像処理装置１２により生成されたサムネイル画像を再生するための装置の概略的な構成を示すブロック図である。
【符号の説明】
【０１１８】
１０      撮像装置
１２      画像処理装置
１００      撮像部
２００      Ａ／Ｄ変換部
３００      入力画像圧縮部
４００      書き込み部
５００      記録媒体
６００      制御部
７００      縮小画像生成部
８００      縮小画像圧縮部
９００      ユーザＩ／Ｆ部
【図１】
2005341382.tif 000003
【図２】
2005341382.tif 000004
【図３】
2005341382.tif 000005
【図４】
2005341382.tif 000006
【図５】
2005341382.tif 000007
【図６Ａ】
2005341382.tif 000008
【図６Ｂ】
2005341382.tif 000009
【図６Ｃ】
2005341382.tif 000010
【図７】
2005341382.tif 000011
【図８】
2005341382.tif 000012
【図９】
2005341382.tif 000013
【図１０】
2005341382.tif 000014