(57)【要約】【課題】記憶部から読み出される画像の画質劣化（乱れ）が抑制されるように、書き込み（記憶部への画像の書き込み）に対する読み出し（記憶部からの画像の読み出し）の遅延時間を低減できる技術を提供する。【解決手段】本発明の画像処理装置は、画像を記憶手段に書き込む書き込み手段と、前記画像からトリミングするエリアを変更する第１のユーザ操作を受け付け可能な受け付け手段と、前記エリアを前記記憶手段から読み出す読み出し手段と、を有し、前記読み出し手段は、前記第１のユーザ操作が継続中である場合に、前記エリアに依って変化しない第１の時間を、前記書き込み手段による書き込みに対する読み出しの遅延時間とし、前記第１のユーザ操作が継続中でない場合に、前記エリアに応じた第２の時間を前記遅延時間とする。【選択図】図５
2020047115.tif 000002
【特許請求の範囲】
【請求項１】
画像を記憶手段に書き込む書き込み手段と、
前記画像からトリミングするエリアを変更する第１のユーザ操作を受け付け可能な受け付け手段と、
前記エリアを前記記憶手段から読み出す読み出し手段と、
を有し、
前記読み出し手段は、
前記第１のユーザ操作が継続中である場合に、前記エリアに依って変化しない第１の時間を、前記書き込み手段による書き込みに対する読み出しの遅延時間とし、
前記第１のユーザ操作が継続中でない場合に、前記エリアに応じた第２の時間を前記遅延時間とする
ことを特徴とする画像処理装置。
【請求項２】
前記エリアは、前記画像からトリミングして拡大するエリアである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の時間は、前記第２の時間となり得る最長時間である
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第１のユーザ操作が継続中の期間は、閾値時間よりも短い時間間隔で前記第１のユーザ操作が繰り返されている期間である
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記読み出し手段は、前記書き込み手段が前記画像を書き込む際の前記画像の走査方向と同じ走査方向で前記エリアを走査しながら読み出し、
前記第１のユーザ操作は、前記走査方向に前記エリアの位置を変更するユーザ操作を含まない
ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第２の時間は、前記エリアの読み出しが前記エリアの書き込みを追い越さない最短時間である
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第１のユーザ操作は、少なくとも前記エリアの位置を変更するユーザ操作であり、
前記受け付け手段は、前記エリアの位置を変更せずに前記エリアのサイズを変更する第２のユーザ操作をさらに受け付け可能であり、
前記読み出し手段は、前記第１のユーザ操作が継続中でない場合に、前記第２のユーザ操作が継続中であっても、前記第２の時間を前記遅延時間とする
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項８】
前記エリアは、前記画像からトリミングして拡大するエリアであり、
前記第２のユーザ操作は、前記エリアの位置を変更せずに、前記エリアを拡大する際の拡大率を変更するユーザ操作である
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記第２の時間は、前記エリアのサイズが最小サイズである場合に前記エリアの読み出しが前記エリアの書き込みを追い越さない最短時間である
ことを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
画像を記憶手段に書き込む書き込みステップと、
前記画像からトリミングするエリアを変更する第１のユーザ操作を受け付け可能な受け付けステップと、
前記エリアを前記記憶手段から読み出す読み出しステップと、
を有し、
前記読み出しステップでは、
前記第１のユーザ操作が継続中である場合に、前記エリアに依って変化しない第１の時間を、前記書き込みステップにおける書き込みに対する読み出しの遅延時間とし、
前記第１のユーザ操作が継続中でない場合に、前記エリアに応じた第２の時間を前記遅延時間とする
ことを特徴とする画像処理方法。
【請求項１１】
前記エリアは、前記画像からトリミングして拡大するエリアである
ことを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記第１の時間は、前記第２の時間となり得る最長時間である
ことを特徴とする請求項１０または１１に記載の画像処理方法。
【請求項１３】
前記第１のユーザ操作が継続中の期間は、閾値時間よりも短い時間間隔で前記第１のユーザ操作が繰り返されている期間である
ことを特徴とする請求項１０〜１２のいずれか１項に記載の画像処理方法。
【請求項１４】
前記読み出しステップでは、前記書き込みステップで前記画像を書き込む際の前記画像の走査方向と同じ走査方向で前記エリアを走査しながら読み出し、
前記第１のユーザ操作は、前記走査方向に前記エリアの位置を変更するユーザ操作を含まない
ことを特徴とする請求項１０〜１３のいずれか１項に記載の画像処理方法。
【請求項１５】
前記第２の時間は、前記エリアの読み出しが前記エリアの書き込みを追い越さない最短時間である
ことを特徴とする請求項１０〜１４のいずれか１項に記載の画像処理方法。
【請求項１６】
前記第１のユーザ操作は、少なくとも前記エリアの位置を変更するユーザ操作であり、
前記受け付けステップでは、前記エリアの位置を変更せずに前記エリアのサイズを変更する第２のユーザ操作をさらに受け付け可能であり、
前記読み出しステップでは、前記第１のユーザ操作が継続中でない場合に、前記第２のユーザ操作が継続中であっても、前記第２の時間を前記遅延時間とする
ことを特徴とする請求項１０〜１４のいずれか１項に記載の画像処理方法。
【請求項１７】
前記エリアは、前記画像からトリミングして拡大するエリアであり、
前記第２のユーザ操作は、前記エリアの位置を変更せずに、前記エリアを拡大する際の拡大率を変更するユーザ操作である
ことを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
前記第２の時間は、前記エリアのサイズが最小サイズである場合に前記エリアの読み出しが前記エリアの書き込みを追い越さない最短時間である
ことを特徴とする請求項１６または１７に記載の画像処理方法。
【請求項１９】
請求項１０〜１８のいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項２０】
請求項１０〜１８のいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム、および記憶媒体に関する。
【背景技術】
【０００２】
一般的に、画像処理装置では、画像の入力開始から画像の出力開始までの時間（入出力時間）は、短いほどよい。つまり、画像処理装置への画像の入力に対してレスポンス良く画像処理装置から画像が出力されることが好ましい。入出力時間を低減する方法として、画像処理装置に入力された画像を記憶部に書き込み、記憶部から画像を読み出して出力するという方法がある。この方法では、書き込みの完了を待たずに、書き込み中に、書き込みを追いかけるように読み出しが行われる。書き込み開始から読み出し開始までの時間（位相差；書き込みに対する読み出しの遅延時間）が低減されるように、読み出しを開始するタイミング（位相）を調整することで、入出力時間を低減することができる。
【０００３】
画像の一部をトリミングして拡大するズーム処理などでは、トリミングするエリア（トリミングエリア）のみを読み出せばよい。トリミングエリアのみを読み出す場合において、読み出しが書き込みを追い越さないようにするためには、トリミングエリアに応じて上記遅延時間（読み出し遅延時間）を変更する必要がある。トリミングエリアに応じて読み出し遅延時間を変更する従来技術は、例えば、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−９２７３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、トリミングエリアに応じて読み出し遅延時間を変更する従来技術では、記憶部から読み出される画像の画質劣化（乱れ）が生じることがある。
【０００６】
本発明は、記憶部から読み出される画像の画質劣化（乱れ）が抑制されるように、書き込み（記憶部への画像の書き込み）に対する読み出し（記憶部からの画像の読み出し）の遅延時間を低減できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様は、画像を記憶手段に書き込む書き込み手段と、前記画像からトリミングするエリアを変更する第１のユーザ操作を受け付け可能な受け付け手段と、前記エリアを前記記憶手段から読み出す読み出し手段と、を有し、前記読み出し手段は、前記第１のユーザ操作が継続中である場合に、前記エリアに依って変化しない第１の時間を、前記書き込み手段による書き込みに対する読み出しの遅延時間とし、前記第１のユーザ操作が継続中でない場合に、前記エリアに応じた第２の時間を前記遅延時間とすることを特徴とする画像処理装置である。
【０００８】
本発明の第２の態様は、画像を記憶手段に書き込む書き込みステップと、前記画像からトリミングするエリアを変更する第１のユーザ操作を受け付け可能な受け付けステップと、前記エリアを前記記憶手段から読み出す読み出しステップと、を有し、前記読み出しステップでは、前記第１のユーザ操作が継続中である場合に、前記エリアに依って変化しない第１の時間を、前記書き込みステップにおける書き込みに対する読み出しの遅延時間とし、前記第１のユーザ操作が継続中でない場合に、前記エリアに応じた第２の時間を前記
遅延時間とすることを特徴とする画像処理方法である。
【０００９】
本発明の第３の態様は、上述した画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。本発明の第４の態様は、上述した画像処理方法の各ステップをコンピュータに実行させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。
【発明の効果】
【００１０】
本発明によれば、記憶部から読み出される画像の画質劣化（乱れ）が抑制されるように、書き込み（記憶部への画像の書き込み）に対する読み出し（記憶部からの画像の読み出し）の遅延時間を低減できる。
【図面の簡単な説明】
【００１１】
【図１】実施例１に係る画像処理装置の構成例を示すブロック図である。
【図２】実施例１に係る画像の走査方法の一例を示す模式図である。
【図３】実施例１に係る画像の読み出し方法の一例を示す模式図である。
【図４】実施例１に係る読み出し遅延時間の一例を示す模式図である。
【図５】実施例１に係る画像処理装置の処理フロー例を示すフローチャートである。
【図６】実施例２に係る画像処理装置の構成例を示すブロック図である。
【図７】実施例２に係る画像処理装置の処理フロー例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
＜実施例１＞
以下、本発明の実施例１について説明する。図１は、本実施例に係る画像処理装置２００の構成例を示すブロック図である。画像処理装置２００は、画像（画像データ）を出力する画像出力装置１００と、表示面に画像を表示する画像表示装置３００とに接続されている。なお、画像出力装置１００と画像処理装置２００が一体的に構成されてもよいし、画像処理装置２００と画像表示装置３００が一体的に構成されてもよいし、画像出力装置１００と画像処理装置２００と画像表示装置３００が一体的に構成されてもよい。例えば、画像処理装置２００は、撮像部として画像出力装置１００を備えるカメラであってもよいし、表示部（表示パネルなど）として画像表示装置３００を備える画像表示装置であってもよい。画像処理装置２００は、画像入力部２０１、記憶部２０２、ズーム処理部２０３、画像出力部２０４、ズーム操作部２０５、ズーム操作継続判断部２０６、及び、遅延決定部２０７を備える。
【００１３】
画像入力部２０１は、画像処理装置２００の外部装置から出力された画像（画像データ）を取得する。具体的には、画像入力部２０１は入力端子を備え、外部装置から出力された画像は当該入力端子に入力される。本実施形態では、ＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）ケーブルなどの第１のケーブルを用いて、画像出力装置１００の出力端子が画像処理装置２００（画像入力部２０１）の入力端子に接続されている。そして、画像出力装置１００の出力端子から出力された画像は、第１のケーブルを介して、画像入力部２０１の入力端子に入力される。なお、画像出力装置１００は無線で画像処理装置２００に接続されてもよい。
【００１４】
画像入力部２０１は、入力画像（画像入力部２０１に入力された画像）を記憶部２０２に書き込む。本実施形態では、図２に示すように、画像出力装置１００は、１フレームの入力画像（マトリクス状に配置された複数の画素）を、左上から右下へ１ライン（１行）ずつ走査しながら出力する（ラスタースキャン）。そして、画像入力部２０１は、画像出力装置１００と同じ走査方向で入力画像を走査しながら記憶部２０２に書き込む。記憶部２０２への書き込みは、入力画像の垂直同期信号と同期したタイミングで開始される。ま
た、画像入力部２０１は、入力画像の画像サイズ（解像度）などのフォーマットを示す入力画像情報を遅延決定部２０７に出力する。
【００１５】
記憶部２０２は入力画像を記憶する。本実施形態では、記憶部２０２は、１フレームの入力画像を書き込めるバッファを複数備え、フレーム毎にバッファを切り替える。
【００１６】
ズーム処理部２０３は、記憶部２０２から入力画像を読み出す。本実施形態では、ズーム処理部２０３は、画像入力部２０１や画像出力装置１００と同じ走査方向で入力画像を走査しながら読み出す。等倍表示などのために、入力画像の全体に基づく画像を画像表示装置３００に出力する設定がされている場合には、ズーム処理部２０３は、図３（Ａ）に示すように、入力画像の全体を読み出す。ズーム表示（拡大表示）などのために、入力画像の一部のみに基づく画像を画像表示装置３００に出力する設定がされている場合には、ズーム処理部２０３は、図３（Ｂ）に示すように、入力画像の一部のみを読み出す（トリミング）。具体的には、ズーム処理部２０３は、画像表示装置３００に出力する画像を得るために必要なエリアのみを読み出す。そして、ズーム処理部２０３は、読み出したエリアを拡大する（拡大処理）。本実施形態では、ズーム処理部２０３は、サイズが所定サイズ（具体的には入力画像の全体の画像サイズ）となるようにトリミングエリアを拡大する。記憶部２０２からの読み出しは、記憶部２０２への書き込み開始から、遅延決定部２０７で決定された遅延時間（読み出し遅延時間）だけ遅れたタイミングで開始される。
【００１７】
画像出力部２０４は、ズーム処理部２０３によって読み出されて拡大処理が適宜施された画像を、画像処理装置２００の外部に出力する。具体的には、画像出力部２０４は出力端子を備え、画像は当該出力端子から出力される。本実施形態では、ＳＤＩケーブルなどの第２のケーブルを用いて、画像処理装置２００（画像出力部２０４）の出力端子が画像表示装置３００の入力端子に接続されている。そして、画像出力部２０４の出力端子から出力された画像（出力画像）は、第２のケーブルを介して画像表示装置３００の入力端子に入力され、画像表示装置３００で表示される。なお、画像処理装置２００は無線で画像表示装置３００に接続されてもよい。
【００１８】
ズーム操作部２０５は、入力画像からトリミングするエリア（トリミングエリア）を変更するユーザ操作を受け付け可能である。本実施形態では、トリミングエリアは、入力画像からトリミングして拡大するエリアであり、トリミングエリアを変更するユーザ操作は、トリミングエリアの位置（ズーム位置）や拡大率を変更するズーム操作である。ズーム操作が行われると、ズーム操作部２０５は、トリミングエリア（変更後）に関するエリア情報をズーム処理部２０３と遅延決定部２０７に出力し、ズーム操作が行われたことを示すズーム操作情報をズーム操作継続判断部２０６に通知する。本実施形態では、エリア情報は、ズーム位置と拡大率を示す。上述したように、ズーム処理部２０３は、サイズが入力画像の全体の画像サイズとなるようにトリミングエリアを拡大する。そのため、拡大率に応じてトリミングエリアのサイズ（拡大前）が決まる。なお、エリア情報からトリミングエリアが判断できれば、エリア情報はどのような情報であってもよい。例えば、エリア情報は、トリミングエリアの位置とサイズを示してもよいし、トリミングエリアの各頂点を示してもよい。
【００１９】
ズーム操作継続判断部２０６は、ズーム操作部２０５からのズーム操作情報の有無に基づいて、ズーム操作が継続中であるか否かを判断する。そして、ズーム操作継続判断部２０６は、判断結果を示すズーム操作継続情報を遅延決定部２０７に出力する。例えば、ズーム操作継続判断部２０６は、ズーム操作が継続中であると判断した場合にはズーム操作継続情報として「１」を出力し、ズーム操作が継続中でない（停止中である）と判断した場合にはズーム操作継続情報として「０」を出力する。
【００２０】
遅延決定部２０７は、入力画像情報、ズーム操作継続情報、及び、エリア情報に基づいて、読み出し遅延時間（記憶部２０２への書き込みに対する記憶部２０２からの読み出しの遅延時間）を決定する。そして、遅延決定部２０７は、決定した読み出し遅延時間を示す遅延情報をズーム処理部２０３に出力する。
【００２１】
読み出し遅延時間の決定方法について具体的に説明する。ここでは、簡単のために、画像入力部２０１への入力画像の入力開始から記憶部２０２への入力画像の書き込み開始までの時間や、入力画像のブランキング期間などは無視できるものとする。また、記憶部２０２への書き込み速度と、記憶部２０２からの読み出し速度とが同じであるものとする。また、記憶部２０２に対するアクセス速度（書き込み速度や読み出し速度）が帯域などによって変化することはないものとする。
【００２２】
まず、入力画像の全体を読み出す場合を説明する。この場合には、記憶部２０２に書き込まれるエリアと、記憶部２０２から読み出されるエリアとは同じである。そして、上述したように、書き込みの走査方向と読み出しの走査方向は同じであり、書き込みの速度と読み出しの速度も同じである。そのため、書き込み開始に対して読み出し開始を１ライン分のアクセス時間（１ラインを書き込む又は読み出すのに要する時間）以上遅らせればよい。つまり、１ライン分のアクセス時間以上の時間を読み出し遅延時間とすればよい。これにより、読み出しが書き込みを追い越すことなく、所望のエリア（入力画像の全体）を読み出すことができ、読み出しが書き込みを追い越すことによる画質劣化（乱れ）の無い出力画像を得ることができる。
【００２３】
１ライン分のアクセス時間は、ブランキング期間などを無視すると、１フレームの時間を入力画像のライン数で除算することで算出できる。例えば、入力画像のフレーム周波数（フレームレート）が６０Ｈｚであり、入力画像のライン数が２１６０ラインである場合には、１ライン分のアクセス時間は（１／６０）÷２１６０＝７．７μｓｅｃとなる。従って、読み出し遅延時間として７．７μｓｅｃ以上の時間を用いれば、読み出しが書き込みを追い越すことなく、入力画像の全体を読み出すことができる。
【００２４】
また、画像処理装置２００では、読み出し遅延時間が短いほど、入力画像の入力開始から出力画像の出力開始までの時間（入出力時間）は短い。従って、図４（Ａ）に示すように、書き込み開始に対して読み出し開始を１ライン分のアクセス時間だけ遅らせれば（１ライン分のアクセス時間を読み出し遅延時間とすれば）、最短の入出力時間で上記画質劣化の無い出力画像を得ることができる。
【００２５】
次に、入力画像の中心部をトリミングエリアとして読み出す場合を説明する。ここで、入力画像の（上から）ｎ番目のラインが、トリミングエリアの（上から）１番目のラインであるとする（ｎは１以上の整数）。この場合には、入力画像のｎ番目のラインの書き込み後に、読み出しを開始すればよい。つまり、入力画像の１〜ｎ番目のラインの書き込みに要する時間以上の時間を読み出し遅延時間とすればよい。例えば、入力画像のライン数が２１６０ラインであり、拡大率が２倍であり、ズーム位置が入力画像の中心である場合には、トリミングエリアのライン数は２１６０÷２＝１０８０ラインとなる。そして、図４（Ｂ）に示すように、入力画像の５４１（＝（２１６０−１０８０）÷２＋１）番目のラインがトリミングエリアの１番目のラインとなる。従って、読み出し遅延時間として７．７μｓｅｃ×５４１＝４．１７ｍｓｅｃ以上の時間を用いれば、読み出しが書き込みを追い越すことなく、図４（Ｂ）のトリミングエリアを読み出すことができる。
【００２６】
次に、最も遅延が必要な場合を説明する。入力画像の一番下のラインがトリミングエリアの一番下のラインであり、且つ、拡大率が最大拡大率である場合に、最も遅延が必要となる。「拡大率が最大拡大率である場合」は「トリミングエリアのサイズが最小サイズで
ある場合」とも言える。例えば、入力画像の一番下のラインがトリミングエリアの一番下のラインであり、且つ、拡大率が最大拡大率８倍である場合には、図４（Ｃ）に示すように、入力画像の１８９１番目のラインがトリミングエリアの１番目のラインとなる。従って、読み出しが書き込みを追い越すことなく図４（Ｃ）のトリミングエリアを読み出すためには、７．７μｓｅｃ×１８９１＝１４．５９ｍｓｅｃ以上の読み出し遅延時間が必要となる。そして、１４．５９ｍｓｅｃを読み出し遅延時間とすれば、どのようなトリミングエリアが設定されても、読み出しが書き込みを追い越すことなく、所望のトリミングエリアを読み出すことができる。もちろん、読み出しが書き込みを追い越すことなく、入力画像の全体を読み出すこともできる。
【００２７】
ここで、読み出しが書き込みを追い越さない最短の読み出し遅延時間を常に採用する場合を考える。この場合には、ズーム操作の継続中に読み出し遅延時間が変動する。そして、読み出し遅延時間の変動により、画像が切り替わるタイミングが乱れ、フレーム間での物体の動きが不自然な動きとなってしまう。また、画像表示装置３００の設定や能力などによって読み出し遅延時間が急激に変更できない場合には、ズーム操作の継続中に、読み出しが書き込みを追い越すことがある。その結果、画像表示装置３００の表示面の一部に１〜数フレーム前の画像が表示され、表示面のエリア間での画像のずれなどの乱れが発生してしまう。
【００２８】
そこで、ズーム操作が継続中でない場合に限って、遅延決定部２０７は、トリミングエリアに応じた時間を読み出し遅延時間とする。例えば、ズーム操作が継続中でない場合に、遅延決定部２０７は、読み出しが書き込みを追い越さない最短時間を読み出し遅延時間とする。具体的には、ズーム操作が継続中でなく、拡大率が２倍であり、ズーム位置が入力画像の中心である場合には、遅延決定部２０７は、４．１７ｍｓｅｃを読み出し遅延時間とする。なお、ズーム操作が継続中でない場合の読み出し遅延時間は、トリミングエリアに応じた時間であればよく、読み出しが書き込みを追い越さない最短時間より長くてもよい。
【００２９】
一方で、ズーム操作が継続中である場合には、遅延決定部２０７は、トリミングエリアに依って変化しない時間を、読み出し遅延時間とする。例えば、ズーム操作が継続中である場合に、遅延決定部２０７は、ズーム操作が継続中でない場合の読み出し遅延時間となり得る最長時間を、読み出し遅延時間とする。具体的には、ズーム操作が継続中である場合に、遅延決定部２０７は、１４．５９ｍｓｅｃを読み出し遅延時間とする。なお、ズーム操作が継続中である場合の読み出し遅延時間は、トリミングエリアに依って変化しない時間であればよく、１４．５９ｍｓｅｃより長くてもよい。１４．５９ｍｓｅｃは１フレームの時間（１／６０＝１６．７ｍｓｅｃ）と同等である。そのため、制御の簡単化のために、書き込みの位相と読み出しの位相が同じとなり、書き込むフレームの１つ前のフレームが読み出されるように、１フレームの時間（１／６０＝１６．７ｍｓｅｃ）を読み出し遅延時間としてもよい。
【００３０】
図５を用いて、画像処理装置２００の処理フローの一例を説明する。図５の処理フローは、入力画像の各フレームについて行われる。
【００３１】
ステップＳ１０１にて、ズーム操作継続判断部２０６は、ズーム操作部２０５からのズーム操作情報の有無に基づいて、前回のステップＳ１０１の処理以降にズーム操作があったか否かを判断する。ズーム操作があった場合はステップＳ１０２に処理が進められ、ズーム操作がなかった場合はステップＳ１０４に処理が進められる。
【００３２】
ステップＳ１０２にて、ズーム処理部２０３は、入力画像情報とエリア情報（前回のステップＳ１０１の処理以降に行われたズーム操作に応じたエリア情報）に基づいて、トリ
ミングエリアと拡大率を設定／更新する。
【００３３】
ステップＳ１０４にて、ズーム操作継続判断部２０６は、最後のズーム操作から３秒が経過したか否かを判断する。３秒が経過していない場合は、ズーム操作が継続中であると判断され、ステップＳ１０３に処理が進められる。３秒が経過している場合は、ズーム操作が継続中でない（停止中である）と判断され、ステップＳ１０５に処理が進められる。従って、本実施形態では、３秒などの閾値時間よりも短い時間間隔でズーム操作が繰り返されている期間が、ズーム操作が継続中の期間とされる。
【００３４】
ステップＳ１０３にて、遅延決定部２０７は、ズーム操作が継続中であるため、トリミングエリアに依って変化しない時間を、読み出し遅延時間として設定する。
【００３５】
ステップＳ１０５にて、遅延決定部２０７は、ズーム操作が継続中でないため、エリア情報（最後のズーム操作に応じたエリア情報；ズーム位置と拡大率）に基づいて、トリミングエリアに応じた時間を読み出し遅延時間として設定する。
【００３６】
ステップＳ１０６にて、ズーム処理部２０３は、ステップＳ１０３またはステップＳ１０５で設定された読み出し遅延時間に従って、設定されているトリミングエリアを記憶部２０２から読み出す。具体的には、ズーム処理部２０３は、現在のフレームの書き込み開始から読み出し遅延時間だけ遅れたタイミングで、トリミングエリアの読み出しを開始する。そして、ズーム処理部２０３は、読み出したトリミングエリアを、設定されている拡大率で拡大し、画像出力部２０４を介して画像表示装置３００に出力する。
【００３７】
以上述べたように、本実施例によれば、ズーム操作が継続中である場合に、トリミングエリアに依って変化しない時間が読み出し遅延時間とされ、ズーム操作が継続中でない場合に、トリミングエリアに応じた時間が読み出し遅延時間とされる。これにより、記憶部２０２から読み出される画像の画質劣化（乱れ）が抑制されるように、読み出し遅延時間を低減できる。
【００３８】
ここで、拡大率を１倍（等倍表示）から２倍（２倍表示）に変更し（ズームＯＮ）、３秒以内に４倍に変更し、３秒以内に８倍に変更し、３秒以内にズーム位置を様々な位置に移動し、ズーム位置を確定させ、ズーム操作が終了（停止）する場合を考える。読み出しが書き込みを追い越さない最短の読み出し遅延時間を常に採用する場合には、拡大率の変更やズーム位置の変更などのズーム操作が行われる度に読み出し遅延時間が変化するため、出力画像の画質劣化（乱れ）が発生する。本実施例では、ズームＯＮのタイミングで、トリミングエリアに依って変化しない時間が読み出し遅延時間とされる。その後、ズーム操作が終了するまで読み出し遅延時間が維持され、ズーム操作の終了から３秒後に、トリミングエリアに応じた時間が読み出し遅延時間とされる。このように、読み出し遅延時間が変化するのは２回だけであり、ズーム操作の継続中は、読み出し遅延時間が変化しないため、読み出し遅延時間の変化による出力画像の画質劣化（乱れ）は発生しない。
【００３９】
なお、ズーム操作が継続中であるか否かの閾値時間は、３秒より長くても短くてもよい。閾値時間は、予め定められた固定時間であってもよいし、ユーザによって指定された時間であってもよい。閾値時間は、過去の操作履歴に基づく時間（操作が停止したと判断できる時間）であってもよい。
【００４０】
なお、書き込みや読み出しの走査方向にトリミングエリアの位置を変更しても、書き込みを追い越さない最短の読み出し遅延時間は殆ど変わらない。そのため、走査方向にトリミングエリアの位置を変更するズーム操作は、ズーム操作が継続しているか否かの判断で考慮されなくてもよい。
【００４１】
なお、入力画像の一部をトリミングして拡大する例を説明したが、これに限らない。例えば、拡大は行わずに、トリミングのみを行ってもよい。この場合には、トリミングエリアは、入力画像からトリミングして拡大するエリアではなく、入力画像からトリミングするエリアとなる。そして、トリミングエリアを変更するユーザ操作は、トリミングエリアの位置や拡大率を変更するズーム操作ではなく、トリミングエリアの位置やサイズを変更するユーザ操作などとなる。また、出力画像のサイズ（解像度）よりも大きいサイズを有する入力画像から、出力画像のエリアをトリミングしてもよい。この場合には、トリミングエリアのサイズは一定であるため、トリミングエリアを変更するユーザ操作は、ズーム操作ではなく、トリミングエリアの位置のみを変更するユーザ操作となる。
【００４２】
＜実施例２＞
以下、本発明の実施例２について説明する。なお、以下では、実施例１と異なる点（構成や処理）について詳しく説明し、実施例１と同じ点についての説明は省略する。実施例１では、ズーム位置（トリミングエリアの位置）を変更せずに拡大率（トリミングエリアのサイズ）を変更するズーム操作が行われた場合に、ズーム位置にも拡大率にも依存しない時間が読み出し遅延時間とされる。本実施例では、ズーム位置を変更せずに拡大率を変更するズーム操作が行われた場合には、トリミングエリアに応じた時間を読み出し遅延時間とする。つまり、ズーム位置を変更せずに拡大率を変更するズーム操作は、ズーム操作が継続しているか否かの判断で考慮しない。但し、トリミングエリアに応じた時間は、ズーム位置に応じた時間であり、ズーム位置には依存するが拡大率には依存しない時間である。
【００４３】
図６は、本実施例に係る画像処理装置４００の構成例を示すブロック図である。図６において、図１と同じ機能を有するブロックには図１と同じ符号が付されている。ズーム操作継続判断部４０６は、図１のズーム操作継続判断部２０６と同様にズーム操作が継続中であるか否かを判断する。但し、ズーム操作継続判断部４０６は、判断において、少なくともズーム位置を変更するズーム操作（ズーム位置操作）のみを考慮し、拡大率のみを変更するズーム操作（拡大率操作）は考慮しない。ズーム位置操作は、ズーム位置のみを変更するズーム操作や、ズーム位置と拡大率の両方を変更するズーム操作である。遅延決定部４０７は、図１の遅延決定部２０７と同様に読み出し遅延時間を決定するが、ズーム操作が継続中でないと判断された場合に、遅延決定部２０７と異なる方法で読み出し遅延時間を決定する。
【００４４】
図７を用いて、画像処理装置４００の処理フローの一例を説明をする。図７において、図５と同じ処理ステップには図５と同じ符号が付されている。
【００４５】
ステップＳ２０１にて、ズーム操作継続判断部４０６は、ステップＳ１０１で判断されたズーム操作がズーム位置操作であるか否かを判断する。ズーム位置操作である場合はステップＳ１０３に処理が進められる。ズーム位置操作でない場合、すなわち拡大率操作である場合はステップＳ２０２に処理が進められる。ステップＳ２０２にて、ズーム操作継続判断部４０６は、最後のズーム位置操作から３秒が経過したか否かを判断する。３秒が経過していない場合は、ズーム操作が継続中であると判断され、ステップＳ１０３に処理が進められる。３秒が経過している場合は、ズーム操作が継続中でない（停止中である）と判断され、ステップＳ２０３に処理が進められる。ステップＳ２０３にて、遅延決定部４０７は、ズーム操作が継続中でないと判断されため、ズーム位置に応じた時間を読み出し遅延時間として設定する。
【００４６】
本実施形態では、拡大率を変更してもトリミングエリアの中心位置は変化しないとする。入力画像の解像度（水平方向の画素数×垂直方向の画素数）が３８４０×２１６０であ
り、入力画像の左上隅の位置（水平位置，垂直位置）が位置（０，０）である場合を考える。位置が右にｍ画素分だけ移動すると水平位置がｍだけ増加し、位置が下にｍ画素分だけ移動すると垂直位置がｍだけ増加するとする。入力画像の中心がトリミングエリアの中心となるように拡大率として２倍が設定された場合は、位置（９６０，５４０）から位置（２７７９，１６１９）までのエリアがトリミングエリアとなる。その状態から拡大率を４倍に変更すると、位置（１４４０，８１０）から位置（２４５９，１３４９）までのエリアがトリミングエリアとなる。その状態から拡大率を８倍に変更すると、位置（１６８０，９４５）から位置（２１５９，１２１４）までのエリアがトリミングエリアとなる。そして、トリミングエリアの中心位置が一定である場合には、拡大率の増加により（トリミングエリアの縮小により）、トリミングエリアの１番目のラインに対応する入力画像のラインは下側に移動する。その結果、読み出しが書き込みを追い越さない最短の読み出し遅延時間は増加する。
【００４７】
従って、ステップＳ２０３では、拡大率が最大拡大率である場合の最短の読み出し遅延時間を設定すれば、どのような拡大率が設定されても、読み出しが書き込みを追い越すことなく、所望のトリミングエリアを読み出すことができる。拡大率が最大拡大率である場合の最短の読み出し遅延時間は、ステップＳ１０３で設定される読み出し遅延時間以下であるため、拡大率操作の継続中の読み出し遅延時間を実施例１から低減できる。また、ステップＳ２０３では、拡大率に依存しない時間が読み出し遅延時間として設定されるため、拡大率操作の継続中に、読み出し遅延時間の変化による出力画像の画質劣化（乱れ）は発生しない。なお、実施例１で述べたように、「拡大率が最大拡大率である場合」は「トリミングエリアのサイズが最小サイズである場合」とも言える。また、ステップＳ２０３で設定される読み出し遅延時間は、拡大率（トリミングエリアのサイズ）に依存しない時間であればよく、拡大率が最大拡大率である場合の最短の読み出し遅延時間より長くてもよい。
【００４８】
なお、実施例１，２（図１，６）の各ブロックは、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上のブロックの機能が、共通のハードウェアによって実現されてもよい。１つのブロックの複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つのブロックの２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各ブロックは、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部のブロックの機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
【００４９】
なお、実施例１，２はあくまで一例であり、本発明の要旨の範囲内で実施例１，２の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１，２の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
【００５０】
＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５１】
２００，４００：画像処理装置  ２０１：画像入力部  ２０２：記憶部
２０３：ズーム処理部  ２０５：ズーム操作部
【図１】
2020047115.tif 000003
【図２】
2020047115.tif 000004
【図３】
2020047115.tif 000005
【図４】
2020047115.tif 000006
【図５】
2020047115.tif 000007
【図６】
2020047115.tif 000008
【図７】
2020047115.tif 000009