(57)【要約】【課題】  画像保存を高性能化する。【解決手段】  画像比較手段はフレーム間変化量を算出し閾値１より小さいとき画像メモリの画像データを画像メモリ２にコピーする。制御手段は画像比較手段からフレーム間変化量を読み出し、直前ｎフレームの変化量を算出し、ｎフレームの変化量が閾値２を超えていない場合はフレーム間変化量から累積変化量を算出して保存し、ｎフレーム分の変化量が閾値２を超えていてかつ累積変化量が閾値３を超えている場合は、画像メモリ２の画像をファイル化し、その後フレーム間変化量が閾値１を超えなかった時に累積変化量をリセットし画像メモリ２の画像データを作業メモリにコピーしファイル化を行い、ｎフレーム分の変化量が閾値２を超えていてかつ累積変化量が閾値３を超えていない場合は、フレーム間変化量が閾値１を超えなかった時に第２の変化量をリセットし第２の画像メモリに保存された画像データを作業メモリにコピーする。【選択図】  図１
2006135746.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を制御する画像処理手段と、画像比較手段と、前記入力画像を保存するための第１の画像メモリおよび第２の画像メモリと、制御手段と、前記制御手段が作業を行うための作業メモリを備え、
前記画像処理手段が、前記入力画像を第１の画像メモリに保存するとき、前記画像比較手段は、前記入力画像と前記第１の画像メモリに保存されていた画像データとのフレーム間の変化量を算出し、前記フレーム間の変化量が第１の閾値より小さいとき、前記第１の画像メモリに保存されていた画像データを前記第２の画像メモリにコピーし、
前記制御手段は前記画像比較手段から前記フレーム間の変化量を読み出し、直前のｎフレーム分の前記フレーム間の変化量を加算したｎフレーム分の変化量を算出し、
前記ｎフレーム分の変化量が第２の閾値を超えていない場合は、前記フレーム間の変化量から第２の変化量を算出して保存し、
前記ｎフレーム分の変化量が第２の閾値を超えていて、かつ、前記第２の変化量が第３の閾値を超えている場合は、前記第２の画像メモリに保存された画像データを作業メモリにコピーしファイル化を行い、その後前記フレーム間の変化量が第１の閾値を超えなかったときに、前記第２の変化量をリセットし、前記第２の画像メモリに保存された画像データを作業メモリにコピーしファイル化を行い、一方、前記ｎフレーム分の変化量が第２の閾値を超えていて、かつ、前記第２の変化量が第３の閾値を超えていない場合は、その後前記フレーム間の変化量が第１の閾値を超えなかったときに、前記第２の変化量をリセットし、前記第２の画像メモリに保存された画像データを作業メモリにコピーしファイル化を行うことを特徴とする表示装置。
【請求項２】
前記フレーム間の変化量は、連続するフレームの間の赤、緑および青の各画像信号成分の差の絶対値の合計であることを特徴とする、請求項１に記載の表示装置。
【請求項３】
前記第２の変化量は、前記フレーム間の変化量を累積した値であることを特徴とする、請求項１または２に記載の表示装置。
【請求項４】
入力画像を制御する画像処理手段と、画像比較手段と、前記入力画像を保存するための第１の画像メモリおよび第２の画像メモリと、制御手段と、前記制御手段が作業を行うための作業メモリを備えた表示装置における画像保存方法であって、
前記入力画像を第１の画像メモリに保存するステップと、前記入力画像と前記第１の画像メモリに保存されていた画像データとのフレーム間の変化量を算出し、前記フレーム間の変化量が第１の閾値より小さいとき、前記第１の画像メモリに保存されていた画像データを前記第２の画像メモリにコピーするステップと、
前記画像比較手段から前記フレーム間の変化量を読み出し、直前のｎフレーム分の前記フレーム間の変化量を加算したｎフレーム分の変化量を算出するステップと、
前記ｎフレーム分の変化量が第２の閾値を超えていない場合は、前記フレーム間の変化量から第２の変化量を算出して保存するステップと、
前記ｎフレーム分の変化量が第２の閾値を超えていて、かつ、前記第２の変化量が第３の閾値を超えている場合は、前記第２の画像メモリに保存された画像データを作業メモリにコピーしファイル化を行うステップと、その後前記フレーム間の変化量が第１の閾値を超えなかったときに、前記第２の変化量をリセットし、前記第２の画像メモリに保存された画像データを作業メモリにコピーしファイル化を行うステップと、一方、前記ｎフレーム分の変化量が第２の閾値を超えていて、かつ、前記第２の変化量が第３の閾値を超えていない場合は、その後前記フレーム間の変化量が第１の閾値を超えなかったときに、前記第２の変化量をリセットし、前記第２の画像メモリに保存された画像データを作業メモリにコピーしファイル化を行うステップとを有することを特徴とする画像保存方法。
【請求項５】
前記フレーム間の変化量は、連続するフレームの間の赤、緑および青の各画像信号成分の差の絶対値の合計であることを特徴とする、請求項４に記載の画像保存方法。
【請求項６】
前記第２の変化量は、前記フレーム間の変化量を累積した値であることを特徴とする、請求項４または５に記載の画像保存方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置及び画像保存方法に関し、特に、会議やプレゼンテーション等において画像を保存する表示装置及び画像保存方法に関するものである。
【背景技術】
【０００２】
近年では会議やプレゼンテーションなどにおいて会議資料やプレゼンテーションのスライドなどを表示するためのディスプレイとして、プラズマディスプレイを始め、リアプロジェクションディスプレイ、フロントプロジェクタなどのような大画面表示装置の利用が増えてきている。ディスプレイの大画面化によってこれまでより大人数の会議に対応することができ、またこれらの大型ディスプレイでは高精細化も進んでいるため表示情報量を増やすことができるため、会議の効率をより高めることができる。
【０００３】
以前より、会議資料やプレゼンテーションで使用するスライドなど、ディスプレイに表示された内容を保存しておきたいという要求があった。表示画像を保存することで会議やプレゼンテーションの履歴を残し、後で議事録作成に利用することなどができるようになる。例えば、特開平８−１１１８６０号公報に開示された技術においては、会議での映像、会議資料、音声などの各情報をオペレーターの指示により合成し保存することで、後で会議内容の検索などを行うことができるようにしている。
【０００４】
また、表示画像を自動的に保存する技術として、特にビデオなどの動画像においてシーンを抽出し、シーン毎の画像を保存するような技術がこれまでに多く発明されてきている。例えば特開２００２−１８５９２３号公報では、動画像の中からシーンの切り換わりを検出し、切り換わり時の画像を静止画として記録することで、後でユーザーが再生開始位置を効率良く指定できるようにしている。また特開２００２−１６８６７号公報では、動画像の中にある静止画だけを抽出して保存する方法が開示されている。
【０００５】
会議やプレゼンテーションにおいても、会議資料やスライドなどの切り換わりを検出して、切り換わった画像を保存することが行われていた。
【特許文献１】特開平８−１１１８６０号公報
【特許文献２】特開２００２−１８５９２３号公報
【特許文献３】特開２００２−１６８６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
一方で会議やプレゼンテーションにおいては、会議資料の編集やプレゼンテーションスライドへの加筆が行われることが考えられる。この場合には、会議の履歴として、編集や加筆などを行う前の会議資料やスライドとともに、編集や加筆などを行った後の画像も保存したいという要求がある。
【０００７】
これまでは、会議資料あるいはスライドが切り換わった時の画像を１回保存するだけであったので、編集あるいは加筆前の画像と後の画像を両方とも保存することができなかった。両方を保存する方法としては、画像の切り換わりを検出したときに、切り換わり前および後の画像を両方とも保存するという方法が考えられる。切り換わり前の画像は、これまで表示していた会議資料に編集や加筆を行った後の最終状態であり、切り換わり後の画像は新しく表示された会議資料であるから、この方法によって編集や加筆前の会議資料の画像と編集や加筆が行われた後の画像とを両方とも保存することができる。
【０００８】
しかしこの方法のように画像の切り換え前と後の画像を全て保存すると、編集や加筆が加えられなかった会議資料については、２枚同じ画像が保存されてしまうという問題がある。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、請求項１記載の発明によれば、入力画像を制御する画像処理手段と、画像比較手段と、前記入力画像を保存するための第１の画像メモリおよび第２の画像メモリと、制御手段と、前記制御手段が作業を行うための作業メモリを備え、前記画像処理手段が、前記入力画像を第１の画像メモリに保存するとき、前記画像比較手段は、前記入力画像と前記第１の画像メモリに保存されていた画像データとのフレーム間の変化量を算出し、前記フレーム間の変化量が第１の閾値より小さいとき、前記第１の画像メモリに保存されていた画像データを前記第２の画像メモリにコピーし、前記制御手段は前記画像比較手段から前記フレーム間の変化量を読み出し、直前のｎフレーム分の前記フレーム間の変化量を加算したｎフレーム分の変化量を算出し、前記ｎフレーム分の変化量が第２の閾値を超えていない場合は、前記フレーム間の変化量から第２の変化量を算出して保存し、前記ｎフレーム分の変化量が第２の閾値を超えていて、かつ、前記第２の変化量が第３の閾値を超えている場合は、前記第２の画像メモリに保存された画像データを作業メモリにコピーしファイル化を行い、その後前記フレーム間の変化量が第１の閾値を超えなかったときに、前記第２の変化量をリセットし、前記第２の画像メモリに保存された画像データを作業メモリにコピーしファイル化を行い、一方、前記ｎフレーム分の変化量が第２の閾値を超えていて、かつ、前記第２の変化量が第３の閾値を超えていない場合は、その後前記フレーム間の変化量が第１の閾値を超えなかったときに、前記第２の変化量をリセットし、前記第２の画像メモリに保存された画像データを作業メモリにコピーしファイル化を行うことを特徴とする。
【発明の効果】
【００１０】
以上説明したように本発明においては、画像の切り換わりを検出するほかに、画像の累積的な変化量を監視することによって、編集や加筆などの部分的な変更があったかどうかを判断し、変更があった場合のみ画像を保存し、変更がなければ保存しないようにした。その結果、変更前の画像のほか変更後の画像も保存することができるようにした。さらにこのとき、変更がない場合には保存を行わないため画像保存の無駄が無くなり、より効率の良い自動保存を実現した。
【００１１】
会議資料に編集を加えていく場合やプレゼンテーションのスライドに加筆を行う場合などに、編集あるいは加筆が行われていない初めの画像と編集あるいは加筆を加えた後の画像を自動的に保存することができるから、のちに議事録として利用したり、編集前後の資料を比較して会議のプロセスを確認したりすることができる。
【００１２】
また本発明は、動画像に対しても適応することが可能である。動画像の中で画像の一部だけが変化していくようなシーンについて、シーンの開始時と終了時の画像とを両方とも自動的に保存することができる。これにより後でシーンの流れをより正確に把握することができたり、また後でシーンの代表画像の抽出を行うようなときには、シーンの開始時と終了時の画像のうちどちらかより適した方をユーザーが選択することができる。
【発明を実施するための最良の形態】
【００１３】
（実施例１）
本発明の第１の実施の形態について図面を用いて説明する。
【００１４】
図１は、本発明の第１の実施の形態に係る表示装置の構成の一部を表す図である。ここで画像入力部１０１にはノートパソコンが接続されており、ノートパソコンが出力する、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色からなるアナログ画像信号および画像のタイミングを規定する同期信号が入力されているものとする。ここで、接続されたノートパソコンにはプレゼンテーションを行うためのアプリケーションが内蔵されており、複数のスライドを次々と切換えて表示ができ、さらに必要な編集や加筆を行うことができるようになっている。ここでは、初期状態として図４に示したスライドが表示されているものとする。
【００１５】
入力されたＲＧＢ各色のアナログ画像信号は画像入力部１０１においてそれぞれＡ／Ｄ変換され、デジタル画像信号に変換される。
【００１６】
デジタル画像信号および同期信号は画像処理部１０２に入力される。画像処理部１０２では、入力された画像信号を画像メモリ１に保存し、表示パネル１０４上に画像を表示するために解像度の変換を行ったり入力された画像信号のタイミングを調整するほか、ガンマ変換、コントラスト、ブライト調整などの各画質調整を行ったのち画像信号を出力し、表示パネル１０４上に画像を表示する。
【００１７】
一方、画像処理部１０２は内部に画像比較部１０３を備えており、入力された画像信号を画像メモリ１に保存するさいに、画像メモリ１から１フレーム前の同画素に対応する画像データを読み出し、入力された画像信号と画像メモリ１から読み出された１フレーム前の画像データとを比較し、画素ごとにその差を算出する。画像メモリ１から読み出された１フレーム前の画像データのデジタル値をそれぞれＹＲ、ＹＧ、ＹＢ、また新しく入力されたデジタル画像信号の値をそれぞれＹＲ´、ＹＧ´、ＹＢ´とすると、各色毎にその差の絶対値を加算した値である、
｜ＹＲ´−ＹＲ｜＋｜ＹＧ´−ＹＧ｜＋｜ＹＢ´−ＹＢ｜
を算出する。ただしこのときシステムの状態によっては、信号のノイズ成分が信号値の差として出る可能性がある。そのような場合には例えば、信号成分のうちノイズが発生する下位ビットの情報を切り捨てて演算するなどしても、もちろん良い。次に画像比較部１０３は、算出した値について１フレームの全画素分を積算し、保存する。その結果フレーム間の画像の変化量が得られることになる。なおここでは１フレームの全画素分のデータを積算しているが、演算速度を落として回路のコストや消費電力を抑えるため、あるいはデータ量を減らすために演算を全画素でなく数画素おきに行うようにしてももちろん良い。得られたフレーム間の変化量は、システムコントロール部１０７へ受け渡すために正規化が施される。ここではシステムコントロール部１０７と接続されているバスの幅が１６ビットであるとして、フレーム間の変化量を１６ビット値に変換する。フレーム間の画像にまったく変化がない場合はフレーム間の変化量＝０、またフレーム間の画像の変化量が最大、例えば全画面が黒色の画像から全画面が最大輝度（白）に変化したような場合はフレーム間の変化量は１６ビットの最大値である６５５３５となる。
【００１８】
ここで画像比較部１０３は、算出されたフレーム間の変化量があらかじめ定められた閾値１を下回っている場合、次に画像メモリ１から画像データを読み出すときに、読み出した画像データを画像メモリ２へ書き込むようにする。ここで閾値１は、ほとんど画像の変化がないという判断を行うための値であり、ここでは５０であるものとする。閾値１は、システムの初期設定時などにシステムコントロール部１０７により設定される。またユーザーからの指示により、システム使用中などに変更できるようにしても良い。この処理により、フレーム間の変化量がほとんどない場合のみ、画像メモリ２に画像が書き込まれることになる。
【００１９】
システムコントロール部１０７には、入力画像のフレームの開始タイミングを表わす垂直同期信号が入力されており、システムコントロール部１０７は垂直同期信号に同期して画像比較部１０３から上記のフレーム間の変化量を読み出すことでフレーム毎の画像変化量を得ている。
【００２０】
システムコントロール部１０７は画像比較部１０３からフレーム間の変化量を読み出したとき、画像切り換わりが発生しているかどうかの判断を行う。画像切り換わり検出処理の手順を示すフローチャートを図２に示し、処理の流れを説明する。
【００２１】
全画面の切り換えにかかるフレーム数は、接続されるパソコンの処理性能などの要因により変動する。１フレームで全画面が切り換わることが理想的だが、切り換わりが数フレームに渡ることも考えられる。そのため、直前の数フレーム分の画像変化量を加算した値を用いて画像の切り換わりを検出する。まずＳ２０２において、直前の３フレーム分の画像変化量の加算を行う。なおこのとき、何フレーム分の画像変化量を加算するかは画像を出力するコンピュータの性能などによるため、例えばユーザーが変更できるようにしても良い。
【００２２】
次にＳ２０３において加算した画像変化量があらかじめ定められた閾値２より大きいかどうかを判断する。閾値２は、画像が別の画像に切り換わったということを判断するための値であり、ここでは４００であったとする。ここで、さまざまなユーザーの使用環境に合わせるために、閾値２はユーザーによって変更を行うことができるようにしても良い。
【００２３】
図４のスライドを表示したまま編集を行わず、画像に変化がない状態であれば、画像変化量は０か０に近い非常に小さい値となる。その場合にはＳ２０４へ進み、読み出したフレーム間の変化量を累積変化量に加算し、Ｓ２０９で処理を終了する。従って画像に変化がないときは、累積変化量はほとんど増加しないまま処理を終了することになる。
【００２４】
その後、ユーザーの操作により表示画像が図４の画像から図５の画像に切り換えられたものとする。切り換え時にはフレーム間の変化量は大きな値となる。図４の画像から図５の画像への切り換え時の画像変化量が、フレーム順に、０、２００、２００、１５０、０、０・・・、であったとすると、画像変化が始まって３フレーム目に、直前３フレーム分の画像変化量の加算値が５５０となり、閾値２（＝４００）を超える。その場合はＳ２０５へ進み、累積変化量があらかじめ定められた閾値３を超えているかどうかを判断する。閾値３は、画像表示が始まってから画像の一部に変化があったかどうかということを判断するための値であり、ここでは１００であったとする。図４の画像においては加筆や編集が何も行われなかったとすると累積変化量は０か０に近い小さい値である。するとＳ２０８へ進み画像切り換わり完了判断処理を起動したのち、Ｓ２０９で処理を終了する。
【００２５】
画像切り換わり完了判断処理のフローを図３に示す。画像切り換わり完了判断処理は、システムコントロール部１０７が画像比較部１０３からフレーム間の変化量を読み出す度に実行され、画像の切り換わりが完了した時点で実行が中止される。
【００２６】
まずＳ３０２において、フレーム間の変化量が閾値１より小さいかどうかを判断する。上記に示したように、図４の画像から図５の画像への切り換えのときのフレーム間の変化量が、フレーム順に、０、２００、２００、１５０、０、０・・・、とすると、画像切り換えの途中では画像変化量は１５０や２００であり閾値１（＝５０）より大きいから、Ｓ３０６で処理を終了する。そして画像の切り換えが完了し、次のフレームで画像変化量が０となったとき、まず画像比較部１０３により図５の画像が画像メモリ２に書き込まれる。画像切り換わり完了判断処理はＳ３０３へ進み、累積変化量を０にリセットし、次にＳ３０４で画像メモリ２に保存されている画像データ、すなわち図５の画像をシステムコントロール部１０７の作業メモリ１０８にコピーする。そしてＳ３０５で作業メモリにコピーした画像データをＪＰＥＧといわれるファイル形式に変換を行ったのち、Ｓ３０６で処理を終了する。ファイル化が完了したら、ホストＰＣ１０９に対してファイルを送信する。なおここでは画像データをＪＰＥＧ形式にファイル化しているが、ホストＰＣのシステムに合わせてどのようなファイル形式でも良いことは言うまでもない。
【００２７】
また、ファイル化された画像の保存に関してここではホストＰＣに送信しているが、例えば表示装置内部のフラッシュメモリなどのＲＯＭに保存したり、または表示装置にメモリカードスロットを設けてメモリカードに保存するようにしても良い。
【００２８】
次に、表示状態が図５の画像へ切り換わったのち、ユーザーによる編集が行われたものとする。図５の画像に対してペンなどの指示器により加筆が行われ、図６に示すような画像状態に変更されたとする。
【００２９】
人間による編集が行われているときは、フレーム書き換えの速度と比べると人間が編集を行う速度は十分に遅いため、フレーム間の変化量は大きな値とはならない。従って画像切り換わり検出処理のＳ２０３において画像変化量は閾値２（＝４００）を超えないから、Ｓ２０４へ進み、フレーム間の変化量を累積変化量に加算する。つまりフレームごとに編集を加えた分だけ累積変化量が加算されていく。加筆を行うたびに累積変化量は増加していき、図５から図６まで変更がされたとき、累積変化量が６００となったものとする。また加筆が終わりフレーム間の変化量が閾値１を下回ったとき、画像比較部１０３により図６の画像が画像メモリ２に書き込まれる。
【００３０】
その後、図６の画像から図７の画像へ切り換えられたとする。このとき画像切り換わり検出処理のＳ２０５において、累積変化量が閾値３（＝１００）より大きいから、Ｓ２０６へ進み画像メモリ２に保存されている画像データ、すなわち図６の画像をシステムコントロール部１０７の作業メモリ１０８にコピーし、Ｓ２０７で作業メモリにコピーした画像データをＪＰＥＧファイルに変換を行ったのち、Ｓ２０８で画像切り換わり完了判断処理を起動し、Ｓ２０９で処理を終了する。この処理の結果、図６の状態の画像が保存されることになる。その後は画像切り換わり完了判断処理により、図７の画像への切り換わりが完了した時点で、図７の画像が保存されることになる。以上のようにして、全スライドの画像を自動的に保存するとともに、同じスライドであっても編集前の画像と編集後の画像の両方が自動的に保存されることになる。
【００３１】
（実施例２）
次に、動画像が入力された場合について説明する。まず画面全体の動きが大きい動画像の入力が連続しているときには、画像比較部１０３が算出するフレーム間の変化量は常に画像の変化がないことを判断する閾値１を超えた値になる。従って画像比較部１０３は、画像メモリ２への画像データの書き込み処理を行わない。システムコントロール部１０７は画像メモリ２に有効な画像データがない場合にはファイル化を実行しない。またこの状態では、図３の画像切り換わり完了判断処理が起動されている状態となる。
【００３２】
次に、図８に示した動画像シーンが表示されることを考える。このシーンは、その後画像の一部だけが動くようなシーンであり、図９に示したような画像に達して終了するものとする。まず図８の画面状態でフレーム間の変化量が閾値１より小さくなったときに、図３の画像切り換わり完了判断処理において画像の保存が実行される。その後は画面の一部が変化しながら図９の状態に達する。その後、図９の画面から次のシーンに切り換わるときに、図２の画像切り換わり検出処理の中で図９の画像の保存が行われることになる。
【００３３】
以上のようにして、動画像の場合には画面の中の一部のみが変化するようなシーンの中の、シーンの開始時とシーン終了時との画像を自動的に保存することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の第１の実施の形態の構成を表す図である。
【図２】画像切り換わり検出処理の手順を示すフローチャートである。
【図３】画像切り換わり完了判断処理を示すフローチャートである。
【図４】本発明の第１の実施の形態の画面状態を示す図である。
【図５】本発明の第１の実施の形態の画面状態を示す図である。
【図６】本発明の第１の実施の形態の画面状態を示す図である。
【図７】本発明の第１の実施の形態の画面状態を示す図である。
【図８】本発明の第２の実施の形態の画面状態を示す図である。
【図９】本発明の第２の実施の形態の画面状態を示す図である。
【符号の説明】
【００３５】
１０１  画像入力部
１０２  画像処理部
１０３  画像比較部
１０４  表示パネル
１０５  画像メモリ１
１０６  画像メモリ２
１０７  システムコントロール部
１０８  作業メモリ
１０９  ホストＰＣ
【図１】
2006135746.tif 000003
【図２】
2006135746.tif 000004
【図３】
2006135746.tif 000005
【図４】
2006135746.tif 000006
【図５】
2006135746.tif 000007
【図６】
2006135746.tif 000008
【図７】
2006135746.tif 000009
【図８】
2006135746.tif 000010
【図９】
2006135746.tif 000011