(57)【要約】【課題】歌唱力などを評価して、その評価に応じて表示する画像にユーザの興味を引くような加工を施して表示できるようにする。【解決手段】カラオケの動画像を圧縮したＪＰＥＧ２０００の符号データは伴奏の音声データとともにサーバ１０４からクライアント１０３に送信され、デコード部１２６で復号されて表示される。マイクロフォン１２１に入力されたユーザの歌声は、評価部１２４で評価され、その結果はサーバ１０４に伝えられる。この評価結果に基づいて、符号間変換部１２５は送信しようとする符号データから符号を選択的に破棄することにより、画像に加工を施す。【選択図】    図６
2005031389.tif 000002
【特許請求の範囲】
【請求項１】
与えられた単一の音声信号を評価した結果に基づいて、画像データを加工する画像加工装置。
【請求項２】
前記評価結果に基づいて前記画像データを画像の大きさを変更するように前記加工を行う、請求項１に記載の画像加工装置。
【請求項３】
前記評価結果に基づいて前記画像データを画像の画質を劣化するように前記加工を行う、請求項１に記載の画像加工装置。
【請求項４】
前記評価結果に基づいて前記画像データをカラー画像の色味をなくすように前記加工を行う、請求項１に記載の画像加工装置。
【請求項５】
前記評価結果に基づいて前記画像データを画像の一部が欠けるように前記加工を行う、請求項１に記載の画像加工装置。
【請求項６】
与えられた音声信号を評価した結果に基づいて、画像の画質を劣化するように画像データを加工する画像加工装置。
【請求項７】
与えられた音声信号を評価した結果に基づいて、画像の色味をなくすように画像データを加工する画像加工装置。
【請求項８】
与えられた音声信号を評価した結果に基づいて、画像の一部が欠けるように画像データを加工する画像加工装置。
【請求項９】
予め用意された音声波形の比較データと与えられた前記音声信号の音声波形とを比較することにより行った前記評価の結果を用いる、請求項１〜８のいずれかの一に記載の画像加工装置。
【請求項１０】
予め用意された比較データと与えられた前記音声信号の音量とを比較することにより行った前記評価の結果を用いる、請求項１〜８のいずれかの一に記載の画像加工装置。
【請求項１１】
前記画像データはＪＰＥＧ２０００アルゴリズムにより圧縮符号化された符号データであり、この符号データから部分的に符号を破棄することにより前記加工を行う、請求項１〜１０のいずれかの一に記載の画像加工装置。
【請求項１２】
ある一定時間のうちに次の一定時間に表示を行うための前記画像データについて前記評価及び前記加工を行なうことを連続的に実行する、請求項１〜１０のいずれかの一に記載の画像加工装置。
【請求項１３】
請求項１〜１１のいずれかの一に記載の画像加工装置と、
前記音声信号の評価を行う評価手段と、
前記加工後の画像データにより画像を表示する表示装置と、
を備えている画像表示システム。
【請求項１４】
請求項１２に記載の画像加工装置と、
前記音声信号の評価を行う評価手段と、
前記加工後の画像データにより前記評価及び前記加工の連続的な実行と同時並行的に前記画像を表示する表示装置と、
を備えている画像表示システム。
【請求項１５】
与えられた単一の音声信号を評価した結果に基づいて、画像データを加工する処理をコンピュータに実行させるコンピュータに読み取り可能なプログラム。
【請求項１６】
与えられた音声信号を評価した結果に基づいて、画像の画質を劣化するように画像データを加工する処理をコンピュータに実行させるコンピュータに読み取り可能なプログラム。
【請求項１７】
与えられた音声信号を評価した結果に基づいて、画像の色味をなくすように画像データを加工する処理をコンピュータに実行させるコンピュータに読み取り可能なプログラム。
【請求項１８】
与えられた音声信号を評価した結果に基づいて、画像の一部が欠けるように画像データを加工する処理をコンピュータに実行させるコンピュータに読み取り可能なプログラム。
【請求項１９】
請求項１５〜１８のいずれかの一に記載のプログラムを記憶している記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、与えられた音声信号を評価した結果に基づいて、画像データを加工する画像加工装置、このような処理をコンピュータに実行させるプログラム及び記憶媒体に関する。
【０００２】
【従来の技術】
歌唱者の歌の歌唱力を採点し、その採点結果を表示する画像に反映させるカラオケ技術として、特許文献１，２に開示の技術が知られている。
【０００３】
特許文献１には、演奏時間を複数の区画に分割し、歌唱力に応じて表示する画像のストーリーを切り換えるようにした技術が開示されている。
【０００４】
また、特許文献２には、同時に同じ曲を歌う２人の歌唱者の歌唱力をそれぞれ採点し、得点の高い方の歌唱者用の画像の領域をモニタ画面上で増大させるようにする技術が開示されている。
【０００５】
【特許文献１】
特開平９−８１１６５号公報
【特許文献２】
特開平９−１６０５７４号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１において、歌唱力に応じて切り換えられるストーリーは予め用意されたものであり、何度も用いるうちに飽きてしまい、ユーザの興味を引かなくなってしまう可能性がある。
【０００７】
また、特許文献２に開示の技術では、同時に同じ曲を歌う２人の歌唱者の歌唱力をそれぞれ採点し、得点の高い方の歌唱者用の画像の領域をモニタ画面上で増大させるようにしているので、ユーザ１人の歌唱に利用することができない。
【０００８】
さらに、特許文献２には、得点の高低により画像の大きさを変えるという技術しか示されていない。
【０００９】
本発明の目的は、歌唱力などを評価して、その評価に応じて表示する画像にユーザの興味を引くような加工を施して表示できるようにすることである。
【００１０】
本発明の別の目的は、この場合にユーザ１人の歌唱などにも利用できるようにすることである。
【００１１】
【課題を解決するための手段】
請求項１に記載の発明は、与えられた単一の音声信号を評価した結果に基づいて、画像データを加工する画像加工装置である。
【００１２】
したがって、ユーザが入力する歌の歌唱力などを評価した結果に基づいて、画像データをユーザの興味を引くようなさまざまな加工を施して表示することが可能となる。また、単一の音声信号を評価するので、ユーザ１人の歌唱にも利用することができる。
【００１３】
請求項２に記載の発明は、請求項１に記載の画像加工装置において、前記評価結果に基づいて前記画像データを画像の大きさを変更するように前記加工を行う。
【００１４】
したがって、歌の歌唱力などを評価した結果に基づいて、画像の大きさを変更するように画像データを加工して、ユーザの興味を引くことができる。
【００１５】
請求項３に記載の発明は、請求項１に記載の画像加工装置において、前記評価結果に基づいて前記画像データを画像の画質を劣化するように前記加工を行う。
【００１６】
したがって、歌の歌唱力などを評価した結果に基づいて、画像の画質を劣化するように画像データを加工して、ユーザの興味を引くことができる。
【００１７】
請求項４に記載の発明は、請求項１に記載の画像加工装置において、前記評価結果に基づいて前記画像データをカラー画像の色味をなくすように前記加工を行う。
【００１８】
したがって、歌の歌唱力などを評価した結果に基づいて、画像の色味をなくすように画像データを加工して、ユーザの興味を引くことができる。
【００１９】
請求項５に記載の発明は、請求項１に記載の画像加工装置において、前記評価結果に基づいて前記画像データを画像の一部が欠けるように前記加工を行う。
【００２０】
したがって、歌の歌唱力などを評価した結果に基づいて、画像の一部が欠けるように画像データを加工して、ユーザの興味を引くことができる。
【００２１】
請求項６に記載の発明は、与えられた音声信号を評価した結果に基づいて、画像の画質を劣化するように画像データを加工する画像加工装置である。
【００２２】
したがって、画質を劣化するように画像データに加工を施して、ユーザの興味を引くことができる。
【００２３】
請求項７に記載の発明は、与えられた音声信号を評価した結果に基づいて、画像の色味をなくすように画像データを加工する画像加工装置である。
【００２４】
したがって、画質を劣化するように画像データに加工を施して、ユーザの興味を引くことができる。
【００２５】
請求項８に記載の発明は、与えられた音声信号を評価した結果に基づいて、画像の一部が欠けるように画像データを加工する画像加工装置である。
【００２６】
したがって、画像の一部が欠けるように画像データに加工を施して、ユーザの興味を引くことができる。
【００２７】
請求項９に記載の発明は、請求項１〜８のいずれかの一に記載の画像加工装置において、予め用意された音声波形の比較データと与えられた前記音声信号の音声波形とを比較することにより行った前記評価の結果を用いる。
【００２８】
したがって、音声波形を比較データと比較することにより歌唱力などを評価して画像の加工を行うことができる。
【００２９】
請求項１０に記載の発明は、請求項１〜８のいずれかの一に記載の画像加工装置において、予め用意された比較データと与えられた前記音声信号の音量とを比較することにより行った前記評価の結果を用いる。
【００３０】
したがって、音量などを評価して画像の加工を行うことができる。
【００３１】
請求項１１に記載の発明は、請求項１〜１０のいずれかの一に記載の画像加工装置において、前記画像データはＪＰＥＧ２０００アルゴリズムにより圧縮符号化された符号データであり、この符号データから部分的に符号を破棄することにより前記加工を行う。
【００３２】
したがって、符号データのまま画像の加工を行うことができる。
【００３３】
請求項１２に記載の発明は、請求項１〜１０のいずれかの一に記載の画像加工装置において、ある一定時間のうちに次の一定時間に表示を行うための前記画像データについて前記評価及び前記加工を行なうことを連続的に実行する。
【００３４】
したがって、カラオケシステムなどで入力中の音声を現在進行で評価し、表示中の画像を現在進行で加工して表示することができる。
【００３５】
請求項１３に記載の発明は、請求項１〜１１のいずれかの一に記載の画像加工装置と、前記音声信号の評価を行う評価手段と、前記加工後の画像データにより画像を表示する表示装置と、を備えている画像表示システムである。
【００３６】
したがって、ユーザが入力する歌の歌唱力などを評価した結果に基づいて、画像データをユーザの興味を引くようなさまざまな加工を施して表示することが可能となる。
【００３７】
請求項１４に記載の発明は、請求項１２に記載の画像加工装置と、前記音声信号の評価を行う評価手段と、前記加工後の画像データにより前記評価及び前記加工の連続的な実行と同時並行的に前記画像を表示する表示装置と、を備えている画像表示システムである。
【００３８】
したがって、ユーザが入力する歌の歌唱力などを評価し、この歌などと同時並行的に表示している画像に歌の歌唱力などの評価を直ちに反映して、ユーザの興味を引くようなさまざまな加工を施して表示することが可能となる。
【００３９】
請求項１５に記載の発明は、与えられた単一の音声信号を評価した結果に基づいて、画像データを加工する処理をコンピュータに実行させるコンピュータに読み取り可能なプログラム。
【００４０】
したがって、ユーザが入力する歌の歌唱力などを評価した結果に基づいて、画像データをユーザの興味を引くようなさまざまな加工を施して表示することが可能となる。また、単一の音声信号を評価するので、ユーザ１人の歌唱にも利用することができる。
【００４１】
請求項１６に記載の発明は、与えられた音声信号を評価した結果に基づいて、画像の画質を劣化するように画像データを加工する処理をコンピュータに実行させるコンピュータに読み取り可能なプログラムである。
【００４２】
したがって、画質を劣化するように画像データに加工を施して、ユーザの興味を引くことができる。
【００４３】
請求項１７に記載の発明は、与えられた音声信号を評価した結果に基づいて、画像の色味をなくすように画像データを加工する処理をコンピュータに実行させるコンピュータに読み取り可能なプログラムである。
【００４４】
したがって、画質を劣化するように画像データに加工を施して、ユーザの興味を引くことができる。
【００４５】
請求項１８に記載の発明は、与えられた音声信号を評価した結果に基づいて、画像の一部が欠けるように画像データを加工する処理をコンピュータに実行させるコンピュータに読み取り可能なプログラムである。
【００４６】
したがって、画像の一部が欠けるように画像データに加工を施して、ユーザの興味を引くことができる。
【００４７】
請求項１９に記載の発明は、請求項１６〜１８のいずれかの一に記載のプログラムを記憶している記憶媒体である。
【００４８】
したがって、請求項１６〜１８のいずれかの一に記載の同一の作用、効果を奏することができる。
【００４９】
【発明の実施の形態】
［ＪＰＥＧ２０００について］
はじめに、ＪＰＥＧ２０００における量子化、符号破棄および画質制御について説明する。ＪＰＥＧ２０００の符号化処理は、概ね図１の流れで行われる。すなわち、画像データを圧縮符号化するときは、画像をタイル分割して、このタイルにＤＣレベルシフト、色変換を施し（ａ）、タイルごとにＷａｖｅｌｅｔ変換を行って（ｂ）、サブバンドごとに量子化する（ｃ）。そして、コードブロック毎にビットプレーン符号化を行い（ｄ）、不要な符号を破棄して、必要な符号をまとめて、パケットを生成する（ｅ）。後は、パケットを並べて符号形成を行う（ｆ）。圧縮後の符号を伸張するには、これらの処理の流れを逆にたどればよい。
【００５０】
図２は、画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す説明図である。タイルとは、画像を矩形に分割した単位であり、分割数＝１の場合、画像＝タイルである。ＪＰＥＧ２０００では個々のタイルを独立した１つの画像と見なし、Ｗａｖｅｌｅｔ変換がなされ、サブバンドが生成される。ＪＰＥＧ２０００の基本仕様では、Ｗａｖｅｌｅｔ変換として９×７変換を用いる場合、同一のサブバンドに含まれる係数を同一の数で除算し、線形に量子化することができる。したがって、線形量子化による画質制御は、サブバンド単位で可能である（線形量子化による画質制御単位はサブバンドである）。
【００５１】
プリシンクトとは、サブバンドを（ユーザが指定可能なサイズの）矩形に分割した単位（をＨＬ，ＬＨ，ＨＨの３つのサブバンドについて集めたもの。プリシンクトは３つで１まとまりをなす。ただし、ＬＬサブバンドを分割したプリシンクトは１つで１まとまり）で、大まかには画像中の場所（Ｐｏｓｉｔｉｏｎ）を表す。プリシンクトはサブバンドと同じサイズにできる。プリシンクトをさらに（ユーザが指定可能なサイズの）矩形に分割したものがコードブロックである。
【００５２】
量子化後のサブバンドの係数は、コードブロック単位でビットプレーン符号化される（１つのビットプレーンは３つのサブビットプレーンに分解されて符号化される）。プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの（例えば、全てのコードブロックのＭＳＢから３枚目までのビットプレーンの符号を集めたもの）がパケットである。ここで、符号の“一部”とは“空”でもいいので、パケットの中身が符号的には“空（から）”という場合もある。
【００５３】
全てのプリシンクト（すなわち、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のＷａｖｅｌｅｔ係数のＭＳＢから３枚目までのビットプレーンの符号）ができるが、これをレイヤとよぶ。レイヤは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がる。レイヤはいわば画質の単位である。
【００５４】
すべてのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。図３は、Ｗａｖｅｌｅｔ変換の階層数（デコンポジションレベル）＝２、プリシンクトサイズ＝サブバンドサイズとしたときのレイヤ、図４はそれに含まれるパケットの例である。これらの場合は、プリシンクトサイズ＝サブバンドサイズであり、図２でいうプリンシンクトの大きさと同じ大きさのコードブロックを採用しているため、デコンポジションレベル２のサブバンドは４個のコードブロックに、デコンポジションレベル１のサブバンドは９個のコードブロックに分割されている。パケットは、プリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合、ＨＬ〜ＨＨサブバンドを跨いだものとなる。図４中、いくつかのパケットを太線で囲んで示している。
【００５５】
ここで、パケットは「コードブロックの符号の一部を取り出して集めたもの」であり、不要な符号は、パケットとして生成する必要はない。例えば、図３のレイヤＮｏ．９に含まれるような下位ビットプレーンの符号は、破棄するのが通常である。
【００５６】
したがって、符号破棄による画質制御は、コードブロック単位（かつサブビットプレーン単位）で可能である（符号破棄による画質制御単位はコードブロックである）。なお、パケットの並びをプログレッション順序と呼ぶ。
【００５７】
［発明の実施の形態］
本発明の一実施の形態について説明する。
【００５８】
図５は、本実施の形態である画像表示システム１０１の一構成例の概略構成を示すブロック図である。この画像表示システム１０１は、動画像又は静止画像を圧縮符号化した符号データをネットワーク１０２を介して受け付ける画像加工装置となるクライアント１０３と、この符号データの供給を行うサーバ１０４とからなる。
【００５９】
サーバ１０４は、蓄積している動画像の符号データ１１１をクライアント１０３に送信するが、ここで用いる動画像又は静止画像の符号データ１１１は、復号することなく符号データのまま画像編集を行うことが可能な圧縮符号化方式、例えば、ＪＰＥＧ２０００、ｍｏｔｉｏｎ  ＪＰＥＧ２０００を用いている。
【００６０】
クライアント１０３は、音声信号を入力するマイクロフォン１２１と、この音声信号を増幅するアンプ１２２と、この増幅した音声信号を出力するスピーカ１２３とを備えている。
【００６１】
評価部１２４は、評価手段を実現し、マイクロフォン１２１に入力されたユーザの歌声、楽器音などの単一の音声信号を所定の基準により評価する。例えば、評価部１２４は、予め用意された音声波形の比較データと入力された音声波形とを比較して、その差の絶対値で歌唱力を評価する。あるいは、娯楽性を高めるため、音量を歌唱力として評価する（音量を基準となる比較データと比較して判断する）ことなども考えられる。この評価結果は符号間変換部１２５に入力される。符号間変換部１２５は、サーバ１０４から受信した符号データに対し、この評価結果、すなわちユーザの歌唱力などに応じて符号の一部破棄を行なって、画像の加工を実行する。符号の破棄がなされた符号データは、デコード部１２６で復号され、表示部１２７で動画像表示される。
【００６２】
なお、画像表示システム１０１を通信カラオケシステムなどとして用いる場合は、サーバ１０４の動画像の符号データには、楽曲の伴奏の音声の音声データが添付される（この音声データも圧縮符号化して送信することができる）。この場合には、その音声データは（圧縮符号化されているときは復号されて）マイクロフォン１２１に入力されたユーザの歌声とミキシングされ、表示部１２７に表示される動画像と同期してスピーカ１２３から出力される。
【００６３】
図６は、画像表示システム１０１の他の構成例を示すブロック図である。図６のシステムが図５のものと相違するのは、符号間変換部１２５がサーバ１０４側に用意されていて、サーバ１０４で符号の破棄が行われた符号データをクライアント１０３に送信するようにしているため、サーバ１０４が画像加工装置となる点である。
【００６４】
図７は、画像表示システム１０１の他の構成例を示すブロック図である。図７のシステムが図５のものと相違するのは、サーバ１０４で送信する符号データは、ＪＰＥＧのアルゴリズムで圧縮符号化された静止画であり、画像加工装置となるクライアント１０３には符号間変換部１２５に代えて編集部２０１が用意され、デコード部１２６で復号後の画像データを加工する点である。すなわち、ＪＰＥＧの符号データは、ＪＰＥＧ２０００のように符号データのまま符号を部分的に削除して画像の加工を行うことができないため、復号後の画像データを加工するようにしている。
【００６５】
図８は、クライアント１０３、サーバ１０４の電気的な接続のブロック図である。クライアント１０３、サーバ１０４は、図８に示すように、各種演算を行ない、各部を集中的に制御するＣＰＵ３１１と、各種のＲＯＭ、ＲＡＭからなるメモリ３１２とが、バス３１３で接続されている。
【００６６】
バス３１３には、所定のインターフェースを介して、ハードディスクなどの磁気記憶装置３１４と、キーボード、マウスなどの入力装置３１５と、表示装置３１６と、光ディスクなどの記憶媒体３１７を読み取る記憶媒体読取装置３１８とが接続され、また、ネットワーク１０２と通信を行なう所定の通信インターフェース３１９が接続されている。なお、記憶媒体３１７としては、ＣＤ，ＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種メディアを用いることができる。また、記憶媒体読取装置３１８は、具体的には記憶媒体３１７の種類に応じて光ディスク装置、光磁気ディスク装置、フレキシブルディスク装置などが用いられる。
【００６７】
クライアント１０３、サーバ１０４は、この発明の記憶媒体を実施する記憶媒体３１７から、この発明のプログラムを実施するプログラム３２０を読み取って、磁気記憶装置３１４にインストールする。これらのプログラムはインターネットなどのネットワークを介してダウンロードしてインストールするようにしてもよい。このインストールにより、クライアント１０３、サーバ１０４は、本来の処理の実行が可能な状態となる。なお、プログラム３２０は、所定のＯＳ上で動作するものであってもよい。
【００６８】
また、クライアント１０３においては、バス３１３に所定のインターフェースを介してマイクロフォン１２１、アンプ１２２が接続されている。
【００６９】
プログラム３２０に従った処理により、評価部１２４、デコード部１２６、符号間変換部１２５、編集部２０１、表示部１２７などの機能が実行され、表示部１２７は表示装置３１６に画像を表示する。
【００７０】
前述のように、画像表示システム１０１のシステム構成は様々考えられるが、図６の構成例では符号データを復号して表示するだけでよいので、処理時間が短縮できる。また、ＪＰＥＧ２０００方式を用いているので、サーバ１０４からの符号データは一部破棄されて送られ、ネットワークトラフィックが少なくて済む。よって、以下では、図６のシステムを中心に説明する。
【００７１】
図９は、画像表示システム１０１で実行する処理のタイムテーブルである。このでは、画像表示システム１０１として通信カラオケシステムを実現する場合について説明する。すなわち、サーバ１０４からダウンロードした音声データを再生し、“Ｔ＝Ｔ０”の時点で曲が始まり、“Ｔ＝Ｔ１”の時点までは再生中の音声データに同期してデコード部１２６で復号した動画像が再生される。“Ｔ＝Ｔ１”の時点以後は、時間ｔで時分割された単位で、マイクロフォン１２１に入力される歌声を評価部１２４で評価し、その評価結果に応じて符号データを符号間変換部１２５で部分的に削除して画像の加工を行い、あるいは、編集部２０１で画像データの加工を行なう。
【００７２】
よって、ある時間ｔの間に評価され、加工された動画像が、次の時間ｔの間に表示される。また、１枚の静止画像を表示するような場合には、ある時間ｔの間に評価され、加工されて、次の時間ｔの間に表示される画像は、対象は同一の静止画であるが、各時間ｔに表示される画像は評価が異なる場合は、加工が異なることになる。すなわち、この場合は、同一の画像を対象に、ある時間ｔに評価し、画像を加工して、次の時間ｔに表示する処理を、時間ｔのサイクルで繰り返すことになる。複数枚の静止画をスライドショーのように次々と表示する場合には、ある時間ｔに評価し、１枚の静止画像を加工して、次の時間ｔに表示する処理を、時間ｔのサイクルで各静止画について実行することになる。すなわち、ある一定時間ｔのうちに次の一定時間ｔに表示を行うための画像データについて歌唱の評価及び画像の加工を行なう処理を連続的に実行する。そして、この連続的な処理と同時並行的に加工後の画像データに基づいて画像を表示装置３１６に表示することとなる。
【００７３】
次に、画像表示システム１０１で行う画像データの各種の加工処理について説明する。
【００７４】
図１０は、解像度プログレッシブの画像表示の例である。すなわち、図５、図６の構成例において、ユーザの歌唱力が高い場合は、ＪＰＥＧ２０００の符号データにおいて高周波の階層までの符号を符号間変換部１２５で破棄せずに残して画像表示を行なうようにして、表示領域４０１の広い範囲に画像が表示される（図１０（ａ））。逆に、歌唱力が低い場合は、高周波帯域の階層は符号を破棄して画像表示を行い、画像が小さく表示される（図１０（ｂ））。なお、符号データは予め解像度プログレッシブで符号化されている。
【００７５】
図７の構成例においても、周知の技術により、ユーザの歌唱力に応じて画像の大きさを可変することができる。
【００７６】
この場合は、バックグラウンドの背景画像が歌唱力に応じてフレキシブルに変わるように構成するほか、歌唱者を撮影し（動画でも静止画でもよい）、背景画像の一部に歌唱者本人画像を表示させ、この歌唱者の画像が歌唱力が低いと小さくなるような構成にすることもできる。なお、歌唱者を撮影した画像の符号データは解像度プログレッシブで符号化する。
【００７７】
図１１は、画質プログレッシブの画像表示の例である。すなわち、図５、図６の構成例において、ユーザの歌唱力が高い場合は、ＪＰＥＧ２０００の符号データについて、ユーザの歌唱力が高い場合は、低位のレイヤも符号間変換部１２５で破棄しないで残し、鮮明な画像を表示できるようにする（図１１（ａ））。逆に、歌唱力が低い場合は、低位のレイヤを破棄して、劣化した不鮮明な画像を表示するようにする（図１１（ｂ））。なお、符号データは予め画質プログレッシブで符号化されている。
【００７８】
図７の構成例においても、周知の技術により、ユーザの歌唱力に応じて画像の線明度を可変することができる。
【００７９】
この場合も、バックグラウンドの背景画像が歌唱力に応じてフレキシブルに変わるように構成するほか、歌唱者を撮影し（動画でも静止画でもよい）、背景画像の一部に歌唱者本人画像を表示させ、この歌唱者の画像が歌唱力が低いと画像が劣化して不鮮明になるような構成にすることもできる。なお、歌唱者を撮影した画像の符号データは画質プログレッシブで符号化する。
【００８０】
図１２は、コンポーネントプログレッシブの画像表示の例である。すなわち、図５、図６の構成例において、ユーザの歌唱力が高い場合は、ＪＰＥＧ２０００の符号データについて、歌唱力が高い場合は、輝度も色差も符号間変換部１２５で破棄しないで残し、鮮明なカラー画像が表示されるようにする（図１２（ａ））。逆に、歌唱力の低い場合は、色差を歌唱力に応じて破棄して画像表示するため、画像の色味がなくなったように（モノクロ画像のように）表示される（図１２（ｂ））。なお、符号データは予めコンポーネントプログレッシブで符号化されている。
【００８１】
図７の構成例においても、周知の技術により、ユーザの歌唱力に応じて画像の色味を可変することができる。
【００８２】
この場合も、バックグラウンドの背景画像が歌唱力に応じてフレキシブルに変わるように構成するほか、歌唱者を撮影し（動画でも静止画でもよい）、背景画像の一部に歌唱者本人画像を表示させ、この歌唱者の画像が歌唱力が低いとモノクロになるような構成にすることもできる。なお、歌唱者を撮影した画像の符号データはコンポーネントプログレッシブで符号化する。
【００８３】
図１３は、位置プログレッシブの画像表示の例である。すなわち、図５、図６の構成例において、ユーザの歌唱力が高い場合は、ＪＰＥＧ２０００の符号データについて、歌唱力が高い場合は、全タイルの符号を破棄せずに残し、カラーでフルサイズの画像を表示する（図１３（ａ））。逆に、歌唱力の低い場合は、ランダムにタイルを破棄して画像の一部がかけたように表示する、または、画像の外側のタイルから符号を破棄して、画像が外側から欠けていくような構成にする（図１３（ｂ）は後者の例である）。なお、符号データは予め位置プログレッシブで符号化されている。
【００８４】
図７の構成例においても、周知の技術により、ユーザの歌唱力に応じて画像を部分的に表示することができる。
【００８５】
この場合も、バックグラウンドの背景画像が歌唱力に応じてフレキシブルに変わるように構成するほか、歌唱者を撮影し（動画でも静止画でもよい）、背景画像の一部に歌唱者本人画像を表示させ、この歌唱者の画像が歌唱力が低いと部分的にかけていくように構成にすることもできる。なお、歌唱者を撮影した画像の符号データは位置プログレッシブで符号化する。
【００８６】
なお、図１０〜図１３の各例において、いずれも画像の加工を２段階に変える例だけを示しているが、歌唱力を３段階以上に判定して、画像の加工も３段階以上に変えるようにしてもよい。
【００８７】
また、前記の例では、入力する音声信号を人間の歌声の例で説明したが、本発明はこれに限定するものではなく、例えば、楽器の音声信号などでもよい。この場合、楽器の演奏能力が表示されるため、楽器の練習の効果（習熟度）を数値でなく画像で見ることができるため、より興味深く練習に専念することができる。
【００８８】
【発明の効果】
請求項１，１５に記載の発明は、ユーザが入力する歌の歌唱力などを評価した結果に基づいて、画像データをユーザの興味を引くようなさまざまな加工を施して表示することが可能となる。また、単一の音声信号を評価するので、ユーザ１人の歌唱にも利用することができる。
【００８９】
請求項２に記載の発明は、請求項１に記載の発明において、歌の歌唱力などを評価した結果に基づいて、画像の大きさを変更するように画像データを加工して、ユーザの興味を引くことができる。
【００９０】
請求項３に記載の発明は、請求項１に記載の発明において、歌の歌唱力などを評価した結果に基づいて、画像の画質を劣化するように画像データを加工して、ユーザの興味を引くことができる。
【００９１】
請求項４に記載の発明は、請求項１に記載の発明において、歌の歌唱力などを評価した結果に基づいて、画像の色味をなくすように画像データを加工して、ユーザの興味を引くことができる。
【００９２】
請求項５に記載の発明は、請求項１に記載の発明において、歌の歌唱力などを評価した結果に基づいて、画像の一部が欠けるように画像データを加工して、ユーザの興味を引くことができる。
【００９３】
請求項６，１６に記載の発明は、画質を劣化するように画像データに加工を施して、ユーザの興味を引くことができる。
【００９４】
請求項７，１７に記載の発明は、画質を劣化するように画像データに加工を施して、ユーザの興味を引くことができる。
【００９５】
請求項８，１８に記載の発明は、画像の一部が欠けるように画像データに加工を施して、ユーザの興味を引くことができる。
【００９６】
請求項９に記載の発明は、請求項１〜８のいずれかの一に記載の発明において、音声波形を比較データと比較することにより歌唱力などを評価して画像の加工を行うことができる。
【００９７】
請求項１０に記載の発明は、請求項１〜８のいずれかの一に記載の発明において、音量などを評価して画像の加工を行うことができる。
【００９８】
請求項１１に記載の発明は、請求項１〜１０のいずれかの一に記載の発明において、符号データのまま画像の加工を行うことができる。
【００９９】
請求項１２に記載の発明は、請求項１〜１０のいずれかの一に記載の発明において、カラオケシステムなどで入力中の音声を現在進行で評価し、表示中の画像を現在進行で加工して表示することができる。
【０１００】
請求項１３に記載の発明は、ユーザが入力する歌の歌唱力などを評価した結果に基づいて、画像データをユーザの興味を引くようなさまざまな加工を施して表示することが可能となる。
【０１０１】
請求項１４に記載の発明は、ユーザが入力する歌の歌唱力などを評価し、この歌などと同時並行的に表示している画像に歌の歌唱力などの評価を直ちに反映して、ユーザの興味を引くようなさまざまな加工を施して表示することが可能となる。
【０１０２】
請求項１９に記載の発明は、請求項１６〜１８のいずれかの一に記載の同一の作用、効果を奏することができる。
【図面の簡単な説明】
【図１】ＪＰＥＧ２０００における量子化、符号破棄および画質制御についての処理の説明図である。
【図２】画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す説明図である。
【図３】Ｗａｖｅｌｅｔ変換の階層数が２として、プリシンクトサイズをサブバンドサイズとしたときのレイヤの例の説明図である。
【図４】図３のレイヤに含まれるパケットの例の説明図である。
【図５】本発明の実施の形態の画像表示システムの全体構成を示すブロック図である。
【図６】画像表示システムの他の例の全体構成を示すブロック図である。
【図７】画像表示システムの他の例の全体構成を示すブロック図である。
【図８】クライアントやサーバの電気的な接続のブロック図である。
【図９】画像表示システムが実行する処理を説明するタイミングチャートである。
【図１０】画像の加工の一例として画像の大きさを変える場合の説明図である。
【図１１】画像の加工の一例として画質を劣化させる場合の説明図である。
【図１２】画像の加工の一例として画像の色味を減らす場合の説明図である。
【図１３】画像の加工の一例として画像の一部を削除する場合の説明図である。
【符号の説明】
１０１    画像表示システム
１０３    画像加工装置
１０４    画像加工装置
１２４    評価手段
３１６    表示装置
３１７    記憶媒体
３２０    プログラム
【図１】
2005031389.tif 000003
【図２】
2005031389.tif 000004
【図３】
2005031389.tif 000005
【図４】
2005031389.tif 000006
【図５】
2005031389.tif 000007
【図６】
2005031389.tif 000008
【図７】
2005031389.tif 000009
【図８】
2005031389.tif 000010
【図９】
2005031389.tif 000011
【図１０】
2005031389.tif 000012
【図１１】
2005031389.tif 000013
【図１２】
2005031389.tif 000014
【図１３】
2005031389.tif 000015