(57)【要約】【課題】  自由に伸長が可能な画像データ圧縮伸長装置を提供する。【解決手段】  動画データが有する各画素についてのフレーム時刻Ｚと縦位置Ｘと横位置Ｙの組み合わせに対する色情報（ＲＧＢ）の対応関係を教師信号として、ニューラルネットワークを形成し、その構造を定義する重み係数等のパラメータ群を圧縮データとして記憶する。３次元画像データが有する各画素についての縦位置Ｘと横位置Ｙと奥行き位置Ｚの組み合わせに対する色情報（ＲＧＢ）の対応関係を教師信号として、ニューラルネットワークを形成し、その構造を定義する重み係数等のパラメータ群を圧縮データとして記憶する。【選択図】  図２
2008117226.tif 000002
【特許請求の範囲】
【請求項１】
色情報と縦位置と横位置が特定された複数の画素で構成された画像データを圧縮／伸長する画像データ圧縮伸長装置において、
周期的な複数の時刻にわたる上記画像データで構成された動画データを取得する動画データ取得手段と、
上記動画データが有する複数の上記画素についての上記時刻と上記縦位置と上記横位置の組み合わせに対する上記色情報の対応関係を教師信号として取得してする教師信号取得手段と、
上記時刻と上記縦位置と上記横位置の組み合わせを入力し上記色情報を出力するニューラルネットワークを形成するとともに、当該ニューラルネットワークを定義づけるパラメータ群を上記教師信号に基づいて最適化するニューラルネットワーク構築手段と、
上記パラメータ群を上記動画データの圧縮データとして記憶する記憶手段と、
から構成される圧縮手段と、
上記パラメータ群を読み出して上記ニューラルネットワークを再構築する再構築手段と、
再構築した上記ニューラルネットワークに任意の上記時刻と上記縦位置と上記横位置の組み合わせを入力し、これらに対応する上記色情報を算出するのに要する時間を取得するとともに、
当該時間よりも長い周期の周期的な複数の上記時刻にわたる上記縦位置と上記横位置の組み合わせを入力し、これらに対応する周期的な複数の上記時刻にわたる上記色情報から構成される上記動画データを再現する再現手段と、
から構成される伸長手段とを具備することを特徴とする画像データ圧縮伸長装置。
【請求項２】
色情報と縦位置と横位置が特定された複数の画素で構成された画像データを圧縮／伸長する画像データ圧縮伸長装置において、
周期的な複数の時刻にわたる上記画像データで構成された動画データを取得する動画データ取得手段と、
上記動画データが有する複数の上記画素についての上記時刻と上記縦位置と上記横位置の組み合わせに対する上記色情報の対応関係を教師信号として取得してする教師信号取得手段と、
上記時刻と上記縦位置と上記横位置の組み合わせを入力し上記色情報を出力するニューラルネットワークを形成するとともに、当該ニューラルネットワークを定義づけるパラメータ群を上記教師信号に基づいて最適化するニューラルネットワーク構築手段と、
上記パラメータ群を上記動画データの圧縮データとして記憶する記憶手段と、
から構成される圧縮手段と、
上記パラメータ群を読み出して上記ニューラルネットワークを再構築する再構築手段と、
再構築した上記ニューラルネットワークに任意の上記時刻と上記縦位置と上記横位置の組み合わせを入力し、これらに対応する上記色情報を再現する再現手段と、
から構成される伸長手段とを具備することを特徴とする画像データ圧縮伸長装置。
【請求項３】
上記再現手段は周期的な複数の上記時刻にわたる上記縦位置と上記横位置の組み合わせを入力し、これらに対応する周期的な複数の上記時刻にわたる上記色情報から構成される上記動画データを再現することを特徴とする請求項２に記載の画像データ圧縮伸長装置。
【請求項４】
上記再現手段は、再構築した上記ニューラルネットワークに任意の上記時刻と上記縦位置と上記横位置の組み合わせを入力し、これらに対応する上記色情報を算出するのに要する時間を取得するとともに、
当該時間よりも長い周期の周期的な複数の上記時刻にわたる上記縦位置と上記横位置の組み合わせを入力し、これらに対応する周期的な複数の上記時刻にわたる上記色情報から構成される上記動画データを再現することを特徴とする請求項３に記載の画像データ圧縮伸長装置。
【請求項５】
上記動画データ取得手段は予め記憶装置に記憶された上記動画データを取得することを特徴とする請求項１から請求項４のいずれかに記載の画像データ圧縮伸長装置。
【請求項６】
色情報と、少なくとも３個の位置要素の組み合わせで特定される３次元空間における位置情報とを有する複数の画素で構成された３次元画像データを圧縮／伸長する画像データ圧縮伸長装置において、
上記３次元画像データを取得する３次元画像データ取得手段と、
上記３次元画像データが有する複数の上記画素についての上記位置要素の組み合わせに対する上記色情報の対応関係を教師信号として取得してする教師信号取得手段と、
上記位置要素の組み合わせを入力し上記色情報を出力するニューラルネットワークを形成するとともに、当該ニューラルネットワークを定義づけるパラメータ群を上記教師信号に基づいて最適化するニューラルネットワーク構築手段と、
上記パラメータ群を上記動画データの圧縮データとして記憶する記憶手段と、
から構成される圧縮手段と、
上記パラメータ群を読み出して上記ニューラルネットワークを再構築する再構築手段と、
再構築した上記ニューラルネットワークに任意の上記位置要素の組み合わせを入力し、これらに対応する上記色情報を再現する再現手段と、
から構成される伸長手段とを具備することを特徴とする画像データ圧縮伸長装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ圧縮伸長装置に関するものである。
【背景技術】
【０００２】
一般に、通信や情報処理において画像データ等の情報データを圧縮または伸長することが行われている。しかし、ＪＰＥＧ圧縮等の従来の画像データの圧縮伸長方法では、画像データを所望の画像サイズに伸長可能に圧縮することができないという課題があった。例えば、圧縮前の画像より高解像度の画像に伸長することはできないという課題があった。また、ＭＰＥＧ圧縮等の従来の画像データの圧縮伸長方法では、圧縮前のフレームが再現されるため、任意の時刻におけるフレームを再現することができない。従って、圧縮／伸長の前後で自由にフレームレートを変えることができないという課題があった。また、ＪＰＥＧ圧縮やＭＰＥＧ圧縮においては、色情報の空間的冗長性や時間的冗長性に基づいてデータ量の削減が行われるため、伸長する場合には全体を伸長しなければならず、画像の１領域のみを伸長したり、１フレームのみを伸長することは困難であるという問題もあった。さらに、近年、コンピュータ等の演算処理性能の向上にともない３次元画像データを描画し、記憶することが一般化している。このような３次元画像データは、３次元に分布する各画素ごとに色情報等を備えるものであるため、データ量が膨大となるという問題もあった。なお、本発明に関連する技術として、ニューラルネットワークを利用して異なる色空間への変換を行う色変換技術が知られている（特許文献１、参照。）。
【特許文献１】特開平７−６４９４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、上記課題にかんがみてなされたもので、自由に伸長が可能な画像データ圧縮伸長装置の提供を目的とする。
【課題を解決するための手段】
【０００４】
上記目的を達成するために請求項２にかかる発明は、色情報と縦位置と横位置が特定された複数の画素で構成された画像データを圧縮／伸長する画像データ圧縮伸長装置において、周期的な複数の時刻にわたる上記画像データで構成された動画データを取得する動画データ取得手段と、上記動画データが有する複数の上記画素についての上記時刻と上記縦位置と上記横位置の組み合わせに対する上記色情報の対応関係を教師信号として取得する教師信号取得手段と、上記時刻と上記縦位置と上記横位置の組み合わせを入力し上記色情報を出力するニューラルネットワークを形成するとともに、当該ニューラルネットワークを定義づけるパラメータ群を上記教師信号に基づいて最適化するニューラルネットワーク構築手段と、上記パラメータ群を上記動画データの圧縮データとして記憶する記憶手段と、から構成される圧縮手段と、上記パラメータ群を読み出して上記ニューラルネットワークを再構築する再構築手段と、再構築した上記ニューラルネットワークに任意の上記時刻と上記縦位置と上記横位置の組み合わせを入力し、これらに対応する上記色情報を再現する再現手段と、から構成される伸長手段とを具備する構成としてある。
【０００５】
上記のように構成した請求項２の発明では、画像データが色情報と縦位置と横位置が特定された複数の画素で構成される。この画像データを周期的な複数の時刻にわたって用意することにより、動画データが構成される。圧縮手段は、動画データ取得手段と教師信号取得手段とニューラルネットワーク構築手段と記憶手段とから構成される。動画データを動画データ取得手段が取得する。教師信号取得手段は、上記動画データが有する複数の上記画素についての上記時刻と上記縦位置と上記横位置の組み合わせに対する上記色情報の対応関係を取得して教師信号とする。ニューラルネットワーク構築手段は、上記時刻と上記縦位置と上記横位置の組み合わせを入力し、上記色情報を出力するニューラルネットワークを形成する。このニューラルネットワークは層数や中間ユニット数や各重み係数等のパラメータ群によって構造が定義づけられるとともに、このパラメータ群が上記ニューラルネットワーク構築手段によって最適化される。
【０００６】
伸長手段は、再構築手段と再現手段とから構成される。再構築手段は、上記パラメータ群を読み出して上記ニューラルネットワークを再構築する。再現手段は、再構築した上記ニューラルネットワークに任意の上記時刻と上記縦位置と上記横位置の組み合わせを入力し、これらに対応する上記色情報を再現する。例えば、同一時刻におけるマトリクス状の上記縦位置と上記横位置を上記ニューラルネットワークに入力することにより、マトリクス状に配列した同一時刻の上記色情報を得ることができるため、当該時刻における静止画像データを得ることができる。上記再現手段が入力する上記時刻と上記縦位置と上記横位置は任意であり、上記教師信号を構成する上記時刻と上記縦位置と上記横位置に限られるものではない。上記教師信号における上記時刻と上記縦位置と上記横位置は離散的な値となるが、上記ニューラルネットワークによれば連続的な入力値も入力することができる。従って、上記教師信号を構成する上記時刻と上記縦位置と上記横位置よりも高解像度の入力に対しても上記色情報を得ることができる。上記縦位置や上記横位置に関して上記教師信号よりも高解像度化すれば再現される上記動画データを拡大させることができる。
【０００７】
また、請求項３にかかる発明は、上記再現手段は周期的な複数の上記時刻にわたる上記縦位置と上記横位置の組み合わせを入力し、これらに対応する周期的な複数の上記時刻にわたる上記色情報から構成される上記動画データを再現する構成としてある。
【０００８】
上記のように構成した請求項３の発明では、周期的な複数の上記時刻にわたる上記縦位置と上記横位置の組み合わせを入力することにより、周期的な複数の上記時刻にわたる上記色情報を得ることができる。これにより画素の色情報の経時的変化を示す動画データを再現することができる。なお、上記再現手段が、上記時刻を上記教師信号よりも高解像度化すれば再現される上記動画データのフレームレートを向上させることができる。
【０００９】
さらに、請求項４にかかる発明では、上記再現手段は、再構築した上記ニューラルネットワークに任意の上記時刻と上記縦位置と上記横位置の組み合わせを入力し、これらに対応する上記色情報を算出するのに要する時間を取得するとともに、当該時間よりも長い周期の周期的な複数の上記時刻にわたる上記縦位置と上記横位置の組み合わせを入力し、これらに対応する周期的な複数の上記時刻にわたる上記色情報から構成される上記動画データを再現する構成としてある。
【００１０】
上記のように構成した請求項４の発明では、再構築した上記ニューラルネットワークに任意の上記時刻と上記縦位置と上記横位置の組み合わせを入力し、これらに対応する上記色情報を算出するのに要する時間を取得する。この時間の計測は、動画における１フレーム単位で行うのが望ましい。すなわち、１フレームを構成する各画素の上記色情報を再現するのに要する時間を計測する。そして、当該時間よりも長い周期の周期的な複数の上記時刻にわたる上記縦位置と上記横位置の組み合わせを入力し、これらに対応する周期的な複数の上記時刻にわたる上記色情報から構成される上記動画データを再現する。このようにすることにより、再現される上記動画におけるフレーム間隔よりも、１フレーム分の上記色情報を得るために必要な時間を短くすることができるため、動画データの伸長とともに再生を行ってもコマ落ちが生じることが防止できる。なお、１フレームを構成する各画素の上記色情報を再現するのに要する時間は、再現画像データの画素数にも依存するため、コマ落ちが生じないような画素数（上記縦位置と上記横位置の組み合わせ個数）を入力するようにしてもよい。
【００１１】
さらに、請求項５にかかる発明では、上記動画データ取得手段は予め記憶装置に記憶された上記動画データを取得する構成としてある。
【００１２】
上記のように構成した請求項５にかかる発明において、上記ニューラルネットワーク構築手段がパラメータ群を上記教師信号に基づいて最適化するには時間を要するため、予め上記動画データを所定の動画フォーマットで記憶装置に記憶しておき、その後、再圧縮を行うようにしてもよい。
【００１３】
また、請求項６にかかる発明では、色情報と、少なくとも３個の位置要素の組み合わせで特定される３次元空間における位置情報とを有する複数の画素で構成された３次元画像データを圧縮／伸長する画像データ圧縮伸長装置において、上記３次元画像データを取得する３次元画像データ取得手段と、上記３次元画像データが有する複数の上記画素についての上記位置要素の組み合わせに対する上記色情報の対応関係を教師信号として取得してする教師信号取得手段と、上記位置要素の組み合わせを入力し上記色情報を出力するニューラルネットワークを形成するとともに、当該ニューラルネットワークを定義づけるパラメータ群を上記教師信号に基づいて最適化するニューラルネットワーク構築手段と、上記パラメータ群を上記動画データの圧縮データとして記憶する記憶手段と、から構成される圧縮手段と、上記パラメータ群を読み出して上記ニューラルネットワークを再構築する再構築手段と、再構築した上記ニューラルネットワークに任意の上記位置要素の組み合わせを入力し、これらに対応する上記色情報を再現する再現手段と、から構成される伸長手段とを具備する構成としてある。
【００１４】
上記のように構成した請求項６の発明においては、３次元画像データが圧縮／伸長の対称とされる。この３次元画像データを構成する各画素は、色情報と、少なくとも３個の位置要素の組み合わせで特定される３次元空間における位置情報とを有する。すなわち、３次元画像データは、３次元空間における各位置の色が特定された画像データである。３次元空間における位置情報を特定するための位置要素としては、例えば縦位置と横位置と奥行き位置などを使用することができる。また、極座標を使用して３次元空間における位置を特定する場合、位置要素として角度が使用できる。本発明の場合、少なくとも３個の位置要素の組み合わせを入力とし、上記色情報を出力として有するニューラルネットワークを構成し、このニューラルネットワークの構造を定義するパラメータ群が最適化される。最適化されたパラメータ群を圧縮データとして記憶することができる。このパラメータ群によればニューラルネットワークを再構築して、３次元空間における任意の位置要素の組み合わせに対する上記色情報を再現することができる。
【００１５】
以上の構成をさらに具体化した画像データ圧縮伸長装置によっても本発明を実現することができ、その具体例として請求項１にかかる発明は、色情報と縦位置と横位置が特定された複数の画素で構成された画像データを圧縮／伸長する画像データ圧縮伸長装置において、周期的な複数の時刻にわたる上記画像データで構成された動画データを取得する動画データ取得手段と、上記動画データが有する複数の上記画素についての上記時刻と上記縦位置と上記横位置の組み合わせに対する上記色情報の対応関係を教師信号として取得してする教師信号取得手段と、上記時刻と上記縦位置と上記横位置の組み合わせを入力し上記色情報を出力するニューラルネットワークを形成するとともに、当該ニューラルネットワークを定義づけるパラメータ群を上記教師信号に基づいて最適化するニューラルネットワーク構築手段と、上記パラメータ群を上記動画データの圧縮データとして記憶する記憶手段と、から構成される圧縮手段と、上記パラメータ群を読み出して上記ニューラルネットワークを再構築する再構築手段と、再構築した上記ニューラルネットワークに任意の上記時刻と上記縦位置と上記横位置の組み合わせを入力し、これらに対応する上記色情報を算出するのに要する時間を取得するとともに、当該時間よりも長い周期の周期的な複数の上記時刻にわたる上記縦位置と上記横位置の組み合わせを入力し、これらに対応する周期的な複数の上記時刻にわたる上記色情報から構成される上記動画データを再現する再現手段と、から構成される伸長手段とを具備する構成としてある。
かかる構成においても請求項２から請求項４の各発明の発明特定事項が含まれるため、請求項２から請求項４の各発明の単独または相乗的な作用効果が実現できることはいうまでもない。
【発明の効果】
【００１６】
請求項１および請求項２の発明によれば、自由に伸長が可能な画像データ圧縮伸長装置を提供することができる。
請求項３の発明によれば、動画データを伸長することができる。
請求項４の発明によれば、最適なフレームレートで動画データを伸長することができる。
請求項５の発明によれば、動画データを再圧縮することができる。
請求項６の発明によれば、３次元画像データを効率よく圧縮／伸長することができる。
【発明を実施するための最良の形態】
【００１７】
ここでは、下記の順序に従って本発明の実施形態について説明する。
（１）第１の実施形態：
（２）第２の実施形態：
【００１８】
（１）第１の実施形態
図１は、本発明の一例としてのビデオレコーダの全体構成を示している。同図において、ビデオレコーダ１０はＣＰＵ１１とＲＡＭ１２とＨＤＤ１３を有しており、テレビジョン２０が接続されている。ＣＰＵ１１は、ＨＤＤ１３に記憶された圧縮伸長プログラム１４を読み出し実行する。その際に、ＲＡＭ１２をワークエリアとして使用する。なお、圧縮伸長プログラム１４は、ＨＤＤ１３でなく、ＲＯＭ等に記憶されていてもよい。ＨＤＤ１３は、本発明の記憶装置であり、動画データ１５および圧縮データ１６が記憶される。ビデオレコーダ１０は、図示しないチューナ等を備え、受信したテレビ放送信号を復調し動画データ１５を作成することが可能となっている。
【００１９】
図２は、圧縮伸長プログラム１４が実行する圧縮処理の流れを示している。ステップＳ１００においては圧縮伸長プログラム１４が圧縮対象の動画データ１５をＨＤＤ１３から取得する。図３は、動画データ１５を模式的に示している。同図に示すように動画データ１５は時刻の異なる複数の画像データ（フレームデータ）によって構成されており、各フレームデータを高速で順に表示することにより動画を再現することが可能となっている。本実施形態の動画データ１５は、横画素数×縦画素数が６４０画素×４８０画素で構成されるＶＧＡのフレームデータを有し、各画素はそれぞれＲＧＢチャンネルの２５６階調値（０〜２５５）で表現される色情報を有している。フレームレートは１５ｆｐｓとされている。
【００２０】
すなわち、フレームデータは、最初のフレームの時刻を基準として、０／１５，１／１５、２／１５・・・の周期的な複数の時刻の画像を表すものであるということができる。従って、動画データ１５全体における任意の画素を縦位置Ｘと横位置Ｙと時刻Ｚのベクトル（Ｘ，Ｙ，Ｚ）によって特定することができる。また、上述したとおり各画素は色情報のベクトル（Ｒ，Ｇ，Ｂ）を有しているため、動画データ１５を取得することにより、各画素に関して（Ｘ，Ｙ，Ｚ）−（Ｒ，Ｇ，Ｂ）の対応関係を得ることができる。
【００２１】
本実施形態においては、この（Ｘ，Ｙ，Ｚ）−（Ｒ，Ｇ，Ｂ）の対応関係を教師信号として取得する。例えば、３０００フレーム（２０秒間）の動画データ１５においては、３０００×６４０×４８０個の教師信号（Ｘ，Ｙ，Ｚ）−（Ｒ，Ｇ，Ｂ）が得られることとなる。なお、圧縮処理の負担軽減のため（Ｘ，Ｙ，Ｚ）を間引いた教師信号を用意するようにしてもよい。教師信号（Ｘ，Ｙ，Ｚ）−（Ｒ，Ｇ，Ｂ）においては、レンジが−１〜１となるように各要素の値が正規化（Ｒ，Ｇ，Ｂ≒真の階調を階調幅の半分で除算し１を減算、Ｘ，Ｙ≒真の画素位置を画素数の半分で除算し１を減算、Ｚ≒真の時刻を動画の開始から終了までの時間の半分で除算し１を減算）されている。
【００２２】
ステップＳ１１０においては、層数および中間ユニット数の設定を行う。層数および中間ユニット数は予め決められていてもよいし、ユーザーが指定できるようにしてもよい。この層数および中間ユニット数は、後述する圧縮データのデータ量に影響するため、圧縮率として指定できるようにしてもよい。さらに、この層数および中間ユニット数は、後述する重み係数の最適化処理の処理時間に影響するため、処理速度として指定できるようにしてもよい。一般的に、層数および中間ユニット数が多ければ画質の劣化が少ない圧縮が実現でき、層数および中間ユニット数が少なければ高速かつノイズの影響を受けにくい圧縮を実現することができる。ステップＳ１１０において層数および中間ユニット数が設定されると、これらに基づいてニューラルネットワークを構築する。
【００２３】
図４は、ニューラルネットワークの構造を示している。本実施形態においては層数が入力層と出力層を合わせて３層であり、ｎ（ｎは自然数）個の中間ユニット数が設定されるものとする。中間層の値（Ｕ１，Ｕ２・・Ｕｎ）は入力層の値（Ｘ，Ｙ，Ｚ）の線形一次結合で算出される。さらに、出力層の値（Ｒ，Ｇ，Ｂ）は中間層の値（Ｕ１，Ｕ２・・Ｕｎ）の線形一次結合で算出される。線形一次結合を行う際には、各要素に対して重み係数ａを乗算しつつ結合を行い、バイアス値ｂを加算する。例えば、中間ユニットの値Ｕ１，Ｕ２・・Ｕｎは下記式（１）によって算出することができる。
Ｕ１＝ａ(X-U1)×Ｘ＋ａ(Y-U1)×Ｙ＋ａ(Z-U1)×Ｚ＋ｂ(U1)
Ｕ２＝ａ(X-U2)×Ｘ＋ａ(Y-U2)×Ｙ＋ａ(Z-U2)×Ｚ＋ｂ(U2)    ・・・（１）
：
Ｕｎ＝ａ(X-Un)×Ｘ＋ａ(Y-Un)×Ｙ＋ａ(Z-Un)×Ｚ＋ｂ(Un)
一方、出力値（Ｒ，Ｇ，Ｂ）は下記式（２）によって算出することができる。
Ｒ＝ａ(U1-R)×Ｕ１＋ａ(U2-R)×Ｕ２＋・・・＋ａ(Un-R)×Ｕｎ＋ｂ(R)
Ｇ＝ａ(U1-G)×Ｕ１＋ａ(U2-G)×Ｕ２＋・・・＋ａ(Un-G)×Ｕｎ＋ｂ(G)  ・・・（２）
Ｂ＝ａ(U1-B)×Ｕ１＋ａ(U2-B)×Ｕ２＋・・・＋ａ(Un-B)×Ｕｎ＋ｂ(B)
【００２４】
任意の入力値（Ｘ，Ｙ，Ｚ）を上記式（１）に代入し、得られた中間ユニットの値Ｕ１，Ｕ２・・Ｕｎをさらに上記式（２）代入することにより、出力値（Ｒ，Ｇ，Ｂ）を得ることができるネットワークを構築することができる。重み係数ａの数は［（入力層の数×中間ユニットの数）＋（中間ユニットの数×出力層の数）］だけ存在し、バイアス値ｂの数は（中間ユニットの数＋出力層の数）だけ存在し、これらのパラメータ群を決定することによりニューラルネットワークの構造が一意に定義できる。なお、上記式（１），（２）には線形成分しか含まれないため、中間ユニットの値Ｕ１，Ｕ２・・Ｕｎを逆正接関数等の非線形かつ連続な関数によって非線形変換してから、上記式（２）に代入するようにしてもよい。
【００２５】
ステップＳ１１０にてニューラルネットワークをはじめて構築する段階では、各重み係数ａと各バイアス値ｂはランダムに設定される。ステップＳ１２０〜Ｓ１３０においては、教師信号（Ｘ，Ｙ，Ｚ）−（Ｒ，Ｇ，Ｂ）を使用して各重み係数ａと各バイアス値ｂの最適化を行う。ステップＳ１２０においては、各教師信号（Ｘ，Ｙ，Ｚ）をランダムに設定された各重み係数ａと各バイアス値ｂの上記式（１），（２）に代入し、その応答値（ｒ，ｇ，ｂ）を算出する。そして、各入力値（Ｘ，Ｙ，Ｚ）について教師信号（Ｒ，Ｇ，Ｂ）と応答値（ｒ，ｇ，ｂ）との差を評価する。例えば、すべての教師信号（Ｘ，Ｙ，Ｚ）−（Ｒ，Ｇ，Ｂ）に対する応答値（ｒ，ｇ，ｂ）の二乗平均誤差によって全体の精度を評価することができる。
【００２６】
そして、二乗平均誤差が小さくなるように各重み係数ａと各バイアス値ｂを調整する。この誤差が小さくなるように各重み係数ａと各バイアス値ｂを調整する手法としては、バックプロパゲーション法（誤差逆伝搬法）等を適用することができる。一度の調整では十分に誤差を減少させることができないため、ステップＳ１３０にて所定回数ステップＳ１２０を繰り返したか否かを検知し、繰り返し回数が足りない場合には再度ステップＳ１２０にて各重み係数ａと各バイアス値ｂを調整する。ステップＳ１２０〜Ｓ１３０の処理を繰り返すことにより、教師信号（Ｘ，Ｙ，Ｚ）−（Ｒ，Ｇ，Ｂ）に対する応答値（ｒ，ｇ，ｂ）の二乗平均誤差を０に収束させて行くことができる。これにより、教師信号の（Ｘ，Ｙ，Ｚ）に対応する（Ｒ，Ｇ，Ｂ）と、ニューラルネットワークに（Ｘ，Ｙ，Ｚ）を入力して得られる応答値（ｒ，ｇ，ｂ）を一致させることができ、ニューラルネットワークによって元の画像データ１５における縦位置、横位置および時刻（Ｘ，Ｙ，Ｚ）と色情報（Ｒ，Ｇ，Ｂ）との対応関係がニューラルネットワークによって表現できたこととなる。
【００２７】
なお、本実施形態ではステップＳ１２０の処理を所定回数繰り返すようにしたが、図５に示すように教師信号（Ｘ，Ｙ，Ｚ）−（Ｒ，Ｇ，Ｂ）に対する応答値（ｒ，ｇ，ｂ）の二乗平均誤差が所定の閾値を下回るまでステップＳ１２０を繰り返すことにより、一定の精度を保証するようにしてもよい。また、所定の回数ステップＳ１２０を繰り返しても、教師信号（Ｘ，Ｙ，Ｚ）−（Ｒ，Ｇ，Ｂ）に対する応答値（ｒ，ｇ，ｂ）の二乗平均誤差が所定の閾値を下回ることができなかった場合に、層数や中間ユニット数を増加させるようにしてもよい。以上のようにして最適なニューラルネットワークが構築できると、当該ニューラルネットワークの構造を定義づけるパラメータ群（層数、中間ユニット数ｎ、各重み係数ａ，各バイアス値ｂ）を圧縮データ１６としてＨＤＤ１３に記憶し、圧縮処理が完了する。ここでは、ニューラルネットワークの構造を定義づけるパラメータ群と併せて、もとの画像データ１５の開始から終了までの時間の長さを対応づけて記憶する。もとの画像データ１５がパラメータ群のみに圧縮できるため、高い圧縮率を実現することができる。
【００２８】
次に、伸長処理について説明する。図６は、伸長処理の流れを示している。同図において、ステップＳ２００では圧縮データ１６として記憶されたパラメータ群（層数、中間ユニット数ｎ、各重み係数ａ，各バイアス値ｂ）を取得する。ステップＳ２１０においては、ニューラルネットワークをパラメータ群に基づいて再構築する。すなわち、圧縮を行う際にステップＳ１３０にて最適化されたニューラルネットワークが再構築され上記式（１），（２）が演算可能となる。
【００２９】
ステップＳ２２０においては、出力画像サイズを設定する。ここでは任意の出力画像サイズを設定することができ、例えば横画素数×縦画素数を１３６６画素×７６８画素のハイビジョンに設定することもできる。ステップＳ２３０においては、１フレーム分の色情報、すなわちニューラルネットワークの応答値（ｒ，ｇ，ｂ）を算出する。ここでは、任意の一定時刻Ｚを設定し、１３６６画素×７６８画素の各座標をそれぞれ０〜１のレンジに正規化（≒真の画素位置を画素数の半分で除算し１を減算）した横位置Ｘおよび縦位置Ｙで構成される入力ベクトル（Ｘ，Ｙ，Ｚ）をすべての画素についてニューラルネットワークに入力し、得られたすべての応答値（ｒ，ｇ，ｂ）を２５６階調に復元（≒応答値に１を加算し階調幅の半分で乗算）した色情報が得られるまでの時間をステップＳ２４０では計測する。
【００３０】
ステップＳ２５０ではフレームレートを設定する。ステップＳ２４０においては１フレームを構成する前画素の色情報をニューラルネットワークによって再現するのに要する時間が計測されているため、ここではフレーム周期がこの時間よりも長い時間となるようにフレームレートが設定される。例えば、ステップＳ２４０にて計測した時間が１／４０秒であり、フレーム周期がこの時間よりも長い３０ｆｐｓが設定されたものとする。ステップＳ２６０においては、フレーム単位で各画素の色情報を再現する。
【００３１】
そして、最初のフレームとして時刻Ｚ＝０のフレームの色情報を算出する。すなわち、ニューラルネットワークに（Ｘ，Ｙ，Ｚ＝０）を入力し、その応答値（ｒ，ｇ，ｂ）を２５６階調に復元（≒応答値に１を加算し階調幅の半分で乗算）していく。全画素分の（Ｘ，Ｙ，Ｚ＝０）に対応した色情報が得られると、１３６６画素×７６８画素の各画素がそれぞれＲＧＢ２５６階調の色情報を有するフレームデータが再現できたこととなる。１フレーム分のフレームデータが再現できると、ステップＳ２７０にて当該フレームデータを出力する。例えば、テレビジョン２０に対して出力する。ステップＳ２８０においては最終フレームの再現が完了したかどうか、すなわちＺ＝１であるか否かが判定され、Ｚ＝１でない場合には、ステップＳ２６０に戻って次の時刻Ｚのフレームデータを再現する。
【００３２】
次の時刻Ｚは、前の時刻Ｚに正規化（≒真のフレーム周期（１／３０秒）を元の画像データ１５の開始から終了までの全体の時間の半分で除算を１を減算）した１フレーム周期を加算することによって得られる。このように、１フレーム周期を順に加算した時刻Ｚをニューラルネットワークに入力することによって、ステップＳ２５０にて設定したフレームレートの周期的な画像データによって構成される動画データを伸長することができる。最終的に最終時刻Ｚ＝１となるまで、フレームデータを出力することができる。フレームデータを出力すべきタイミングはステップＳ２５０にて設定したフレームレート（３０ｆｐｓ）であるが、各タイミングよりも早く１フレームのフレームデータを演算することができるため、コマ落ちが発生することはない。すなわち、ＣＰＵ１１の処理性能に応じて最適なフレームレートを設定することができる。なお、本実施形態においては、画像サイズを優先してＣＰＵ１１の処理性能に応じたフレームレートを設定するようにしたが、所望のフレームレートを優先してそのフレームレートに遅れないような画像サイズを設定するようにすることもできる。
【００３３】
ニューラルネットワークを構成する上記式（１），（２）は連続関数によって構成されるため、ステップＳ２６０では連続的な入力値（Ｘ，Ｙ，Ｚ）を入力し、対応する色情報を得ることができる。教師信号は有限であるためその入力値（Ｘ，Ｙ，Ｚ）は離散的となるが、ニューラルネットワークではこれらの間の値についても補間することができる。このことは、ＣＰＵ１１等の処理性能を考慮しない場合、伸長する動画データの画像サイズやフレームレートを自由に変更することができることを意味する。
【００３４】
すなわち、元の動画データ１５よりも空間的、時間的に高解像度な動画データを伸長することができる。むろん、低解像度化して動画データも伸長できることはいうまでもない。また、単一の入力値（Ｘ，Ｙ，Ｚ）に対して独立して応答値（ｒ，ｇ，ｂ）が得られるため、画素単位で伸長を行うことも可能である。例えば、ある時刻のある位置の画素の色情報のみを再現することもできる。ステップＳ２６０において、正規化した横位置および縦位置を示す入力値（Ｘ，Ｙ）が取り得るレンジを−０．５〜０．５に制限することによって、縦横半分の大きさを有する中央の部分のみの動画のみを抽出して伸長することもできる。さらに、Ｚをある一定の値に限定することによって、ある瞬間の静止画像データを抽出して再現することもできる。例えば、ビデオカメラで被写体をいろいろな角度で刷制した動画データ１５を圧縮した場合、ある瞬間の画像を抽出することによって任意の角度の被写体画像を得ることができる。
【００３５】
（２）第２の実施形態
以上においては、動画データを圧縮伸長するものを例示したが、３次元画像データを同様の手法によって圧縮伸長することも可能である。図７は３次元画像データを模式的に示している。同図において、直交する横位置Ｘと縦位置Ｙと奥行き位置Ｚが示されている。
すなわち、横位置Ｘと縦位置Ｙと奥行き位置Ｚで構成される３個の位置要素によって３次元空間における各画素の位置情報が特定されている。また、各画素は２５６階調のＲＧＢチャンネルの組み合わせによる色情報を有している。このような３次元画像データは、例えば３次元グラフィックソフトウェアによって描画することができる。
【００３６】
前実施形態ではＺの値が時間を意味したが、本実施形態ではＺの値が奥行き位置（空間位置）を意味している。しかしながら、入力値を（Ｘ，Ｙ，Ｚ）で表現することができ、出力値も同様の（Ｒ，Ｇ，Ｂ）であるため、図２に示した処理と同様の処理によって、図４と同様のニューラルネットワークを構築することができ、同様の圧縮を実現することができる。３次元画像データを伸長する場合には、任意の解像度におけるマトリックス状の入力値（Ｘ，Ｙ，Ｚ）を入力すれば各画素が３次元空間においてマトリックス状に分布した画像データを得ることができる。
【００３７】
むろん、伸長する際に入力する入力値（Ｘ，Ｙ，Ｚ）のいずれか一要素を一定の値とすることによって、任意のスライス面の２次元画像を得ることも可能である。ここでも、連続的な入力値（Ｘ，Ｙ，Ｚ）を入力することができるため、高解像度の画像を再現することができる。なお、３次元画像データにおいて使用する座標系は本実施形態のような直交座標系に限られず、円筒座標系や球座標系等の各座標要素を位置要素としてニューラルネットワークに入力してもよい。なお、３次元画像の動画データをニューラルネットワークによって圧縮伸長することも可能であり、その場合、少なくとも３個以上の位置要素と時刻とからなる４次元以上の入力値が入力可能なニューラルネットワークが構築されることとなる。
【図面の簡単な説明】
【００３８】
【図１】ビデオレコーダのブロック図である。
【図２】圧縮処理のフローチャートである。
【図３】動画データの模式図である。
【図４】ニューラルネットワークを示す図である。
【図５】圧縮処理のフローチャートである。
【図６】伸長処理のフローチャートである。
【図７】３次元画像データの模式図である。
【符号の説明】
【００３９】
１０…ビデオレコーダ、１１…ＣＰＵ、１２…ＲＡＭ，１３…ＨＤＤ，１４…圧縮伸長プログラム、１５…動画データ、１６…圧縮データ、２０…テレビジョン、Ｘ…縦位置、Ｙ…横位置、Ｚ…時刻，奥行き位置。
【図１】
2008117226.tif 000003
【図２】
2008117226.tif 000004
【図３】
2008117226.tif 000005
【図４】
2008117226.tif 000006
【図５】
2008117226.tif 000007
【図６】
2008117226.tif 000008
【図７】
2008117226.tif 000009