(57)【要約】【課題】少ない画像枚数で被写体が滑らかに変化している動画像を得ることを可能とする実用的な技術を提供することを目的とする。【解決手段】被写体の時間的変化を滑らかに表示するための画像処理装置による画像処理方法において、被写体を撮影した２枚の画像である画像Ｐ１と画像Ｐ２を入力し、画像Ｐ１と画像Ｐ２とを合成する合成処理により複数枚の合成画像を生成し、画像Ｐ１を出力し、続いて合成画像を順次出力した後に、画像Ｐ２を出力する。【選択図】  図１
2004265233.tif 000002
【特許請求の範囲】
【請求項１】
被写体の時間的変化を滑らかに表示するための画像処理装置による画像処理方法において、
被写体を撮影した２枚の画像である画像Ｐ１と画像Ｐ２を入力し、
画像Ｐ１と画像Ｐ２とを合成する合成処理により複数枚の合成画像を生成し、
画像Ｐ１を出力し、続いて合成画像を順次出力した後に、画像Ｐ２を出力する画像処理方法。
【請求項２】
前記合成処理において、
ｎを１以上の整数とし、ｋを１からｎまで１ずつ変化する整数とし、画像Ｐ１及び画像Ｐ２及び合成画像上のある一点の座標（ｘ，ｙ）における画像Ｐ１の画素値をＰ１（ｘ，ｙ）、画像Ｐ２における画素値をＰ２（ｘ，ｙ）、ｋ番目の合成画像の画素値をＰＣｋ（ｘ，ｙ）とする場合に、ｎ枚の合成画像を、
ＰＣｋ（ｘ，ｙ）＝Ｐ１（ｘ，ｙ）×（ｎ−ｋ＋１）÷（ｎ＋１）＋Ｐ２（ｘ，ｙ）×ｋ÷（ｎ＋１）
の式を用いて生成する請求項１に記載の画像処理方法。
【請求項３】
前記合成処理において、
ｎを１以上の整数とし、ｋを１からｎまで１ずつ変化する整数とし、画像Ｐ１及び画像Ｐ２及び合成画像上のある一点の座標（ｘ，ｙ）における画像Ｐ１の画素値をＰ１（ｘ，ｙ）、画像Ｐ２における画素値をＰ２（ｘ，ｙ）、ｋ番目の合成画像の画素値をＰＣｋ（ｘ，ｙ）とし、Ｐ１（ｘ，ｙ）の輝度値をＬ１（ｘ，ｙ）、Ｐ２（ｘ，ｙ）の輝度値をＬ２（ｘ，ｙ）とする場合に、ｎ枚の合成画像を、
Ｌ１（ｘ，ｙ）≦Ｌ２（ｘ，ｙ）のときは、
ＰＣｋ（ｘ，ｙ）＝Ｐ１（ｘ，ｙ）＋（Ｐ２（ｘ，ｙ）−Ｐ１（ｘ，ｙ））×ｓｉｎ（π／２×（ｎ−ｋ＋１）÷（ｎ＋１））
Ｌ１（ｘ，ｙ）＞Ｌ２（ｘ，ｙ）のときは、
ＰＣｋ（ｘ，ｙ）＝Ｐ１（ｘ，ｙ）＋（Ｐ２（ｘ，ｙ）−Ｐ１（ｘ，ｙ））×（１−ｃｏｓ（π／２×（ｎ−ｋ＋１）÷（ｎ＋１））
の式を用いて生成する請求項１に記載の画像処理方法。
【請求項４】
画像Ｐ１を表示してから画像Ｐ２を表示するまでの時間である移行時間をｓとし、ある時間ａを与え、ｎ＝ｓ÷ａ−１として前記合成処理によりｎ枚の合成画像を生成し、
画像Ｐ１及びｎ枚の合成画像における各合成画像の各表示時間がａとなるように出力を行う請求項１ないし３のうちいずれか１項に記載の画像処理方法。
【請求項５】
撮影方向を角度Ｗずつ変えて被写体を所定の軸の周りの全周囲にわたり撮影したｍ（＝３６０÷Ｗ）枚の画像ＰＰ１〜ＰＰｍを入力し、
撮影角度が隣接する２枚の画像ＰＰｒと画像ＰＰ（ｒ＋１）を前記画像Ｐ１と画像Ｐ２とみなして前記合成処理を行い、画像ＰＰｒを出力し、続いて画像ＰＰｒと画像ＰＰ（ｒ＋１）とから求めた合成画像を順次出力した後に、画像ＰＰ（ｒ＋１）を出力することを、ｒを１からｍ−１まで１ずつ変化させて行う出力処理を行う請求項１ないし３のうちいずれか１項に記載の画像処理方法。
【請求項６】
ある角速度Ｖを与え、画像ＰＰｒを表示してから画像ＰＰ（ｒ＋１）を表示するまでの時間である移行時間をｓ＝Ｗ÷Ｖとし、ある時間ａを与え、ｎ＝ｓ÷ａ−１として前記合成処理ではｎ枚の合成画像を生成し、
画像ＰＰｒ及びｎ枚の合成画像における各合成画像の各表示時間がａとなるように出力を行う請求項５に記載の画像処理方法。
【請求項７】
前記角速度Ｖが０に変化したときに、画像ＰＰ１〜ＰＰｍのうちのいずれか１つを表示した時点で、その画像を表示し続けるように出力を行う請求項６に記載の画像処理方法。
【請求項８】
任意の軸に対して前記ｍ枚の画像ＰＰ１〜ＰＰｍを得られるように、被写体を全球面方向から撮影した複数の画像を入力し、
ある回転軸及び回転角速度を与えた場合に、その回転軸及び回転角速度を前記所定の軸及び前記角速度とみなして前記出力処理を行う請求項５ないし７のうちいずれか１項に記載の画像処理方法。
【請求項９】
被写体の時間的変化を滑らかに表示するための処理をコンピュータに実行させるプログラムであって、
被写体を撮影した２枚の画像である画像Ｐ１と画像Ｐ２を取得する手順と、
画像Ｐ１と画像Ｐ２とを合成する合成処理により複数枚の合成画像を生成する手順と、
画像Ｐ１を出力し、続いて合成画像を順次出力した後に、画像Ｐ２を出力するための処理をする手順とをコンピュータに実行させるプログラム。
【請求項１０】
前記合成処理において、前記プログラムは、
ｎを１以上の整数とし、ｋを１からｎまで１ずつ変化する整数とし、画像Ｐ１及び画像Ｐ２及び合成画像上のある一点の座標（ｘ，ｙ）における画像Ｐ１の画素値をＰ１（ｘ，ｙ）、画像Ｐ２における画素値をＰ２（ｘ，ｙ）、ｋ番目の合成画像の画素値をＰＣｋ（ｘ，ｙ）とする場合に、ｎ枚の合成画像を、
ＰＣｋ（ｘ，ｙ）＝Ｐ１（ｘ，ｙ）×（ｎ−ｋ＋１）÷（ｎ＋１）＋Ｐ２（ｘ，ｙ）×ｋ÷（ｎ＋１）
の式を用いてコンピュータに生成させる請求項９に記載のプログラム。
【請求項１１】
前記合成処理において、前記プログラムは、
ｎを１以上の整数とし、ｋを１からｎまで１ずつ変化する整数とし、画像Ｐ１及び画像Ｐ２及び合成画像上のある一点の座標（ｘ，ｙ）における画像Ｐ１の画素値をＰ１（ｘ，ｙ）、画像Ｐ２における画素値をＰ２（ｘ，ｙ）、ｋ番目の合成画像の画素値をＰＣｋ（ｘ，ｙ）とし、Ｐ１（ｘ，ｙ）の輝度値をＬ１（ｘ，ｙ）、Ｐ２（ｘ，ｙ）の輝度値をＬ２（ｘ，ｙ）とする場合に、ｎ枚の合成画像を、
Ｌ１（ｘ，ｙ）≦Ｌ２（ｘ，ｙ）のときは、
ＰＣｋ（ｘ，ｙ）＝Ｐ１（ｘ，ｙ）＋（Ｐ２（ｘ，ｙ）−Ｐ１（ｘ，ｙ））×ｓｉｎ（π／２×（ｎ−ｋ＋１）÷（ｎ＋１））
Ｌ１（ｘ，ｙ）＞Ｌ２（ｘ，ｙ）のときは、
ＰＣｋ（ｘ，ｙ）＝Ｐ１（ｘ，ｙ）＋（Ｐ２（ｘ，ｙ）−Ｐ１（ｘ，ｙ））×（１−ｃｏｓ（π／２×（ｎ−ｋ＋１）÷（ｎ＋１））
の式を用いてコンピュータに生成させる請求項９に記載のプログラム。
【請求項１２】
画像Ｐ１を表示してから画像Ｐ２を表示するまでの時間である移行時間をｓとし、ある時間ａを与え、ｎ＝ｓ÷ａ−１として前記合成処理によりｎ枚の合成画像を生成する手順と、
画像Ｐ１及びｎ枚の合成画像における各合成画像の各表示時間がａとなるように出力を行うように制御する手順とをコンピュータに実行させる請求項９ないし１１のうちいずれか１項に記載のプログラム。
【請求項１３】
撮影方向を角度Ｗずつ変えて被写体を所定の軸の周りの全周囲にわたり撮影したｍ（＝３６０÷Ｗ）枚の画像ＰＰ１〜ＰＰｍを取得する手順と、
撮影角度が隣接する２枚の画像ＰＰｒと画像ＰＰ（ｒ＋１）を前記画像Ｐ１と画像Ｐ２とみなして前記合成処理を行い、画像ＰＰｒを出力し、続いて画像ＰＰｒと画像ＰＰ（ｒ＋１）とから求めた合成画像を順次出力した後に、画像ＰＰ（ｒ＋１）を出力することを、ｒを１からｍ−１まで１ずつ変化させて行う出力処理をコンピュータに実行させる請求項９ないし１１のうちいずれか１項に記載のプログラム。
【請求項１４】
ある角速度Ｖを与え、画像ＰＰｒを表示してから画像ＰＰ（ｒ＋１）を表示するまでの時間である移行時間をｓ＝Ｗ÷Ｖとし、ある時間ａを与え、ｎ＝ｓ÷ａ−１として前記合成処理ではｎ枚の合成画像を生成する手順と、
画像ＰＰｒ及びｎ枚の合成画像における各合成画像の各表示時間がａとなるように出力を行う手順とをコンピュータに実行させる請求項１３に記載のプログラム。
【請求項１５】
前記角速度Ｖが０に変化したときに、画像ＰＰ１〜ＰＰｍのうちのいずれか１つを表示した時点で、その画像を表示し続けるように出力を行う手順をコンピュータに実行させる請求項１４に記載のプログラム。
【請求項１６】
任意の軸に対して前記ｍ枚の画像ＰＰ１〜ＰＰｍを得られるように、被写体を全球面方向から撮影した複数の画像を取得し、
ある回転軸及び回転角速度を与えた場合に、その回転軸及び回転角速度を前記所定の軸及び前記角速度とみなして前記出力処理を行う手順をコンピュータに実行させる請求項１３ないし１５のうちいずれか１項に記載のプログラム。
【請求項１７】
請求項８ないし１６のうちいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、変化する被写体を撮影した複数の画像を用いて被写体が滑らかに変化しているように見せるための画像処理方法に関する。
【０００２】
【従来の技術】
インターネット等を用いた商品紹介では、商品を任意に回転させて見ることができるコンテンツが増加している。ＱｕｉｃｋＴｉｍｅＶＲを用いて作成したコンテンツはこの代表的な例である。
【０００３】
このようなコンテンツでは、予め被写体である商品をあらゆる方向から撮影しておき、商品の表示時に、撮影の方向が少しずつ異なる画像を順次表示している。このように順次表示することにより、コンテンツを見るユーザは商品が回転している様子を見ることができる。
【０００４】
商品が滑らかに回転しているよう見せるためには、その回転速度に応じた枚数の画像を用意する必要がある。例えば、回転速度が速い場合は、画像の枚数が少なくても、ユーザは商品が滑らかに回転しているように見える。しかし、回転速度が遅い場合、写真枚数が少ないと、１枚あたりの写真の表示時間が長くなり、動きがぎくしゃくして見える。すなわち、滑らかに動いているようには見えない。このため、回転速度が遅くても被写体が滑らかに回転しているように見える動画像を得るためには、非常に膨大な枚数の画像が必要となる。
【０００５】
非常に膨大な枚数の画像が必要となるという問題を解決する手段として、２枚の画像間の補間画像を生成する手法が研究されている。非特許文献１にその代表的な研究内容が開示されている。これらの手法で補間した画像を実際の画像間に挟んで表示すれば、回転速度が遅くても、少ない画像枚数で被写体が滑らかに回転している動画像を得ることができる。
【０００６】
【非特許文献１】
Ｓｔｅｖｅｎ  Ｍ．  Ｓｅｉｔｚ，  Ｃｈａｒｌｅｓ  Ｒ．  Ｄｙｅｒ，  “Ｖｉｅｗ  Ｍｏｒｐｈｉｎｇ”，  ＳＩＧＧＲＡＰＨ’９６，  ｐｐ．３９−４６
【０００７】
【発明が解決しようとする課題】
上記の従来の手法による補間画像の生成方法では、２枚の撮影画像の対応点を求める必要がある。しかしながら、これを有効に求める手段が未だ確立されておらず、上記の従来の方法はいまだ実用化に至っていない。
【０００８】
本発明は上記の点に鑑みてなされたものであり、少ない画像枚数で被写体が滑らかに変化している動画像を得ることを可能とする実用的な技術を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の課題は、被写体を撮影した２枚の画像である画像Ｐ１と画像Ｐ２を入力し、画像Ｐ１と画像Ｐ２とを合成する合成処理により複数枚の合成画像を生成し、画像Ｐ１を出力し、続いて合成画像を順次出力した後に、画像Ｐ２を出力する本発明の画像処理方法により解決される。
【００１０】
本発明によれば、画像Ｐ１を出力し、続いて合成画像を順次出力した後に、画像Ｐ２を出力するので、滑らかに変化するように被写体を見せることができる。
【００１１】
前記合成処理は、ｎを１以上の整数とし、ｋを１からｎまで１ずつ変化する整数とし、画像Ｐ１及び画像Ｐ２及び合成画像上のある一点の座標（ｘ，ｙ）における画像Ｐ１の画素値をＰ１（ｘ，ｙ）、画像Ｐ２における画素値をＰ２（ｘ，ｙ）、ｋ番目の合成画像の画素値をＰＣｋ（ｘ，ｙ）とする場合に、ｎ枚の合成画像を、
ＰＣｋ（ｘ，ｙ）＝Ｐ１（ｘ，ｙ）×（ｎ−ｋ＋１）÷（ｎ＋１）＋Ｐ２（ｘ，ｙ）×ｋ÷（ｎ＋１）
の式を用いて生成することができる。
【００１２】
また、Ｐ１（ｘ，ｙ）の輝度値をＬ１（ｘ，ｙ）、Ｐ２（ｘ，ｙ）の輝度値をＬ２（ｘ，ｙ）とする場合に、ｎ枚の合成画像を、
Ｌ１（ｘ，ｙ）≦Ｌ２（ｘ，ｙ）のときは、
ＰＣｋ（ｘ，ｙ）＝Ｐ１（ｘ，ｙ）＋（Ｐ２（ｘ，ｙ）−Ｐ１（ｘ，ｙ））×ｓｉｎ（π／２×（ｎ−ｋ＋１）÷（ｎ＋１））
Ｌ１（ｘ，ｙ）＞Ｌ２（ｘ，ｙ）のときは、
ＰＣｋ（ｘ，ｙ）＝Ｐ１（ｘ，ｙ）＋（Ｐ２（ｘ，ｙ）−Ｐ１（ｘ，ｙ））×（１−ｃｏｓ（π／２×（ｎ−ｋ＋１）÷（ｎ＋１））
の式を用いて生成することもできる。
【００１３】
また、画像Ｐ１を表示してから画像Ｐ２を表示するまでの時間である移行時間をｓとし、ある時間ａを与え、ｎ＝ｓ÷ａ−１として前記合成処理によりｎ枚の合成画像を生成し、画像Ｐ１及びｎ枚の合成画像における各合成画像の各表示時間がａとなるように出力を行うことにより、人間の視覚特性を利用して被写体を滑らかに変化するように見せることができる。
【００１４】
また、上記の画像処理方法において、撮影方向を角度Ｗずつ変えて被写体を所定の軸の周りの全周囲にわたり撮影したｍ（＝３６０÷Ｗ）枚の画像ＰＰ１〜ＰＰｍを入力し、撮影角度が隣接する２枚の画像ＰＰｒと画像ＰＰ（ｒ＋１）を前記画像Ｐ１と画像Ｐ２とみなして前記合成処理を行い、画像ＰＰｒを出力し、続いて画像ＰＰｒと画像ＰＰ（ｒ＋１）とから求めた合成画像を順次出力した後に、画像ＰＰ（ｒ＋１）を出力することを、ｒを１からｍ−１まで１ずつ変化させて行うことにより、２枚以上の連続した画像を用いて被写体が滑らかに回転するように表示できる。
【００１５】
ここで、ある角速度Ｖを与え、画像ＰＰｒを表示してから画像ＰＰ（ｒ＋１）を表示するまでの時間である移行時間をｓ＝Ｗ÷Ｖとし、ある時間ａを与え、ｎ＝ｓ÷ａ−１として前記合成処理ではｎ枚の合成画像を生成し、画像ＰＰｒ及びｎ枚の合成画像における各合成画像の各表示時間がａとなるように出力すれば適切に被写体が滑らかに回転するような画像表示を行うことができる。
【００１６】
なお、回転している途中で、前記角速度Ｖが０に変化したときに、画像ＰＰ１〜ＰＰｍのうちのいずれか１つを表示した時点で、その画像を表示し続けるようにしてもよい。これにより、ユーザは任意の角度で被写体を固定して見ることができる。
【００１７】
また、任意の軸に対して前記ｍ枚の画像ＰＰ１〜ＰＰｍを得られるように、被写体を全球面方向から撮影した複数の画像を入力しておけば、ある回転軸及び回転角速度を与えた場合に、その回転軸及び回転角速度を前記所定の軸及び前記角速度とみなして前記出力処理を行うことにより、任意の方向で回転する被写体を表示することが可能となる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態では、ある画像Ｐ１と別の画像Ｐ２の表示の間に、その２枚の画像を所定の比率で重ね合わせた画像を挟んで表示することにより、画像Ｐ１から画像Ｐ２への変化が滑らかに見えるようにする画像処理方法について説明する。実施の形態を説明するにあたり、まず、本実施の形態における原理を説明する。
【００１９】
人間には、ある一定期間、画像が変化していないと、その画像が静止しているように見えることが知られている（Ｐａｕｌ  Ａ．  Ｋｏｌｅｒｓ，  “Ａｓｐｅｃｔｓ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｅｒｃｅｐｔｉｏｎ”，  ＰＥＲＧＡＭＯＮ  ＰＲＥＳＳ，１９７２）。一方、人間は、動画像を見ている場合、その動画像の全てのフレームを必ずしも認識している訳ではなく、画像の時間的な流れから必要な情報を検出していると考えられている（Ｅｄｗａｒｄ  Ｈ．  Ａｄｅｌｓｏｎ，  Ｊａｍｅｓ  Ｒ．  Ｂｅｒｇｅｎ，  “Ｓｐａｔｉｏｔｅｍｐｏｒａｌ  ｅｎｅｒｇｙ  ｍｏｄｅｌｓ  ｆｏｒ  ｔｈｅ  ｐｅｒｃｅｐｔｉｏｎ  ｏｆ  ｍｏｔｉｏｎ”，  Ｊ．  Ｏｐｔ．  Ｓｏｃ．  Ａｍ．  Ａ／Ｖｏｌ．２，  Ｎｏ．２／Ｆｅｂｒｕａｒｙ  １９８５）。そのため、画像Ｐ１から画像Ｐ２に変化させる場合、画像Ｐ１の表示時間を人間が静止画と認識する時間（Ｐａｕｌ  Ａ．  Ｋｏｌｅｒｓ，  “Ａｓｐｅｃｔｓ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｅｒｃｅｐｔｉｏｎ”，  ＰＥＲＧＡＭＯＮ  ＰＲＥＳＳ，１９７２）より短くして次の画像に切り替えれば、人間はその一連の画像を動画像と認識すると考えられる。そのため、画像Ｐ１を表示してからＰ２を表示するまでの時間を動画像として認識される時間より長くしたい場合、その間に変化している画像を挿入する必要がある。その画像は、本来その間で見えるべき画像を必ずしも忠実に再現する必要はなく、本発明の合成処理により生成した画像を挿入することにより、画像Ｐ１から画像Ｐ２にかけて被写体が滑らかに変化しているように見える映像を生成することができる。
【００２０】
図１に本発明の実施の形態における画像処理装置１の構成を示す。画像処理装置１は画像入力部１１、画像処理部１２、画像出力部１３、及び出力制御部１４を有している。また、画像処理装置１には必要に応じて撮影装置２と画像表示装置３が接続される。
【００２１】
画像処理装置１は例えば画像入出力インタフェースを有するコンピュータを用いて構成することができ、その場合、例えば画像処理部１２、出力制御部１４はコンピュータが有するＣＰＵ、記憶装置、計時装置、及び本発明の処理を行うプログラムなどにより実現される。なお、プログラムはＣＤ−ＲＯＭなどの記録媒体に格納することができる。
【００２２】
画像処理装置１は撮影装置２で撮影した変化する被写体を撮影した複数の画像を入力し、画像処理部１２で２枚の画像毎に処理を施し、出力制御部１４による制御により画像を順次出力することにより、画像表示部３に被写体が滑らかに変化しているように見えるように画像を表示するものである。ここで、変化とは被写体の移動、回転、変形などのことであり、画像として写る被写体像が時間を異にする複数の画像間で異なることである。また、本明細書における“画像”とは、処理の対象となる画像データの意味を含む。
【００２３】
図２に、画像処理装置１における処理のフローチャートを示す。
【００２４】
まず、変化前の被写体を撮影した画像Ｐ１、変化後の被写体を撮影した画像Ｐ２を画像入力部１１を介して画像処理装置１に入力する（ステップＳ１）。画像は必ずしも撮影装置２から入力する必要はなく、例えば外部にある記憶装置から入力することができる。また、画像を外部から入力する代わりに、画像処理装置１における記憶装置に画像を予め蓄積しておき、そこから画像処理部１２が画像を取得するようにしてもよい。Ｐ１とＰ２のそれぞれは横の画素数がｗ、縦の画素数がｈの画像である。図３（ａ）に画像Ｐ１の例を示し、図３（ｂ）に画像Ｐ２の例を示す。
【００２５】
次に、Ｐ１を表示する時間とＰ２を表示する時間の間に表示されることになるｎ枚の画像（以下、合成画像という）を下記の式（１）に従って求める。
【００２６】
ＰＣｋ（ｘ，ｙ）＝Ｐ１（ｘ，ｙ）×（ｎ−ｋ＋１）÷（ｎ＋１）＋Ｐ２（ｘ，ｙ）×ｋ÷（ｎ＋１）    ・・・式（１）
式（１）においてｎは１以上の整数であり、ｋは１からｎまでの任意の整数であり、Ｐ１上のある一点（ｘ，ｙ）の座標（ただし、０≦ｘ＜ｗ，０≦ｙ＜ｈ）の画素値をＰ１（ｘ，ｙ）、Ｐ２上のある一点（ｘ，ｙ）の座標（ただし、０≦ｘ＜ｗ，０≦ｙ＜ｈ）の画素値をＰ２（ｘ，ｙ）としている。ＰＣｋ（ｘ，ｙ）はｋ番目の合成画像の（ｘ，ｙ）の座標の画素値である。“画素値”とは画像を画像表示装置上で表示するために必要となる、画素に対応付けられた値であり、１つの値とは限らない。例えば、輝度、色などを含む。
【００２７】
上記式（１）は、ｋの値が大きいほどＰ１（ｘ，ｙ）の割合を小さくし、Ｐ２（ｘ，ｙ）の割合を大きくしてＰ１（ｘ，ｙ）とＰ２（ｘ，ｙ）とを加算する（合成する）ことを意味している。
【００２８】
例えば、ｎ＝１、ｋ＝１の場合には、合成画像ＰＣ１のみが得られることになるが、この場合、式（１）は
ＰＣ１（ｘ，ｙ）＝Ｐ１（ｘ，ｙ）÷２＋Ｐ２（ｘ，ｙ）÷２
となり、Ｐ１（ｘ，ｙ）とＰ２（ｘ，ｙ）の平均がＰＣ１（ｘ，ｙ）の値となる。
【００２９】
図４に、図３（ａ）、（ｂ）に示すＰ１、Ｐ２を用いた場合の、ｎ＝１、ｋ＝１とした合成画像ＰＣ１を示す。
【００３０】
ｎ枚の画像を求める場合には、図２のフローチャートに示すように、まず、ｋ＝１とし（ステップＳ２）、式（１）による計算を実行し（ステップＳ３）、ｋに１を加えて（ステップＳ４）、ｋ＞ｎでなければ（ステップＳ５のＮｏ）新たなｋで式（１）の計算をし（ステップＳ３）、ｋ＞ｎであれば出力処理（ステップＳ６）に移行する。
【００３１】
ここで、仮に人間が動画と認識できる時間、すなわちこれより長い期間、同一の画像を見ると静止画と感じてしまう時間を１００ミリ秒とする。ｎ＝１の場合、画像Ｐ１を表示してから約１００ミリ秒以内に合成画像ＰＣ１に切り替え、さらに約１００ミリ以内に画像Ｐ２へと切り替える処理をステップＳ６において出力制御部１４の制御により出力部１３が実行する。これにより、Ｐ１からＰ２へと滑らかに変化している画像を画像表示装置３に出力でき、ユーザは滑らかに変化している画像を観測することができる。
【００３２】
上記のように同一の画像を見ると静止画と感じてしまう時間を１００ミリ秒とする場合において、Ｐ１からＰ２へと４００ミリ秒で変化させる場合には、従来のように、画像Ｐ１を４００ミリ秒表示させた後、画像Ｐ２を表示させると、画像Ｐ１が静止して見えるので、その動作は滑らかに見えない。
【００３３】
この場合には、ｎ＝４００÷１００−１＝３とし、上記式（１）にて、３枚の合成画像ＰＣ１からＰＣ３を生成する。Ｐ１とＰ２から計算されたＰＣ１からＰＣ３を図５（ａ）〜（ｃ）に示す。
【００３４】
この場合、出力制御部１４は、図３（ａ）の画像Ｐ１を１００ミリ秒表示後、図５（ａ）〜（ｃ）の画像を１００ミリ秒毎に切り替え、最後に図３（ｂ）の画像Ｐ２を出力させるように画像出力部１３を制御する。これにより、画像表示部３では４００ミリ秒の間にＰ１からＰ２へと滑らかに変化している画像を表示することができる。一般に、２枚の画像間で作成すべき合成画像の枚数ｎは、ある画像を表示してから次の画像を表示するまでの時間をｓとすると、あるパラメータ値ａを与え、ｎ＝ｓ÷ａ−１として求めることができる。ここで、ａは例えば上記のような１００ミリ秒である。
【００３５】
上記の方法では、式（１）に示すようにｋの値に比例させて画像Ｐ１と画像Ｐ２の合成比率を決めている。これにより簡易な計算方法により効果的な表示を行うことが可能となるが、ｋの値に比例させて合成比率を決める方法に代えて、人の輝度変化に対する応答特性を考慮した合成方法を用いることにより、より効果的な表示を行うことが可能である。
【００３６】
すなわち、人の輝度変化に対する応答は線形ではなく最初早く立ち上がり、やがて緩やかになる特性があり、正弦関数に近似できることが知られている（Ｒｕｓｓｅｌｌ  Ｌ．  Ｄｅ  Ｖａｌｏｉｓ，  Ｋａｒｅｎ  Ｋ．  Ｄｅ  Ｖａｌｏｉｓ，  “Ｓｐａｔｉａｌ  Ｖｉｓｉｏｎ”，  ＯＸＦＯＲＤ  ＰＳＹＣＨＯＬＯＧＹ  ＳＥＲＩＥＳ  ＮＯ．１４）。従って、上記式（１）の方法で画像合成をした場合、画像Ｐ１と画像Ｐ２とで輝度変化が大きい所では、その変化が滑らかに見えない場合も発生し得る。そこで、
画素値Ｐ１（ｘ，ｙ）における輝度をＬ１（ｘ，ｙ）、画像値Ｐ２（ｘ，ｙ）における輝度をＬ２（ｘ，ｙ）とし、
Ｌ１（ｘ，ｙ）≦Ｌ２（ｘ，ｙ）の時：
ＰＣｋ（ｘ，ｙ）＝Ｐ１（ｘ，ｙ）＋（Ｐ２（ｘ，ｙ）−Ｐ１（ｘ，ｙ））×ｓｉｎ（π／２×（ｎ−ｋ＋１）÷（ｎ＋１））
Ｌ１（ｘ，ｙ）＞Ｌ２（ｘ，ｙ）の時：
ＰＣｋ（ｘ，ｙ）＝Ｐ１（ｘ，ｙ）＋（Ｐ２（ｘ，ｙ）−Ｐ１（ｘ，ｙ））×（１−ｃｏｓ（π／２×（ｎ−ｋ＋１）÷（ｎ＋１）））    ・・・（２）
とした式（２）を用いて合成画像を求める。これにより輝度差が大きい部分でも滑らかに変化しているように見せるための合成画像を得ることができる。すなわち、正弦関数の変化のしかたに従って合成割合が変化するので、変化が滑らかに見える。図６（ａ）〜（ｃ）に、式（２）を用いた場合のｎ＝３としたときのＰＣ１からＰＣ３を示す。
【００３７】
さて、これまではＰ１とＰ２の２枚の画像間での変化を滑らかに見せる例について説明したが、２枚以上の画像でも、各々の画像の間に上記の方法により求めた合成画像を挟みながら画像を表示させることにより、被写体が滑らかに変化している画像を得ることができる。すなわち、図２のフローにおいて画像を連続的に入力していき（ステップＳ１）、連続する２枚の画像間でステップＳ２〜Ｓ５の処理を行い、順次入力画像と合成画像を出力する（ステップＳ６）。
【００３８】
例えば、被写体を角度Ｗ毎に全周囲から撮影したｍ（＝３６０÷Ｗ）枚の画像Ｐ１〜Ｐｍを用い、本発明の方法で合成した画像を間に挟みながら画像を表示させることにより、被写体が滑らかに回転している映像を得ることができる。
【００３９】
ここで、被写体をある角速度Ｖで回転させながら表示するとした場合、ある画像を表示してから次の画像を表示するまでの移行時間ｓ（ミリ秒）は、ｓ＝Ｗ÷Ｖとなる。同一の画像を見ると静止画と感じてしまう時間を１００ミリ秒とすることを前提にすれば、撮影画像間に挿入する合成画像枚数ｎは、ｎ＝ｓ÷１００−１で与えられる。
【００４０】
そして、出力制御部１４の制御により、画像Ｐ１を１００ミリ秒表示後、画像Ｐ１と画像Ｐ２から式（１）もしくは（２）により得られたｎ枚の合成画像を、１００ミリ秒間隔で順次表示させ、その後画像Ｐ２を１００ミリ秒表示させる。更に、画像Ｐ２、Ｐ３間、画像Ｐ３、Ｐ４間と順次同様に表示を行う。そして、画像Ｐｍを１００ミリ秒表示させた後、ＰｍとＰ１間の画像を同様に表示させる。この一連の処理を繰り返し行うことにより、被写体が角速度Ｖで滑らかに回転している映像を得ることができる。回転を停止させるときは、画像Ｐ１〜Ｐｍの何れか１枚が表示されるまで上記処理を行い、その画像が表示されたら、それを表示し続けることにより、被写体が停止した画像を得ることができる。なお、回転を停止させるには角速度Ｖを０とすればよい。
【００４１】
また、被写体をあらゆる全球面方向から撮影しておくことにより、被写体を任意の回転軸で回転させる映像を表示させることができる。その時、上記と同様に、表示させる撮影画像間に、回転速度に応じて本発明の方法で合成した画像を挿入して表示させることにより、被写体が滑らかに回転する画像を得ることができる。
【００４２】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【００４３】
【発明の効果】
以上説明したように、本発明によれば、少ない画像枚数で、被写体がゆっくりとした速度で滑らかに変化している画像を得ることができる。本発明の方法では従来のように２枚の撮影画像の対応点を求める必要がないので、実用的な方法を提供できる。
【図面の簡単な説明】
【図１】本発明の実施の形態における画像処理装置１の構成を示す図である。
【図２】画像処理装置１における処理のフローチャートを示す図である。
【図３】（ａ）は画像Ｐ１の例を示し、（ｂ）は画像Ｐ２の例を示す図である。
【図４】ｎ＝１のときの合成画像ＰＣ１を示す図である。
【図５】式（１）を用いて求めたｎ＝３のときの合成画像ＰＣ１〜ＰＣ３を示す図である。
【図６】式（２）を用いて求めたｎ＝３のときの合成画像ＰＣ１〜ＰＣ３を示す図である。
【符号の説明】
１  画像処理装置
２  撮影装置
３  画像表示装置
１１  画像入力部
１２  画像処理部
１３  画像出力部
１４  出力制御部
【図１】
2004265233.tif 000003
【図２】
2004265233.tif 000004
【図３】
2004265233.tif 000005
【図４】
2004265233.tif 000006
【図５】
2004265233.tif 000007
【図６】
2004265233.tif 000008