(57)【特許請求の範囲】
【請求項１】
撮像素子である第１の光学要素と第２の光学要素間の相対位置を所定の動作量で変化させる位置制御部と、
前記第１の光学要素からの画像信号を所定の間引き量で間引いて読出しを制御する読み出し制御部とを備え、
前記位置制御部は、前記間引き量に応じて前記動作量を切り替える
情報処理装置。
【請求項２】
前記第２の光学要素はレンズである
請求項１に記載の情報処理装置。
【請求項３】
前記動作量は、前記撮像素子における所定の画素からの連続する読み出しのタイミング間での動作量である
請求項１または２に記載の情報処理装置。
【請求項４】
前記第１の光学要素と第２の光学要素間の前記相対位置が変化する前後の少なくとも２つの画像に基づいて、合成画像を生成する画像生成部をさらに備える
請求項１から３のいずれかに記載の情報処理装置。
【請求項５】
前記合成画像は、前記２つの画像のいずれよりもローパス効果を有する画像である
請求項４に記載の情報処理装置。
【請求項６】
前記読み出し制御部は、前記画像信号を所定の間引き方向に間引いて読出しを制御し、
前記第１の光学要素と第２の光学要素の動作方向は、少なくとも前記間引き方向と同一な方向を含む
請求項１から５のいずれかに記載の情報処理装置。
【請求項７】
前記間引き量をスルー画の表示であるかまたは撮影の種類に応じて切り替える
請求項１から６のいずれかに記載の情報処理装置。
【請求項８】
前記撮影の種類は、動画撮影、静止画撮影またはローパスレス撮影のいずれかを含む
請求項７に記載の情報処理装置。
【請求項９】
前記位置制御部は、前記撮像素子と前記レンズ間の前記相対位置を、前記撮像素子または前記レンズのいずれか一方を動作させることで変化させる
請求項２に記載の情報処理装置。
【請求項１０】
前記位置制御部は、前記撮像素子と前記レンズ間の前記相対位置を、手ぶれ補正後の位置を基準にして変化させる
請求項２に記載の情報処理装置。
【請求項１１】
前記手ぶれ補正として前記撮像素子を動作させる場合、前記撮像素子の移動後の位置を基準にして前記相対位置を変化させる
請求項１０に記載の情報処理装置。
【請求項１２】
前記手ぶれ補正として前記レンズを動作させる場合、前記レンズの動作後の位置を基準にして前記相対位置を変化させる
請求項１０に記載の情報処理装置。
【請求項１３】
光学要素として、前記レンズから前記撮像素子の撮像面に至る光路上に設けられた光学部材をさらに含む
請求項２に記載の情報処理装置。
【請求項１４】
前記画像生成部は、前記動作量に基づいて、前記合成画像を生成する
請求項４に記載の情報処理装置。
【請求項１５】
前記画像生成部は、生成される画像の一部領域を更新する
請求項４に記載の情報処理装置。
【請求項１６】
前記一部領域は、モアレが発生した領域である
請求項１５に記載の情報処理装置。
【請求項１７】
前記画像生成部は、生成される画像における複数の前記一部領域を、それぞれ異なる周期で更新する
請求項１５または１６に記載の情報処理装置。
【請求項１８】
前記画像生成部は、複数のフレームの露光時間が異なる場合には、前記露光時間を同一または略同一にする処理を行ってから前記合成画像を生成する
請求項１４に記載の情報処理装置。
【請求項１９】
前記読出し制御部は、シャッタースピードの設定に応じて前記読出しを制御する
請求項１から１８のいずれかに記載の情報処理装置。
【請求項２０】
前記画像生成部は動画像を生成する
請求項４に記載の情報処理装置。
【請求項２１】
前記位置制御部は、前記撮像素子におけるローパス効果が発生しない第１の位置と、該第１の位置以外の第２の位置間を移動するように前記第１の光学要素と前記第２の光学要素間の相対位置を変化させる
請求項１に記載の情報処理装置。
【請求項２２】
撮像素子である第１の光学要素と第２の光学要素間の光学要素間の相対位置を所定の動作量で変化させ、
前記第１の光学要素からの画像信号を所定の間引き量で間引いて読出しを制御し、
前記間引き量に応じて前記動作量を切り替える
情報処理方法。
【請求項２３】
撮像素子である第１の光学要素と、
第２の光学要素と、
前記第１の光学要素と前記第２の光学要素間の相対位置を所定の動作量で変化させる位置制御部と、
前記第１の光学要素からの画像信号を所定の間引き量で間引いて読出しを制御する読み出し制御部とを備え、
前記位置制御部は、前記間引き量に応じて前記動作量を切り替える
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
撮像素子を用いて光学像を撮像する場合に、実際に存在しない模様であるモアレや色（偽色）が画像中に現れることがある。これらを低減するために光学像に含まれる所定周波数以上の周波数成分を除去する光学ローパスフィルタが用いられている。光学ローパスフィルタには、異なる光学特性を発生可能な可変光学ローパスフィルタがある。可変光学ローパスフィルタには、いわゆる液晶式と称されるものがある。また、可変光学ローパスフィルタには運動式と称されるものもある（特許文献１）。液晶式は、液晶の位相変化を利用したものであり、運動式は、部材の駆動によりレンズ、撮像素子などにおける結像位置を変化させることを利用したものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２６６６７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術は、光学部材と、光学部材および光学部材を透過した光束による光学像を撮像する撮像素子間に形成される空間の密閉性を保持するとともに、光学部材および撮像素子の相対角度を変更自在に支持する柔軟支持部材と、相対角度を変えるために光学部材を駆動するアクチュエータとを備える可変光学ローパスフィルタである。特許文献１に記載の技術においては、間引き処理の有無や間引きの度合いに応じて必要な像ズレ量を演算し、この像ズレ量を発生させるために必要な振幅を決定する。しかし、像ズレ量と振幅との関係だけでは、ローパスフィルタ効果を有する必須となる画素の情報が欠落してしまうという問題がある。
【０００５】
本技術はこのような問題点に鑑みなされたものであり、ローパスフィルタ効果を有する画像に必要な画素情報を欠落させることなくローパスフィルタ効果を有する画像を作成し、画像中におけるモアレの発生を防ぐ情報処理装置および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、第１の技術は、撮像素子である第１の光学要素と第２の光学要素間の相対位置を所定の動作量で変化させる位置制御部と、第１の光学要素からの画像信号を所定の間引き量で間引いて読出しを制御する読み出し制御部とを備え、位置制御部は、間引き量に応じて動作量を切り替える情報処理装置である。
【０００７】
また、第２の技術は、撮像素子である第１の光学要素と第２の光学要素間の光学要素間の相対位置を所定の動作量で変化させ、第１の光学要素からの画像信号を所定の間引き量で間引いて読出しを制御し、間引き量に応じて動作量を切り替える情報処理方法である。
【発明の効果】
【０００８】
本技術によれば、ローパスフィルタ効果を有する画像に必要な画素情報を欠落させることなくローパスフィルタ効果を有する画像を作成し、画像中におけるモアレの発生を防ぐことができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本技術に係る情報処理装置および撮像装置の構成を示すブロック図である。
【図２】図２Ａは、光学要素の構成を示す図であり、図２Ｂは、光学要素であるレンズの動作を示す図であり、図２Ｃは、光学要素である平板部の動作を示す図であり、図２Ｄは、光学要素である撮像素子の動作を示す図である。
【図３】図３Ａは、光学要素の動作による結合位置の変化の第１の例を示す図であり、図３Ｂは、結合位置の変化の第２の例を示す図であり、図３Ｃは、結合位置の変化の第３の例を示す図であり、図３Ｄは、結合位置の変化の第４の例を示す図である。
【図４】図４Ａ、図４Ｂ、図４Ｃ、図４Ｄおよび図４Ｅは、表示部にスルー画を表示させる際の処理の概要を示す図である。
【図５】図５は、画像中における非モワレ領域とモアレ領域における更新頻度の違いを示す図である。
【図６】図６は、撮影前において表示部にスルー画を表示させる際の処理の流れを示すフローチャートである。
【図７】図７は、撮影前において表示部にスルー画を表示させる際の処理の流れを示すフローチャートである。
【図８】図８は、撮影時における光学要素の動作を示す図である。
【図９】図９は、静止画撮影の処理の流れを示すフローチャートである。
【図１０】図１０は、静止画撮影の処理の流れを示すフローチャートである。
【図１１】図１１は、動画撮影時の処理の流れを示すフローチャートである。
【図１２】図１２は、動画撮影時の処理の流れを示すフローチャートである。
【図１３】図１３Ａは光学要素の動作の第１の例を示す図であり、図１３Ｂは光学要素の動作の第２の例を示す図であり、図１３Ｃは光学要素の動作の第３の例を示す図である。
【図１４】図１４Ａ、図１４Ｂおよび図１４Ｃは、センサーシフトによる手ぶれ補正と結像位置の関係を示す概略側面図である。
【図１５】図１５は、センサーシフトによる手ぶれ補正と結像位置の関係を示す概略正面図である。
【図１６】図１６Ａ、図１６Ｂおよび図１６Ｃは、レンズシフトによる手ぶれ補正と結像位置の関係を示す概略側面図である。
【図１７】図１７は、レンズシフトによる手ぶれ補正と結像位置の関係を示す概略正面図である。
【図１８】図１８Ａおよび図１８Ｂは、撮像素子の画素からの画像信号の読み出しについて説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１−１．情報処理装置および情報処理装置を備える撮像装置の構成］
［１−２．光学要素の動作とローパス効果画像の作成処理］
［１−３．情報処理装置および撮像装置におけるスルー画表示処理］
［１−４．情報処理装置および撮像装置における静止画撮影処理］
［１−５．情報処理装置および撮像装置における動画撮影処理］
＜２．変形例＞
【００１１】
＜１．実施の形態＞
［１−１．情報処理装置および情報処理装置を備える撮像装置の構成］
まず、第１の実施の形態に係る情報処理装置３１および情報処理装置３１の機能を備える撮像装置１の構成について説明する。図１は撮像装置１および情報処理装置３１の構成を示すブロック図である。
【００１２】
情報処理装置３１は、露出設定部３２、位置制御部３３、読み出し制御部３４、画像生成部３５とから構成されている。情報処理装置３１は、例えば、撮像装置１において動作するものである。情報処理装置３１は撮像装置１が備えるアクチュエータ１９に接続されており、アクチュエータ１９に所定の制御信号を送信することにより、アクチュエータ１９の動作を制御する。アクチュエータ１９の動作により撮像装置１が備える撮像素子１２における結像位置が変化する。
【００１３】
撮像装置１は、レンズ１０、平板部１１、撮像素子１２、Ａ／Ｄ（Analog/Digital）変換部１３、画像処理部１４、画像メモリ１５、入力部１６、表示部１７、記憶部１８、アクチュエータ１９、制御部２０、データバス２１とから構成されている。なお、制御部２０は、情報処理装置３１として機能する。
【００１４】
レンズ１０は、被写体からの光を撮像素子１２に集光するための撮影レンズである。なお、図示は省略するが、レンズ１０を移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などがレンズ１０を含む光学撮像系として撮像装置１内に設けられている。レンズ１０を介して得られた被写体の光画像は、撮像素子１２上に結像される。
【００１５】
平板部１１は、レンズ１０と撮像素子１２との間に設けられている光学部材である。平板部１１としては、光学フィルタ、ＡＲ（Anti Reflection）コート、吸収ガラスなどがある。本技術においては、平板部１１はそれらのうちのいずれであってもよい。
【００１６】
撮像素子１２は、被写体からの入射光を光電変換して電荷量に変換し、アナログ撮像信号として出力する。撮像素子１２から出力されるアナログ撮像信号はＡ／Ｄ変換部１３に出力される。撮像素子１２としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。
【００１７】
レンズ１０、平板部１１および撮像素子１２は特許請求の範囲における光学要素に相当するものである。
【００１８】
Ａ／Ｄ変換部１３は、入力されたアナログ撮像信号に対してＡ／Ｄ変換処理を行ってデジタル画像信号として出力する。画像処理部１４は、ＣＤＳ（Correlated Double Sampling）処理、ＡＧＣ（Auto Gain Control）処理、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理などの所定の信号処理を画像信号に対して施す。
【００１９】
画像メモリ１５は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成されるバッファメモリである。画像メモリ１５は、画像処理部１４によって所定の処理が施された画像データ、情報処理装置３１の画像生成部３５により作成された画像などを一時的に蓄えておくものである。
【００２０】
入力部１６は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、表示部１７と一体に構成されたタッチスクリーンなどからなる。入力部１６に対して入力がなされると、その入力に応じた制御信号が生成されて制御部２０に出力される。そして、制御部２０はその制御信号に対応した演算処理や制御を行う。
【００２１】
表示部１７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部１７には、撮像装置１のユーザインターフェース、メニュー画面、撮像中のスルー画、記憶部１８に記録された撮影済み画像、撮影済み動画などが表示される。
【００２２】
記憶部１８は、例えば、ハードディスク、メモリスティック（ソニー株式会社の登録商標）、ＳＤメモリカードなどの大容量記憶媒体である。画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。動画は、例えば、ＭＰＥＧ２（Moving Picture Experts Group2）、ＭＰＥＧ４などの形式で保存される。
【００２３】
アクチュエータ１９は、情報処理装置３１からの制御信号に従い動作することにより、光学要素であるレンズ１０、平板部１１、撮像素子１２のいずれかを動作させる駆動部である。アクチュエータ１９の動作による結像位置の変化については後述する。
【００２４】
制御部２０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１全体の制御を行う。
【００２５】
さらに、制御部２０は所定のプログラムを実行することにより、情報処理装置３１を構成する露出設定部３２、位置制御部３３、読み出し制御部３４、画像生成部３５として機能する。そのプログラムは、予め撮像装置１内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。また、それらの構成は、プログラムによって実現されるのみでなく、それぞれの機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
【００２６】
露出設定部３２は、自動露出（ＡＥ：Auto  Exposure）のために、測光センサまたは撮像素子１２の測光機能により行われる測光の結果に基づいて被写体の撮影に最適な露光時間を設定する。露光時間の設定は、例えば、測光により得られた光量と、シャッタースピードの組み合わせパターンをテーブルとして予め保持しておき、そのテーブルを参照することにより測光結果に対応したシャッタースピードを自動的に求めることにより露光時間を設定する。
【００２７】
位置制御部３３は、ローパスフィルタを用いて撮影した画像と同様のローパス効果を備える画像（以下、ローパス効果画像と称する。）の作成の有無および露出設定部３２により設定された露光時間に基づき、さらに画素からの画像信号の読み出しタイミングを考慮して光学要素の動作量を決定する。スルー画表示の際には画素からの読み出し方式（画素間引き、画素加算、全画素読み出し）に合わせて「ｎ画素（ｎ×ｄ）」分、光学要素を動作させるよう動作量を決定する。また、撮影時には分離幅ｄ（≒画素ピッチ）に合わせて光学要素を動作させるように動作量を決定する。
【００２８】
そして、位置制御部３３は、光学要素に含まれるレンズ１０、平板部１１、撮像素子１２のいずれか一つ以上をアクチュエータ１９の駆動により動作させるために、アクチュエータ１９に所定の制御信号を送信する。例えば、ローパス効果画像を作成せずに通常の画像のみを作成する場合は、１回露光で結像位置が画素上の往復動作はせず片道動作となるように設定される。一方、ローパス効果画像および通常の画像を作成する場合は２回露光で結像位置が画素上を往復動作するように設定される。
【００２９】
読み出し制御部３４は、撮像素子１２の画素からの画像信号の読み出しを制御するものである。例えば、読み出し制御部３４は、撮像装置１におけるシャッタースピードの設定に応じて読み出し頻度を調整し、画素からの画像信号の読み出しを行う。読み出された画像信号は画像生成部３５に供給される。
【００３０】
画像生成部３５は種々の画像を生成する。具体的には、画素の間引き量と、光学要素の相対位置を変化させるアクチュエータ１９の駆動周波数とに基づいて、２以上のフレームに対して画素加算合成処理を行うことによりローパス効果画像を作成する。また、２以上のフレーム間で露光時間が異なる場合には、露光時間が概ね同一となるように重み付け処理を行ってから画素加算合成処理によりローパス効果画像を作成する。画素の間引き量、アクチュエータ１９の駆動周波数の詳細については後述する。また、撮像素子１２の画素から読み出された画像信号から得られるフレームを用いて、スルー画として表示するスルー画像、最終的に撮影により得られる画像である撮影済画像を作成する。また、撮像装置１の撮影モードが動画撮影である場合には、最終的に撮影により得られる動画を作成する。
【００３１】
表示部１７における撮影中のスルー画表示、撮影後における撮影済み画像の表示、動画の表示などの表示制御は制御部２０により行われる。
【００３２】
情報処理装置３１および撮像装置１は以上のようにして構成されている。
【００３３】
［１−２．光学要素の動作とローパス効果画像の作成処理］
次に撮像装置１および情報処理装置３１によって行われる処理について説明する。まず、図２を参照して結像位置を変化させるための光学要素の動作について説明する。位置制御部３３は、光学要素に相当するレンズ１０、平板部１１、撮像素子１２のいずれか一つ以上をアクチュエータ１９の駆動により動作させる制御を行う。図２Ａはレンズ１０、平板部１１、撮像素子１２の位置関係を示す図である。図２Ｂは、レンズ１０を動作させることにより被写体像の結像位置を変化させている状態を示したものである。レンズ１０を動作させる場合は、レンズ１０の傾きを変化させることにより被写体像の結像位置を変化させる。
【００３４】
図２Ｃは、平板部１１を動作させることにより被写体像の結像位置を変化させている状態を示したものである。平板部１１を動作させる場合は、平板部１１の傾きを変化させることにより被写体像の結像位置を変化させる。上述したように、平板部１１は例えば、光学フィルタ、ＡＲコート、吸収ガラスなどである。図２Ｄは、撮像素子１２を動作させることにより被写体像の結像位置を変化させている状態を示したものである。撮像素子１２を動作させる場合は、撮像素子１２の鉛直方向の位置を変化させることにより被写体像の結像位置を変化させる。撮像素子１２においては、撮像装置１が備える手ぶれ補正機能を用いて撮像素子１２を動作させて結像位置を変化させるようにしてもよい。
【００３５】
次に図３を参照して、光学要素の動作による結像位置の変化について説明する。なお、図３において撮像素子１２は撮像素子を構成する個々の画素を示してある。図３Ａは、第１の例である４画素間引き（加算）を示す図である。軸上被写体で、軸上の光線と、光学要素の動作により生じた結像位置がずれた光線との分離した距離である分離幅ｄは４画素分となっている。この４画素間引き（加算）は例えば、スルー画の表示において用いられる。図３Ｂは、第２の例である３画素間引き（加算）を示す図である。分離幅ｄは３画素分となっている。この３画素間引き（加算）は例えば、動画撮影において用いられる。
【００３６】
図３Ｃは、第３の例である通常静止画撮影を示す図である。この通常静止画は例えば、偽解像防止などに用いられる。この第３の例においては、分離幅ｄは画素と概ね同一の１画素分となっている。図３Ｄは、第４の例であるローパスレス撮影を示す図である。このローパスレス撮影は光学要素の運動が行われない状態であり、解像度の低下を招かないため、解像度を重視した撮影において用いられる。なお、図３Ａ乃至図３Ｄにおいては中心画素を用いて説明を行っているが、どの位置に画素でも同様である。
【００３７】
次に図４を参照して、撮影前において表示部１７にスルー画を表示させる際の処理について説明する。図４は、表示部１７にスルー画を表示させる際の処理の概要を示す図である。
【００３８】
なお、下記の説明においては、撮像素子１２の画素からの画像信号の読み出し周波数は１２０fps（Frames Per Second）であり、アクチュエータ１９の駆動周波数は１０fpsであるものとして説明を行う。ただし、本技術はこの読み出し周波数と駆動周波数の値に限定されるものではなく、他の読み出し周波数、駆動周波数においても実施可能である。
【００３９】
図４においては、レンズ１０が動作することにより結像位置が変化する場合を例にして説明を行う。図４Ａ、図４Ｂ、図４Ｃ、図４Ｄ、図４Ｅはそれぞれ、レンズ１０の傾きによって結像位置が異なっている状態を示すものである。図４Ａを位置Ａ、図４Ｂを位置Ｂ、図４Ｃを位置Ｃ、図４Ｄを位置Ｄ、図４Ｅを位置Ｅとそれぞれ称する。
【００４０】
アクチュエータ１９の駆動周波数は１０fpsであるため、１秒間において図４中の（１）〜（１０）の順序で結像位置は遷移する。ローパス効果画像を作成するためには、必須の分離幅をために少なくとも上部の位置Ａと下部の位置Ｅにおけるフレームが必要となる。撮像素子１２の読み出し周波数は１２０fpsであるため、画素からの読み出しを１２回行うと、位置Ａと位置Ｅにおけるフレームを１つずつ取得することができる。
【００４１】
そして、位置Ａと位置Ｅにおけるフレームの露光時間が異なる場合には、画像生成部３５は、露光時間が同一または概ね同一になるように重み付けを行ってから画素加算合成を行うことによりローパス効果画像を作成する。なお、露光時間が同一または概ね同一である場合には、重み付け処理は不要である。
【００４２】
例えば、２つのフレームのうちの一方である位置Ａのフレームの露光時間に対して予め所定の上側閾値と下側閾値を設定しておき、他方のフレームである位置Ｅの露光時間がその閾値の範囲内にある場合には、露光時間が概ね同一とすることができる。なお、位置Ｅの露光時間に対して閾値を設定し、位置Ａの露光時間がその閾値の範囲内にある場合に露光時間が概ね同一としてもよい。位置Ａ、位置Ｅの限らず、その他の位置のフレームであってもこの方法で露光時間が概ね同一であるか否かを判断することができる。
【００４３】
そして、図５に示されるように、スルー画表示または動画撮影において画像生成部３５は、画像中のモアレがない非モアレ領域については撮像素子１２の読み出し周波数である１２０fpsで画像を更新する。一方、画像中の一部領域であり、モアレが発生しているモアレ領域については、ローパス効果画像を１０fpsで更新する。よって、非モアレ領域は１２０fpsで高速に画像を更新し続けるが、それに対して、モアレ領域は１０fpsで非モアレ領域よりも遅い頻度で画像の更新を行う。これにより、モアレ領域においては、モアレが生じていないローパス効果画像で更新され続けるので、モアレのないスルー画表示および動画撮影を実現することができる。
【００４４】
ここで、ローパス効果画像の作成について説明する。まず、複数のフレームの露光時間が異なる場合、露光時間が同一または概ね同一となるように重み付けを行う。例えば、図４Ａに示される位置Ａにおける露光時間が２ｔ、図４Ｂに示される位置Ｂにおける露光時間が２ｔ、図４Ｃに示される位置Ｃにおける露光時間が２ｔ、図４Ｄに示される位置Ｄにおける露光時間が２ｔ、図４Ｅに示される位置Ｅにおける露光時間がｔである場合を考える。光学要素の一方向への運動径路である位置Ｂ、Ｃ、Ｄと、折り返し地点であるＡ、Ｅとでは露光時間に差が出ることがあり得る。この場合、ローパス効果画像の作成に用いられる位置Ａと位置Ｅにおけるフレームに位置Ｂまたは位置Ｃまたは位置Ｄの露光時間の２倍の重み付けを行ってから、画素加算合成を行ってローパス効果画像を作成する。具体的には、画素加算合成結果をＰ１とし、位置Ａの露光時間をＡ、位置Ｅの露光時間をＥとすると、下記の式（１）からローパス効果画像を作成する。
【００４５】
［数１］
Ｐ１＝{（Ａ／２）＋Ｅ}／２・・・・（１）
【００４６】
また、例えば、図４Ａに示される位置Ａにおける露光時間が３ｔ、図４Ｂに示される位置Ｂにおける露光時間がｔ、図４Ｃに示される位置Ｃにおける露光時間がｔ、図４Ｄに示される位置Ｄにおける露光時間がｔ、図４Ｅに示される位置Ｅにおける露光時間が２ｔである場合を考える。この場合、ローパス効果画像の作成に用いられる位置Ａと位置Ｅにおけるフレームに重み付けを行って露光時間を同一または概ね同一としてから、画素加算合成を行ってローパス効果画像を作成する。具体的には、画素加算合成結果をＰ２とし、位置Ａの露光時間をＡ、位置Ｅの露光時間をＥとすると、下記の式（２）となる。
【００４７】
［数２］
Ｐ２＝{（Ａ／３）＋（Ｅ／２）}／２・・・・（２）
【００４８】
すなわち、ローパス効果画像の作成に用いられる位置Ａの露光時間がＸｔであり、位置Ｅにおける露光時間をＹｔである場合、下記の式（３）を用いて重み付けを行って露光時間を同一または概ね同一としてから、画素加算合成を行ってローパス効果画像を作成する。画素加算合成結果はＰとする。なお、露光時間が同一または概ね同一である場合には重み付け処理は不要である。
【００４９】
［数３］
Ｐ＝{（Ｘｔ／Ｘ）＋（Ｙｔ／Ｙ）}／２・・・・（３）
【００５０】
［１−３．情報処理装置および撮像装置におけるスルー画表示処理］
次に、撮影前において表示部１７にスルー画を表示させる際の処理について説明する。図６および図７は、撮影前における表示部１７にスルー画を表示させる際の処理のフローチャートである。まずステップＳ１０で、情報処理装置３１は、表示部１７における画像の表示の際の間引き数Ｎを取得する。
【００５１】
次にステップＳ１１で、位置制御部３３により光学要素の動作量が決定される。位置制御部３３は、読み出される画素の間引き量に応じて必要な結像位置のずれ量を算出し、そのずれ量を発生させるために必要な光学要素の動作量を求める。光学要素を動作させるのはアクチュエータ１９であるため、この光学要素の動作量からアクチュエータ１９の振動周波数が決定される。さらに、Ｎ間引き（画素加算）処理の有無、画素加算の度合いなどに応じて必要な結像位置のずれ量を算出することにより、光学要素の動作量を求めるようにしてもよい。
【００５２】
次にステップＳ１２で、位置制御部３３によりローパス効果画像の作成に必要な画素の露光時間（電荷蓄積時間）が決定される。なお、上述したように、ローパス効果画像作成にためには位置Ａと位置Ｅにおける露光時間が概ね同一となる必要が有るため、そのように露光時間を設定する。
【００５３】
次にステップＳ１３で、位置制御部３３は、ステップＳ１１で算出された動作量に基づいた制御信号をアクチュエータ１９に送信することによりアクチュエータ１９の駆動を開始させる。このアクチュエータ１９の駆動により光学要素の動作が開始される。光学要素の動作とは、レンズ１０または平板体１１を動作させて撮像素子１２との相対角度を変化させることにより撮像素子１２における結像位置を移動させること、または、撮像素子１２を動作させることにより撮像素子１２における結像位置を移動させることである。なお、光学要素の動作は、撮像素子１２の露光および画像信号読み出しタイミングに合わせることで位置Ａと位置Ｅの露光時間を概ね同一にすることができる。
【００５４】
次にステップＳ１４で、撮像装置１における露光が開始され、露光時間経過後ステップＳ１５で露光が終了となる。次にステップＳ１６で、情報処理装置３１により撮像素子１２の画素からの画像信号の読み出しが行われる。なお、画像信号の読み出しの際に露光時間の読み出しも行われる。読み出した露光時間は読み出し元の画素と対応付けて画像メモリ１５などに保存しておくとよい。
【００５５】
次にステップＳ１７で、ステップＳ１６で行われた画像信号の読み出しが１回目の読み出しであるか否かが判定される。１回目の読み出しである場合、処理はステップＳ２０に進む（ステップＳ１７のＹｅｓ）。
【００５６】
次にステップＳ２０で、読み出しにより位置Ａにおけるフレームまたは位置Ｅにおけるフレームが得られたか否かが判定される。位置Ａにおけるフレームまたは位置Ｅにおけるフレームである場合、処理はステップＳ２１に進む（ステップＳ２０のＹｅｓ）。
【００５７】
次にステップＳ２１で、位置Ａにおけるフレームまたは位置Ｅにおけるフレームがメモリに保存される。この場合のメモリは画像メモリ１５でもよいし、制御部２０を構成するＲＡＭでもよいし、記憶部１８であってもよい。そしてステップＳ２２で、位置Ａと位置Ｅの両方のフレームが得られたか否かが判定される。位置Ａと位置Ｅの両方のフレームが得られていない場合、処理はステップＳ１４に進む（ステップＳ２２のＮｏ）。そして再び、露光開始、露光終了、画像信号の読み出しが行われ、位置Ａと位置Ｅのフレームの両方が得られるまでステップＳ１４乃至ステップＳ２２が繰り返される。
【００５８】
なお、２回目以降の画像信号の読み出し後においては、ステップＳ１７で１回目の読み出しではないと判定されるため、全ての処理はステップＳ１８に進む（ステップＳ１７のＮｏ）。次にステップＳ１８で、直近に読み出しが行われた位置におけるフレームと、それ以前に読み出しが行われた位置におけるフレームの露光時間が概ね同一であるか否かが判定される。露光時間が概ね同一である場合、処理はステップＳ２０に進む（ステップＳ１８のＹｅｓ）。一方、露光時間が概ね同一ではない場合、処理はステップＳ１９に進み、露光時間を概ね同じになるように重み付け処理が行われる。
【００５９】
ステップＳ２２で、位置Ａと位置Ｅのフレームが得られたと判定された場合、処理はステップＳ２３に進む（ステップＳ２２のＹｅｓ）。そして、ステップＳ２３で、画像生成部３５により、位置Ａと位置Ｅのフレームから画像全体のローパス効果画像が作成される。作成されたローパス効果画像はステップＳ２４でメモリに保存される。
【００６０】
一方、ステップＳ２０で、得られたフレームが位置Ａまたは位置Ｅにおけるものではないと判定された場合、処理はステップＳ２５に進む（ステップＳ２０のＮｏ）。位置Ａまたは位置Ｅにおけるフレームではない場合、それは位置Ｂ、位置Ｃ、位置Ｄのうちのいずれかにおけるフレームである。ステップＳ２５でその位置Ａ、位置Ｅ以外の位置におけるフレームがメモリに保存される。
【００６１】
そしてステップＳ２６で画像生成部３５によって、その位置Ａ、位置Ｅ以外の位置におけるフレームから全体画像が作成される。作成された全体画像はステップＳ２７でメモリに保存される。この全体画像はローパス効果を有する画像ではない、高解像度の画像である。
【００６２】
次にステップＳ２８で、ローパス効果画像および全体画像が作成されたか否かが判定される。作成されていない場合、処理はステップＳ１４に進む（ステップＳ２８のＮｏ）。再びステップＳ１４からの処理で露光開始、露光終了、画像信号読み出し、画像作成が行われる。そしてステップＳ２８で、ローパス効果画像および全体画像が作成されたと判定された場合、処理はステップＳ２９に進む（ステップＳ２８のＹｅｓ）。
【００６３】
次にステップＳ２９で、全体画像に対してモアレ検出処理が行われる。画像中からモアレ領域を検出する手法としては、例えば、画像データに対してデジタルフーリエ変換処理を施し、ナイキスト周波数付近の周波数が存在する画像中の領域を見つけて、それをモアレ領域とする手法がある。さらに、撮像装置１が備えるいわゆるシーン認識機能、被写体検出機能などを用いて、例えば人工物などの高周波の繰り返しパターンを有する領域を検出し、その検出結果を加味することでモアレ領域検出の精度を高めることができる。
【００６４】
また、撮影画像の中から任意に基準画像を設定し、基準画像と撮影画像の画像データに含まれる空間周波数成分に高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を施して比較することにより撮影画像にモアレが発生したか否かを判定することも可能である。
【００６５】
次にステップＳ３０で画像生成部３５によりスルー画像が作成され、ステップＳ３１でスルー画が表示部１７に表示される。表示部１７におけるスルー画の表示の際には、制御部２０による表示制御が行われる。
【００６６】
この、全体画像の作成、ローパス効果画像の作成、モアレ領域検出およびスルー画表示が画像の撮影前においてスルー画表示が継続している限り繰り返して行われる。スルー画の表示においては、図５に示されるように、画像中のモアレがない非モアレ領域においては撮像素子１２からの画像信号の読み出し周波数である１２０fpsで画像を更新していく。これにより、高速で滑らかなスルー画表示を実現することができる。なお、非モアレ領域撮像素子１２からの読み出し周波数と表示部１７の表示周波数のうち、いずれか遅い方に合わせて画像を更新するようにしてもよい。
なお、
【００６７】
一方、画像中のモアレがあるモアレ領域においてはローパス効果画像を表示し、アクチュエータ１９の駆動周波数である１０fpsで画像を更新していく。モアレ領域は非モアレ領域よりも遅い更新頻度で画像を更新するので、次のローパス効果画像が作成されるまで同じローパス効果画像を表示し続けることとなる。モアレ領域においては、モアレを除去したローパス効果画像を表示することにより、モアレのないスルー画をユーザに提示することができる。
【００６８】
一方、撮像素子１２からの画像信号の読み出し周波数がアクチュエータ１９の駆動周波数以下の場合（遅い場合）には、作成されたローパス効果画像を表示部１７の表示周波数に従ってスルー画として表示する。
【００６９】
なお、例えば被写体がビルなど建物で、動きがない静体である場合にはモアレ領域、非モアレ共に画像表示の更新頻度を下げるようにしてもよい。なぜなら、被写体に動きがないため、画像の更新を速い速度で行っても被写体に変化がほとんどないからである。
【００７０】
なお、画像生成部３５は、画像中においてモアレ領域が複数ある場合、その複数のモアレ領域のそれぞれを異なる周期で更新するようにしてもよい。例えば、一のモアレ領域が上述したような動きがない静体であり、他のモアレ領域が動体である場合、静体のモアレ領域の更新頻度を動体のモアレ領域の更新頻度よりも低くするということが考えられる。
【００７１】
なお、スルー画には非モアレ領域とローパス効果画像が表示されるモアレ領域が混在しているため、非モアレ領域とローパス効果画像の境界は所定のぼかし用フィルタ、対象画素の色を周囲の画素の平均とする処理、またはその他の画像処理により滑らかにして境界をぼかすようにしてもよい。
【００７２】
［１−４．情報処理装置および撮像装置における静止画撮影処理］
次に、撮影時における撮像装置１および情報処理装置３１による処理について説明する。なお、下記の説明は静止画を撮影する場合を例としたものである。図８は、撮影時における処理の概要を示す図である。なお、下記の説明においては撮像素子１２の読み出し周波数は１２０fps（Frames Per Second）であり、アクチュエータ１９の駆動周波数は１０fpsであるものとして説明を行う。ただし、本技術はこの読み出し周波数と駆動周波数に限定されるものではなく、他の読み出し周波数、駆動周波数においても実施可能である。
【００７３】
図８は、撮影時における光学要素の動作と結像位置の変化を示す図である。図８においては、レンズ１０が動作することにより結像位置が変化する場合を例にして説明を行う。
【００７４】
まず、撮像素子１２または測光センサなどにより測光を行い、露出設定部３２により適正露光時間ｔが算出される。適正露光時間ｔが求めた後撮影が開始される。ここで、撮影時の露光動作の第１の例について説明する。第１の例においては、露光中にはアクチュエータ１９により、結像位置を図８に示す位置Ｃから位置Ｄ、そして位置Ｄから位置Ｃに移動するように光学要素を動作させる。なお、図８に示す位置Ｃは、被写体光が直線状であり略垂直に撮像素子１２へ向かう、ローパス効果を発生させない位置である。位置Ｃと位置Ｄとで概半分ずつの露光時間となるように光学要素を動作させる。
【００７５】
第１の例では、位置Ｃにおいては露光時間が１／４ｔとなり、位置Ｄにおいては露光時間が２／４ｔとなり、さらに位置Ｃにおいては露光時間が１／４ｔとなるように光学要素を動作させる。このように各位置での露光時間を設定することにより、適正露光時間ｔの間に結像位置は位置Ｃから位置Ｄ、そして位置Ｄから位置Ｃへと移動することになる。このように光学要素を動作させる場合、露光中の被写体の明るさ変化を平均化できるという利点がある。
【００７６】
次に露光動作の第２の例について説明する。第２の例においては、露光中にアクチュエータ１９により、結像位置が図８に示す位置Ｃから位置Ｄに移動するように光学要素を動作させる。また、位置Ｃにおいては露光時間が１／２ｔとなり、位置Ｄにおいては露光時間が１／２ｔとなるように光学要素を動作させる。このように各位置での露光時間を設定することにより、適正露光時間ｔの間に結像位置は位置Ｃから位置Ｄへと移動することになる。このように光学要素を動作させる場合、第１の例に比べて、露光中の光学要素の動作量が減るため、撮像装置１における電力消費を抑えることができるという利点がある。
【００７７】
さらに、第３の例においては、アクチュエータ１９により、露光中に結像位置が位置Ｃと位置Ｄを繰り返すように移動するよう光学要素を動作させる。また、位置Ｃにおける露光時間が（１／２）×（ｔ／ｎ）、位置Ｄにおける露光時間が（１／２）×（ｔ／ｎ）となるように光学要素を動作させる。ｎは画素数である。この第３の例によれば、上述した第１の例よりも露光中の被写体の明るさ変化を平均化することができる。
【００７８】
そして、露光が終了したら位置Ｃと位置Ｄにおけるフレームからローパス効果画像を作成する。ローパス効果画像の作成は上述した方法と同様の方法であり、露光時間が概ね同一になるように重み付けを行いつつ、画素加算合成により行う。なお、位置Ｃにおけるフレームからローパス効果のない高解像度の画像を作成して、保存するようにしてもよい。なお、位置Ｃにおけるフレームから画像を作成して保存するか否かはユーザが選択できるようにしてもよい。
【００７９】
次に、静止画撮影時の処理の流れについて説明する。図９および図１０は、静止画撮影時における処理を示すフローチャートである。まずステップＳ１０１で測光が行われる。なお、測光は撮像素子１２で行うようにしてもよいし、測光専用の測光センサを撮像装置１に設けて、その測光センサで行うようにしてもよい。次にステップＳ１０２で、測光の結果に基づいて適正露光時間が算出される。次にステップＳ１０３で、ローパス効果画像を用いた撮影（以下、ローパス効果撮影と称する。）を行うか否かの判定が行われる。この判定は、例えば、ユーザからローパス効果撮影を指示する入力がなされたか否かに基づいて判定することができる。ローパス効果撮影が行われない場合、処理はステップＳ１０４に進む（ステップＳ１０３のＮｏ）。
【００８０】
そして、ステップＳ１０４で光学要素をローパス効果を発生させない位置Ｃに合わせて、位置Ｃにおいて画像１枚の撮影を行う。上述したように、位置Ｃは、被写体光が直線状であり略垂直に撮像素子１２へ向かう、ローパス効果を発生させない位置である。ローパス効果を発生させないため解像度の低下を招かず、解像度重視の撮影に用いられる。
【００８１】
一方、ステップＳ１０３でローパス効果撮影を行うと判定された場合、処理はステップＳ１０５に進む（ステップＳ１０３のＹｅｓ）。次にステップＳ１０５で、光学要素の動作量が算出される。この動作量は第１の例から第３の例で上述したようにしたように位置Ｃと位置Ｄとで概同じ露光時間となるように算出する。次にステップＳ１０６で、アクチュエータ１９の動作を制御することにより光学要素をローパス効果が発生しない位置に移動させる。ローパス効果が発生しない位置とは、上述した位置Ｃのように被写体光が屈折することなく撮像素子１２に直線状で略垂直に入射する位置である。
【００８２】
次にステップＳ１０７で、露光が開始され、露光時間経過後ステップＳ１０８で露光が終了となる。次にステップＳ１０９で撮影が１枚撮影であるか否かが判定される。これは例えば、ユーザにより設定された撮影モードが１枚撮影であるか２枚撮影であるかを参照することにより行うことができる。１枚撮影ではない場合、処理はステップＳ１１０に進む（ステップＳ１０９のＮｏ）。
【００８３】
ステップＳ１１０で位置Ｃの画像信号が読み出される。さらに、ステップＳ１１１で位置Ｄの画像信号が読み出される。
【００８４】
次にステップＳ１１２で画像生成部３５により位置Ｃと位置Ｄにおけるフレームからローパス効果画像が作成され、ステップＳ１１３でそのローパス効果画像をメモリに保存する。ローパス効果画像の作成は上述したように画素加算合成により行われる。
【００８５】
説明はステップＳ１０９に戻る。ステップＳ１０９で１枚撮影であると判定された場合、処理はステップＳ１１４に進む（ステップＳ１０９のＹｅｓ）。次にステップＳ１１４で、位置Ｃと位置Ｄとで露光時間が概ね同一であるか否かが判定される。分離幅が１画素分である位置Ｃと位置Ｄにおけるフレームを用いることにより、上述したようにローパス効果付きの通常静止画を作成することができる。
【００８６】
ステップＳ１１４で位置Ｃと位置Ｄの露光時間が概ね同一ではないと判定された場合、処理はステップＳ１１５に進む（ステップＳ１１４のＮｏ）。この場合、ステップＳ１１５で位置Ｃの画像信号が読み出される。さらに、ステップＳ１１６で位置Ｄの画像信号が読み出される。
【００８７】
そしてステップＳ１１７で、画像生成部３５により位置Ｃと位置Ｄにおける露光時間が同じになるように重み付け処理が行われ、ステップＳ１１８で、重み付け処理がなされた位置Ｃと位置Ｄにおけるフレームからローパス効果画像が作成される。ステップＳ１１９でそのローパス効果画像をメモリに保存する。ローパス効果画像の作成は上述したように画素加算合成により行われる。
【００８８】
説明はステップＳ１１４に戻る。ステップＳ１１４で位置Ｃと位置Ｄの露光時間が概ね同一であると判定された場合、処理はステップＳ１２０に進む（ステップＳ１１４のＹｅｓ）。次にステップＳ１２０で光学要素の動作により、１枚の画像撮影中に位置Ｃから位置Ｄへ結像位置を移動させてその画像信号を読み出す。次にステップＳ１２１で、画像信号を読み出した位置におけるフレームから画像生成部３５によりローパス効果画像が作成される。そして、ステップＳ１１２でそのローパス効果画像をメモリに保存する。ローパス効果画像の作成は上述したように画素加算合成により行われる。このステップＳ１２０乃至ステップＳ１２２のフローは１枚撮影でローパス効果画像を作成するものである。
【００８９】
このようにして、ローパス効果を備えモアレを解消した画像を得ることができる。なお、位置Ｃにおけるフレーム、位置Ｄにおけるフレームそれぞれから画像を作成して保存するようにしてもよい。被写体光が屈折することなく撮像素子１２に直線状で略垂直に入射し、ローパス効果が発生しない位置である位置Ｃにおけるフレームからはローパス効果のない高解像度の画像を得ることができる。
【００９０】
以上のようにして本技術における静止画撮影処理が行われる。本技術によれば、ローパス効果画像の作成に必要な画素の情報が欠落することがない。また、読み出す位置における露光時間が異なるとローパス効果画像を作成することができないが、本技術においては露光時間が同一または概ね同一となるように光学要素を動作させるため、ローパス効果画像を作成できないということがない。また、露光時間が異なっても露光時間が同一または概ね同一となるように重み付け処理を行った後にローパス効果画像の作成を行うため、ローパス効果画像を作成できないということがない。
【００９１】
また、撮像素子１２からの読み出し速度を落とさずに、アクチュエータ１９の駆動周波数よりも速い周波数（撮像素子１２の読み出し周波数または表示部１７の表示周波数）でスルー画表示を行うことができるため、高速で滑らかなライブビューにおけるスルー画表示および動画撮影が可能となる。また、スルー画、動画においてモアレが発生している領域はモアレが解消したローパス効果画像を表示させるため、モアレがなく高速でなめらかなスルー画表示や撮影を行うことが可能となる。
【００９２】
また、分離幅に制限がないため、多様な撮像素子１２の画素ピッチに対応することができる。また、モアレのない画像を撮影するために撮影条件を変えて複数枚の画像を連続で撮影するいわゆるブラケット撮影を行う必要が無いため、画像の撮影枚数が減り、画像記録用メモリの使用容量を削減することができる。さらに、撮像装置１における部品厚精度と配置精度が緩和するので、歩留まりを大幅に改善することができ、製品生産の効率性を大きく高めることができる。
【００９３】
［１−５．情報処理装置および撮像装置における動画撮影処理］
上述の実施の形態では、静止画の撮影を行う場合を例にして説明を行ったが、ローパス効果画像の作成およびローパス効果画像の利用は動画撮影においても可能である。次に動画撮影における場合について説明する。
【００９４】
動画撮影の際の表示部１７におけるスルー画の表示は、図６および７を参照して説明した静止画撮影の際のスルー画表示処理と同様の処理により行われる。動画撮影時の処理は図１１および図１２に示すように行われる。図１１および図１２において、図６および図７に示すフローチャートと同様の処理は同一のステップ番号を援用してその説明を省略する。なお、図２を参照して説明したように、動画撮影は３画素間引きにより行われる。この動画撮影処理は、撮像装置１が動画撮影状態である限りスルー画表示処理と並行して行われる。
【００９５】
ステップＳ１０乃至ステップＳ１９までは図６における処理と同様の処理が行われる。なお、図２を参照して説明したように４画素間引きは例えば、スルー画表示に用いられ、３画素間引きが動画撮影に用いられる。また、スルー画表示は５画素間引き、動画撮影は４画素間引きで行うという場合も有り得る。スルー画表示処理と動画撮影処理は並行して行われ、このようにスルー画表示と動画撮影における間引き数が異なる場合、分離幅を大きくしておけば、スルー画表示と動画撮影のどちらの画素間引きにも対応することができる。よって、スルー画表示を４画素間引きで行い、動画撮影を３画素間引きで行う場合には、分離幅を４画素間引きを行う値に設定するよい。
【００９６】
ステップＳ１７、ステップＳ１８、ステップＳ１９のうちのいずれかの処理の後、処理はステップＳ２０１に進む。ステップＳ２０１で、読み出しにより位置Ａにおけるフレームまたは位置Ｄにおけるフレームが得られたか否かが判定される。位置Ａまたは位置Ｄにおけるフレームである場合、処理はステップＳ２１に進み、そのフレームがメモリに保存される。
【００９７】
そしてステップＳ２０２で、位置Ａおよび位置Ｄ両方のフレームがメモリに保存されているか否かが判定される。位置Ａおよび位置Ｄ両方のフレームが保存されている場合、ステップＳ２３で位置Ａと位置Ｄにおけるフレームから画像全体のローパス効果画像が作成され、ステップＳ２４でそのローパス効果画像がメモリに保存される。上述したように、動画撮影は３画素間引きにより行われるため、位置Ａと位置Ｄにおけるフレームがローパス効果画像作成に用いられる。
【００９８】
一方、ステップＳ２０１で、位置Ａまたは位置Ｄにおけるフレームではないと判定された場合、処理はステップＳ２５に進む（ステップＳ２０１のＮｏ）。そして、ステップＳ２５乃至ステップＳ２７で全体の通常画像の作成が行われる。ここまでの処理がステップＳ２８で、ローパス効果画像と全体通常画像の両方が作成されるまで繰り返される。このローパス効果画像と全体通常画像は動画を構成するフレーム画像として用いられる。
【００９９】
ステップＳ２８でローパス効果画像と全体通常画像の両方が作成されたと判定された場合、処理はステップＳ２９に進み（ステップＳ２８のＹｅｓ）、モアレ領域の検出が行われる。なお、被写体中のおいて頻繁に動く動体については表示部１７の表示周波数に合わせてモアレ検出を行い、被写体中において動きが少ない静体については１／ｎ間引きしてモアレ領域検出を行うようにしてもよい。ｎは画素数である。頻繁に動く動体はその動きに従いモアレの状態、モアレの有無も頻繁に変化し、一方、動きが少ない静体はモアレの状態にも変化が少ないからである。
【０１００】
そしてステップＳ２０３で動画の記録が行われる。動画の記録では、モアレのない非モアレ領域においては全体通常画像を動画の記録周波数に合わせて更新していき記録する。一方、モアレが存在するモアレ領域においては、次のローパス効果画像が作成されるまで、直前のローパス効果画像を動画の記録周波数に合わせて記録し続ける。
【０１０１】
なお、動画中の被写体が動体であるか静体であるかを判別して、スルー画表示におけるモアレ領域の更新周波数、動画記録時におけるモアレ領域の記録周波数を変更するようにしてもよい。例えば、モアレ領域が静体である場合、スルー画更新周波数、記録周波数を、スルー画の表示、動画記録に影響が出ない範囲で１０Ｈｚから５Ｈｚに変更する。一方、モアレ領域が動体である場合、スルー画更新周波数、記録周波数を最大値にする。静体である被写体の例としてはビルなどの動きがない建物が挙げられる。
【０１０２】
動体と静体を判別する方法としては、例えば、参照フレームと対象フレームにおけるモアレ領域の動きベクトルの大きさを算出することによりモアレ領域の動き量を求めて、それを参照フレームと対象フレームとで比較するという方法がある。動きベクトルの大きさはフレーム間の絶対値誤差ＳＡＤ（Sum of Absolute Differences）を算出することにより行われる。各ブロック（ｉ，ｊ）で探索範囲内すべてのブロックの動きベクトル（ｄｘ，ｄｙ）についてＳＡＤを求めて、最小ＳＡＤが該当するフレーム間の動き量となる。
【０１０３】
このようにして、ローパス効果を備えモアレを解消した画像を得ることができる。なお、位置Ｃにおけるフレーム、位置Ｄにおけるフレームそれぞれから画像を作成し保存するようにしてもよい。被写体光が屈折することなく撮像素子１２に直線状で略垂直に入射し、ローパス効果が発生しない位置である位置Ｃにおけるフレームからはローパス効果のない高解像度の画像を得ることができる。
【０１０４】
以上のようにして本技術における処理が行われる。本技術によれば、ローパス効果画像の作成に必要なフレームが欠落することがない。また、画像信号の露光時間が異なるとローパス効果画像を作成することができないが、本技術においては露光時間が同一または概ね同一となるように光学要素を動作させるため、ローパス効果画像を作成できないということがない。また、露光時間が異なっても露光時間が同一または概ね同一となるように重み付け処理を行った後にローパス効果画像の作成を行うため、ローパス効果画像を作成できないということがない。
【０１０５】
なお、光学要素の動作方式として複数の種類が考えられる。図１３は光学要素の動作の種類を示す図である。図１３Ａ、図１３Ｂおよび図１３Ｃの枠の一つ一つは画素を表している。第１の方式は図１３Ａに示されるように結像位置が回転するように動作させる方式である。この方式には、垂直方向（Vertical）、水平方向（Horizontal）の両方向の周波数を可変することができるという利点がある。
【０１０６】
第２の方式は、図１３Ｂに示されるように、結像位置を垂直方向、水平方向、斜め方向にそれぞれにおいて往復させる方式である。この方式には、垂直方向だけ、水平方向だけ、斜め方向だけというように撮影意図を選択することができるという利点がある。また、垂直、水平の両方向や斜め方向においても周波数を可変することができる。
【０１０７】
第３の方式は、図１３Ｃに示されるように、結像位置をＺ字状に移動させる方式である。この方式には、全ての方向の周波数を可変することができるという利点がある。
【０１０８】
なお、情報処理装置３１の機能を備える撮像装置１が手ぶれ補正機能を有する場合、手ぶれ補正機能による動作を考慮して光学要素の動作を行う必要がある。図１４および図１５は、いわゆるセンサーシフト方式の手ぶれ補正機能を備える撮像装置１における光学要素の動作を説明する図である。センサーシフト方式とは、ジャイロ機構などで撮影時の手ぶれを検知し、検知した手ぶれに応じて撮像素子１２（イメージセンサ）を移動させる事によって光軸を補正して、手ブレを補正する方式である。
【０１０９】
図１４は、センサーシフトによる手ぶれ補正と結像位置の関係を示す概略側面図である。図１４Ａは、手ぶれがなく、センサーシフトによる手ぶれ補正が機能していない状態である。図１４Ｂは手ぶれが発生し、手ぶれ補正のために撮像素子１２が動作している状態である。撮像素子１２の動作により図１４Ａと比較して結像位置が移動している。そして、図１４Ｃは、手ぶれ補正により撮像素子１２が動作して結像位置が移動した状態において光学要素を動作させた状態を示す図である。図に示されるようにこの状態においては、手ぶれ補正による撮像素子の移動によって結像位置がずれた分、光学要素の動作による結像位置がずれている。
【０１１０】
図１５はセンサーシフトによる手ぶれ補正と結像位置の関係を示す概略正面図である。図に示されるように、センサーシフトによる手ぶれ補正後の位置を基準として光学要素の動作を行う。このように、ローパス効果画像作成のための光学要素の動作は、手ぶれがない初期位置ではなく、手ぶれ補正機能により移動した結像位置を基準として行われる。
【０１１１】
図１６および図１７は、いわゆるレンズシフト方式の手ぶれ補正機能を備える撮像装置１における光学要素の動作を説明する図である。レンズシフト方式とは、ジャイロ機構を備えた補正レンズ１０を組み込み、ブレを打ち消す方向に補正レンズ１０を動かす事によって光軸を補正して、手ブレを補正する方式である。
【０１１２】
図１６は、レンズシフトによる手ぶれ補正と結像位置の関係を示す概略側面図である。図１６Ａは、手ぶれがなく、レンズシフトによる手ぶれ補正が機能していない状態である。図１６Ｂは手ぶれが発生し、手ぶれ補正のためにレンズ１０が動作している状態である。撮像素子１２の動作により図１６Ａと比較して結像位置が移動している。そして、図１６Ｃは、手ぶれ補正によりレンズ１０が動作している状態において光学要素を動作させた状態を示す図である。図に示されるようにこの状態においては、手ぶれ補正による撮像素子の移動によって結像位置がずれた分、光学要素の動作による結像位置がずれている。
【０１１３】
また、図１７はレンズシフトによる手ぶれ補正と結像位置の関係を示す概略正面図である。図１７に示されるように、レンズシフトによる手ぶれ補正後の位置を基準として光学要素の動作を行う。このように、ローパス効果画像作成のための光学要素の動作は、手ぶれがない初期位置ではなく、手ぶれ補正機能により移動した結像位置を基準として行われる。このように光学要素の動作を行うことにより、センサーシフト、レンズシフトどちらの方式の手ブレ補正機能であっても手ぶれ補正機能と本技術に係るローパス効果画像作成を両立させることができる。
【０１１４】
なお、図１８Ａに示される全画素から読み出しを行う際に１／４間引き読み出しを行う場合、図１８Ｂに示されるように、水平方向においては全ての信号を撮像素子１２から読み出しを行う。そのため、水平方向に関しては、撮像装置１の信号処理においてローパスフィルタを適用することができる。よって、手ぶれ補正用の動作は垂直方向のみでよい。なお、図１８において、１１×１１個の枠は画素を表し、黒円およびバツ印は１／４間引き読み出し時に読み出す画素を表している。さらに、黒円は１／４間引き読み出し時の有効な画素であり、バツ印は無効な画素を表している。
【０１１５】
以上のようにして本技術による処理が行われる。本技術によれば、スルー画、静止画像、動画におけるモアレおよび偽色の発生を防ぐことができる。また、撮像素子１２の読み出し周波数と表示部１７の表示周波数を遅くすることなく、ローパス効果を再現しながら高速でなめらかなスルー画表示や動画撮影が可能となる。
【０１１６】
例えば、森の中に人工物がある場合、森の領域は高解像度で撮影し、モアレが出やすい人工物などにおいてはモアレが発生している範囲のみモアレを解消して撮影したいという要望がある。従来技術では画像中にモアレがある場合、画像全体を劣化させてモアレを解消していたが、本技術によればモアレがある領域だけを画像合成で平均化してモアレを解消することができる。よってモアレがない非モアレ領域は高解像度で鮮明に撮影することができる。
【０１１７】
なお、本技術は、スルー画または記録された動画を解析して画像の更新のタイミングが異なっていることにより所定期間動いてない領域があるか否かを確認することで特許権の侵害を発見することができる。よって、本技術は、権利侵害発見が容易であるという利点も有する。
【０１１８】
なお、光学要素の動作の振幅に応じてローパス効果画像のフィルタ効果を切り替えることも可能である。それによって、画像中の領域ごとに画像の更新周波数を変えることがある。
【０１１９】
上述の本技術の説明では、本技術は画素間引きを基礎としているが、画素加算によっても実現することが可能である。
【０１２０】
＜２．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。本技術は以下のような構成も取ることができる。
（１）
光学要素の相対位置を所定の周波数で変化させる位置制御部と、
撮像素子における画素からの画像信号の読み出しを制御する読み出し制御部と、
前記周波数と、前記読み出される画素の間引き量とに基づいて、所定のフレームから画像を生成する画像生成部と
を備える情報処理装置。
（２）
前記光学要素は、レンズ、撮像素子、およびレンズから撮像素子の撮像面に至る光路上に設けられた光学部材のいずれかを含む
（１）に記載の情報処理装置。
（３）
前記位置制御部は、前記間引き量に応じて前記周波数を切り替える
（１）または（２）に記載の情報処理装置。
（４）
前記画像生成部は、前記周波数及び前記間引き量に基づいて、複数のフレームから画像を生成する
（１）から（３）のいずれかに記載の情報処理装置。
（５）
前記画像生成部は、前記光学要素の位置の制御によるローパス効果画像を生成する
（１）から（４）のいずれかに記載の情報処理装置。
（６）
前記画像生成部は、生成される画像の一部領域を更新する
（１）から（５）のいずれかに記載の情報処理装置。
（７）
前記一部領域は、モアレが発生した領域である
（６）に記載の情報処理装置。
（８）
前記画像生成部は、前記一部領域においては、前記周波数に応じた周期で前記画像を更新する
（６）または（７）に記載の情報処理装置。
（９）
前記画像生成部は、前記一部領域に含まれた他の領域においては、前記画像信号の読み出し周期に応じた周期で前記画像を更新する
（８）に記載の情報処理装置。
（１０）
前記画像生成部は、生成される画像における複数の前記一部領域を、それぞれ異なる周期で更新する
（６）に記載の情報処理装置。
（１１）
前記画像生成部は、前記複数のフレームの露光時間が異なる場合には、前記露光時間を同一または略同一にする処理を行ってから画像を生成する
（４）に記載の情報処理装置。
（１２）
前記読出し制御部は、シャッタースピードの設定に応じて前記読出しを制御する
（１）から（１１）のいずれかに記載の情報処理装置。
（１３）
前記画像生成部は動画像を生成する
（１）から（１２）のいずれかに記載の情報処理装置。
（１４）
前記位置制御部は、前記画素におけるローパス効果が発生しない第１の位置と、該第１の位置以外の第２の位置間を移動するように前記光学要素の相対位置を変化させる
（１）から（１３）のいずれかに記載の情報処理装置。
（１５）
光学要素の相対位置を所定の周波数で変化させ、
撮像素子における画素からの画像信号の読み出しを制御し、
前記周波数と、前記読み出される画素の間引き量とに基づいて、所定フレームから画像を生成する
情報処理方法。
【符号の説明】
【０１２１】
１・・・・・・撮像装置
１０・・・・・レンズ
１１・・・・・平板体
１２・・・・・撮像素子
３１・・・・・情報処理装置
３３・・・・・位置制御部
３４・・・・・読み出し制御部
３５・・・・・画像生成部
【図１】
0006465199.tif 000002
【図２】
0006465199.tif 000003
【図３】
0006465199.tif 000004
【図４】
0006465199.tif 000005
【図５】
0006465199.tif 000006
【図６】
0006465199.tif 000007
【図７】
0006465199.tif 000008
【図８】
0006465199.tif 000009
【図９】
0006465199.tif 000010
【図１０】
0006465199.tif 000011
【図１１】
0006465199.tif 000012
【図１２】
0006465199.tif 000013
【図１３】
0006465199.tif 000014
【図１４】
0006465199.tif 000015
【図１５】
0006465199.tif 000016
【図１６】
0006465199.tif 000017
【図１７】
0006465199.tif 000018
【図１８】
0006465199.tif 000019