(57)【特許請求の範囲】
【請求項１】
画像を取得する撮像部と、
上記画像に対して加工処理する処理部と、
上記処理部による加工前の画像と加工後の画像との両方を相互に関連付けて記録する記録部と、
所定の切換え条件が成立したか否かを判定する判定部と、
上記記録部から上記加工後の画像を読み出して出力すると共に、上記所定の切換え条件が成立したことが示された場合には、上記加工後の画像に代えて上記加工前の画像を上記記録部から読み出して出力する制御部と、
信号処理を行う信号処理部と、
を具備し、
上記撮像部は、繰り返し撮像するタイムラプス撮影が可能であり、
上記記録部は、タイムラプス撮影によって得られた上記加工前及び加工後の画像の両方を記録し、
上記信号処理部は、上記タイムラプス撮影によって得られた加工後の画像を用いてタイムラプス動画を生成し、
上記切換え条件は、上記信号処理部が上記タイムラプス動画に対する画像処理を行おうとする場合に成立し、
上記制御部は、上記タイムラプス動画に対する画像処理時には、処理対象の画像として上記加工後の画像に代えて上記加工前の画像を上記信号処理部に供給することを特徴とする撮像装置。
【請求項２】
上記記録部は、上記撮像部が取得した画像に対する上記加工後の画像の切り出し範囲情報を上記加工前の画像に関連付けて記録することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、加工前と加工後の情報の両方を記録可能な撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）が普及している。この種の撮影機器においては様々な画像処理を楽しめるようにしたものが多い。例えば、所定の時間間隔などの特定条件で画像を連続的に撮影し、撮影時間よりも短い再生時間の動画を生成するタイムラプス撮影が可能な装置も商品化されている。例えば、タイムラプス撮影は、三脚に固定したカメラで１日の風景を撮影して風景の変化を短時間で観察したり、ウェアラブルカメラを装着した人物が街を歩きながら撮影して街の様子を短時間で観察したりするなど、様々な利用法が考えられる。
【０００３】
ところで、従来、撮影機器においては、撮像素子によって得た撮像画像に対して所定の画像信号処理を施した後、標準化された汎用画像フォーマットである例えばＪＰＥＧフォーマットに変換して、記録や送信を行っている。しかしながら、ＪＰＥＧフォーマットの画像（ＪＰＥＧ画像）においては、ＪＰＥＧのデータ圧縮処理によって撮像素子から得られる画像情報の一部が失われてしまう。また、撮像素子から得られる情報に対する画像信号処理によって、ユーザが希望する画質とは異なる画質の画像が生成されてしまうことがある。
【０００４】
そこで、撮像素子からの撮像画像に対して、レンズの歪補正や画素欠陥補正等の最低限の補正のみを行った画像データに対して、可逆変換の圧縮処理を行ってＲＡＷデータを作成し、このＲＡＷデータをＪＰＥＧフォーマットに変換することなくそのまま記録、送信する方法を採用する撮影機器もある。この場合、情報が失われることはないが、圧縮をしていないので、画像データ記録や転送に負荷がかかる。このように、画像圧縮など各種画像加工は、加工前後で特徴が異なる。
【０００５】
なお、特許文献１においては、画像表示手段に表示される画像データを圧縮前画像から圧縮後画像に切り替える表示画像切替え手段を備えて、画質の違いを確認する装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１１３３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、加工前後のどちらかの情報だけを記録する場合、各情報には、それぞれのメリット、デメリットがあり、多岐にわたるニーズに合わせた使い勝手のよいデータ再生ができなかった。
【０００８】
本発明は、加工前後の情報を記録して、所定の切換え条件に従ってこれらの情報を選択することにより、ニーズに合わせたデータ再生ができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
また、本発明の一態様による撮像装置は、画像を取得する撮像部と、上記画像に対して加工処理する処理部と、上記処理部による加工前の画像と加工後の画像との両方を相互に関連付けて記録する記録部と、所定の切換え条件が成立したか否かを判定する判定部と、上記記録部から上記加工後の画像を読み出して出力すると共に、上記所定の切換え条件が成立したことが示された場合には、上記加工後の画像に代えて上記加工前の画像を上記記録部から読み出して出力する制御部と、信号処理を行う信号処理部と、を具備し、上記撮像部は、繰り返し撮像するタイムラプス撮影が可能であり、上記記録部は、タイムラプス撮影によって得られた上記加工前及び加工後の画像の両方を記録し、上記信号処理部は、上記タイムラプス撮影によって得られた加工後の画像を用いてタイムラプス動画を生成し、上記切換え条件は、上記信号処理部が上記タイムラプス動画に対する画像処理を行おうとする場合に成立し、上記制御部は、上記タイムラプス動画に対する画像処理時には、処理対象の画像として上記加工後の画像に代えて上記加工前の画像を上記信号処理部に供給する。
【発明の効果】
【００１２】
本発明によれば、加工前後の情報を記録して、所定の切換え条件に従ってこれらの情報を選択することにより、ニーズに合わせたデータ再生ができるという効果を有する。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施の形態に係る情報端末装置の回路構成を示すブロック図。
【図２】リサイズ部１３ｇによりリサイズ処理が行われた場合における関連付け部１３ｅによる関連付け処理を説明するための説明図。
【図３】ＡＶＩファイル３０を示す説明図。
【図４】第１の実施の形態の動作を説明するためのフローチャート。
【図５】本発明の第２の実施の形態を示すブロック図。
【図６】撮像装置４０の動作を示すフローチャート。
【図７】情報端末装置５０の動作を示すフローチャート。
【図８】撮像装置４０の外観及び表示画面上の表示の一例を示す説明図。
【図９Ａ】タイムラプス動画を説明するための説明図。
【図９Ｂ】タイムラプス動画を説明するための説明図。
【図１０Ａ】情報端末装置５０の表示部５７の表示画面上に表示される画像の一例を示す説明図。
【図１０Ｂ】情報端末装置５０の表示部５７の表示画面上に表示される画像の一例を示す説明図。
【図１０Ｃ】情報端末装置５０の表示部５７の表示画面上に表示される画像の一例を示す説明図。
【図１０Ｄ】情報端末装置５０の表示部５７の表示画面上に表示される画像の一例を示す説明図。
【図１０Ｅ】情報端末装置５０の表示部５７の表示画面上に表示される画像の一例を示す説明図。
【図１０Ｆ】情報端末装置５０の表示部５７の表示画面上に表示される画像の一例を示す説明図。
【図１０Ｇ】情報端末装置５０の表示部５７の表示画面上に表示される画像の一例を示す説明図。
【図１０Ｈ】情報端末装置５０の表示部５７の表示画面上に表示される画像の一例を示す説明図。
【図１０Ｉ】情報端末装置５０の表示部５７の表示画面上に表示される画像の一例を示す説明図。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１５】
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る情報端末装置の回路構成を示すブロック図である。なお、図１の情報端末装置は、音声情報又は画像情報を取得するものとして撮像装置を例にしたものである。
ここでは、加工前後の画像として、ＲＡＷデータとＪＰＥＧデータを例にあげて説明するが、ＲＡＷデータは標準化されておらず、ＪＰＥＧデータとは異なり、外部機器において利用しにくい。また、ＲＡＷデータはデータ量が比較的大きく、通信帯域を考慮した場合にはＲＡＷデータは利用しにくい。このため、画像情報の欠落を犠牲にして、ＪＰＥＧフォーマットの画像ファイルを記録、送信に用いることがあるという問題があった。なお、画像だけでなく、マイクロフォン等によって収音した音声についても、データ容量等の点から非圧縮の音声データではなく、標準化された圧縮後の音声データが記録、送信されることがあり、画像の場合と同様の問題がある。価値観の多様化によって、情報やデータの加工は、こだわりの再生が可能であることが求められているのが、この実施の形態の技術によれば、非圧縮情報又は可逆圧縮情報と非可逆圧縮情報との両方を記録すると共に、所定の切換え条件に従ってこれらの情報を選択することにより、高画質又は高音質で使い勝手のよい画像出力や音声出力を得ることができる情報端末装置、撮像装置及び情報処理方法を提供することが出来る。
【００１６】
本実施の形態における情報端末装置である撮像装置は、画像や音声等の情報を非可逆圧縮して記録するだけでなく、非圧縮の状態で記録するか又は可逆圧縮して記録することができる。非圧縮で記録する情報（非圧縮情報）又は可逆圧縮して記録する情報（以下、可逆圧縮情報）としては、例えば、撮像装置によって得られるＲＡＷデータ（ＲＡＷ画像）がある。ＲＡＷ画像は、撮像素子の出力そのものの画像である場合もあり、撮像素子からの撮像画像に対してレンズの歪補正や画素欠陥補正等の最低限の補正のみを行った画像である場合もあり、更に、このような画像に対して可逆変換の圧縮処理を行って得た画像を指すこともある。このようなＲＡＷ画像に対して所定の信号処理を施してＪＰＥＧ圧縮することにより、ＪＰＥＧフォーマットのＪＰＥＧデータ（ＪＰＥＧ画像）が得られる。
【００１７】
また、音声についても、非圧縮情報として例えばＷＡＶ等があり、可逆圧縮情報として例えばＭＰＥＧ−４ＡＬＳ等がある。また、非可逆圧縮情報としては、例えばＪＰＥＧデータやＭＰ３データ等がある。なお、以下、説明の簡略化のために、主に画像について説明するが、音声についても同様に処理可能である。
【００１８】
記録されたＲＡＷ画像及びＪＰＥＧ画像のうち、送信時にはデータ容量及び扱い安さの観点からＪＰＥＧ画像が用いられることが多い。しかしながら、記録画像に何らかの画像処理を施した後出力する場合において、ＪＰＥＧ画像に対して所定の効果を施そうとしても、所望の画像効果が得られない場合がある。本実施の形態においては、所定の切換え条件を判定し、切換え条件が成立すると、ＪＰＥＧ画像に代えてＲＡＷ画像を画像効果処理に用いることで、所望の画像処理効果を得るようにしたものである。また、本実施の形態は、画像処理後の画像をＪＰＥＧフォーマットにより記録すると共に出力することにより、汎用性の高い画像出力を提供するものである。
【００１９】
図１において、撮像装置１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部１２ａを有している。撮像部１２ａには、図示しないレンズが設けられており、レンズを介して被写体光学像が導かれるようになっている。このレンズとしては、ズームやフォーカシングの機能を備えたものであってもよい。撮像部１２ａは撮像素子によって被写体光学像を電気信号に変換して撮像画像を得る。この撮像画像は信号処理部１３に供給されるようになっている。
【００２０】
撮像装置１０には制御部１１が設けられており、制御部１１は、撮像装置１０の各部を制御する。制御部１１は、図示しないＣＰＵ等のプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作するものであってもよい。撮像装置１０は、撮像装置１０の筐体に設けられたシャッタボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む操作部１７を有している。操作部１７はユーザ操作を受け付け、ユーザ操作に基づく操作信号を制御部１１に出力する。制御部１１は、操作部１７からの操作信号に基づいて、信号処理部１３中の撮影制御部１３ａ及び収音制御部１３ｂを制御することができる。撮影制御部１３ａは、制御部１１に制御されて、フォーカス信号及びズーム信号を発生し、撮像部１２ａのレンズを駆動してズーミング、フォーカシング等を行うことができるようになっている。
【００２１】
撮像装置１０には収音部１２ｂが設けられている。収音部１２ｂは例えばマイクロフォンによって構成され、周囲の音を収音する。信号処理部１３の収音制御部１３ｂは、制御部１１に制御されて、収音部１２ｂを駆動して収音を制御することができる。
【００２２】
制御部１１は、撮像部１２ａからの撮像画像（以下、元画像ともいう）及び収音部１２ｂからの音声（以下、元音声ともいう）を信号処理部１３に供給することができる。信号処理部１３は、読み出された撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。また、信号処理部１３は、読出された音声に対して所定の信号処理を施す。
【００２３】
撮像装置１０には記録部１４が設けられている。また、信号処理部１３には記録制御部１３ｆが設けられている。記録制御部１３ｆは制御部１１に制御されて、記録部１４に対する記録及び再生を制御する。制御部１１は、信号処理部１３によって信号処理された撮像画像及び収音音声を記録部１４に与えて記録させることができる。
【００２４】
また、信号処理部１３には可逆圧縮処理部１３ｃ及び非可逆圧縮処理部１３ｄが設けられている。可逆圧縮処理部１３ｃは、制御部１１に制御されて、撮像画像を可逆圧縮してＲＡＷ画像を出力する。なお、可逆圧縮処理部１３ｃは、制御部１１に制御されて、撮像画像を非圧縮のままＲＡＷ画像として出力するようになっていてもよい。なお、ＲＡＷ画像は、信号処理部１３においてレンズの歪補正や画素欠陥補正等の最低限の補正のみが行われていてもよい。また、可逆圧縮処理部１３ｃは、制御部１１に制御されて、収音音声を非圧縮のまま出力する。
【００２５】
非可逆圧縮処理部１３ｄは、制御部１１に制御されて、撮像画像及び収音音声を非可逆圧縮して圧縮データを出力する。例えば、非可逆圧縮処理部１３ｄは、ＲＡＷ画像をＪＰＥＧ圧縮して、ＪＰＥＧフォーマットのＪＰＥＧ画像を出力する。また、例えば、非可逆圧縮処理部１３ｄは、ＰＣＭデータ等の非圧縮の音声データをＭＰ３で圧縮して、ＭＰ３フォーマットのＭＰ３音声を出力する。
【００２６】
記録制御部１３ｆは、可逆圧縮処理部１３ｃの出力及び非可逆圧縮処理部１３ｄの出力の両方を記録部１４に与えて記録することができるようになっている。この場合において、本実施の形態においては、関連付け部１３ｅは、記録制御部１３ｆを制御して、元画像が共通の画像についての可逆圧縮処理部１３ｃの出力と非可逆圧縮処理部１３ｄの出力とを関連付けて記録部１４に記録する。例えば、関連付け部１３ｅは、元画像又は元音声が共通の対応する可逆圧縮処理部１３ｃの出力と非可逆圧縮処理部１３ｄの出力とについては、相互に拡張子のみが異なるファイル名を付して記録する。
【００２７】
なお、図１では１つの記録部１４のみを示しているが、例えば、記録部１４として２枚のメモリカードに対して同時に記録が可能なダブルスロットのカードインタフェースを採用してもよい。この場合には、ダブルスロットの一方を介して可逆圧縮処理部１３ｃの出力を記録し、他方を介して非可逆圧縮処理部１３ｄの出力を記録するようになっていてもよい。
【００２８】
また、信号処理部１３には表示制御部１３ｈが設けられている。表示制御部１３ｈは、表示に関する各種処理を実行する。表示制御部１３ｈは、制御部１１に制御されて、表示部１６の表示を制御する。表示部１６は、ＬＣＤ等の表示画面を有しており、表示制御部１３ｈから与えられた画像を表示する。例えば、制御部１１は、表示制御部１３ｈを制御して、スルー画や撮像画像の再生画像を表示部１６の表示画面上に表示させることができる。
【００２９】
表示部１６の表示画面上には、操作部１７としてのタッチパネルが設けられていてもよい。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部１１に供給される。これにより、制御部１１は、ユーザが表示画面上をタッチしたりスライドさせたりした場合には、その操作を検出することができる。即ち、制御部１１は、ユーザのタッチ位置、指を閉じ離間させる操作（ピンチ操作）、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。
【００３０】
信号処理部１３にはリサイズ部１３ｇも設けられている。リサイズ部１３ｇは、撮像画像を縮小して、リサイズ画像を得ることができるようになっている。例えば制御部１１によって電子ズーム処理が指示された場合には、リサイズ部１３ｇは、撮像画像中の指定された範囲を切り出してリサイズ画像を作成するようになっている。
【００３１】
本実施の形態においては、関連付け部１３ｅは、リサイズ部１３ｇによる切り出しが行われた場合には、切り出し範囲に関する情報を記録ファイルに付加して記録するようになっている。
【００３２】
図２はリサイズ部１３ｇによりリサイズ処理が行われた場合における関連付け部１３ｅによる関連付け処理を説明するための説明図である。図２は関連付け部１３ｅによって関連付けられた１組のファイル２１を示している。１組のファイル２１には、ＪＰＥＧ画像のファイル２２及びＲＡＷ画像のファイル２３が含まれる。なお、ＪＰＥＧ画像のファイル２２及びＲＡＷ画像のファイル２３は、それぞれ複数のファイルによって構成されていてもよい。
【００３３】
図２の例では、ＪＰＥＧ画像のファイル２２には元画像の切り出し範囲情報２２ａが含まれている。元画像は、撮像部１２ａの撮像素子の出力画像を示しており、電子ズーム処理によって、元画像の一部の切り出し範囲の画像部分が、リサイズ部１３ｇのリサイズ処理によってリサイズ画像として取得される。このリサイズ画像がＪＰＥＧフォーマットに変換されてＪＰＥＧ画像が得られている。このＪＰＥＧ画像と切り出し範囲の情報である切り出し範囲情報２２ａとによってＪＰＥＧ画像のファイル２２が構成されている。
【００３４】
なお、ＲＡＷ画像のファイル２３は、非圧縮のままの元画像によるＲＡＷ画像、元画像に所定の補正処理を施したＲＡＷ画像又は元画像を非可逆圧縮して得たＲＡＷ画像により構成されている。即ち、ＲＡＷ画像は撮像素子から出力された元画像と同一サイズの略同様の画像情報を含むものである。ファイル２２に含まれる切り出し範囲情報によって、ファイル２３のＲＡＷ画像のいずれの部分がファイル２２のＪＰＥＧ画像に相当するかを知ることが可能である。
【００３５】
なお、図２の例では切り出し範囲情報をＪＰＥＧ画像を含むファイル２２中に設ける例を説明したが、ＲＡＷ画像を含むファイル２３中に設けるようにしてもよいことは明らかである。
【００３６】
また、制御部１１は、撮像部１２ａを制御して、所定の時間間隔で撮影を行い、撮影時間よりも短い時間で再生を行うタイムラプス撮影を行うこともできるようになっている。また、制御部１１は、タイムラプス撮影モードにおいて取得した撮像部１２ａからの複数の撮像画像を記録部１４に与えて記録することもできる。このタイムラプス撮影時においても、制御部１１は、ＲＡＷ画像とＪＰＥＧ画像の両方を記録部１４に与えて記録することができる。
【００３７】
また、制御部１１は、記録部１４に記録されたタイムラプス撮像画像をタイムライン上に配置することで、タイムラプス動画を生成することもできるようになっている。制御部１１は、生成したタイムラプス動画を例えばモーションＪＰＥＧ形式のＡＶＩファイルとして記録部１４に格納することができる。
【００３８】
図３はこの場合のＡＶＩファイル３０を示す説明図である。ＡＶＩファイル３０は、タイムラプス撮影によって得られた複数のＪＰＥＧ画像Ｊ１，Ｊ２，…が所定のタイムラインに沿って配置されたものである。本実施の形態においては、各ＪＰＥＧ画像には、それぞれ元画像が共通の対応するＲＡＷ画像Ｒ１，Ｒ２，…が関連付け部１３ｅによって関連付けられている。図３では破線で囲って元画像が共通の対応するＪＰＥＧ画像とＲＡＷ画像の組Ｋ１，Ｋ２，…を示している。
【００３９】
なお、主にＪＰＥＧ画像とＲＡＷ画像の例について説明したが、音声に関する非圧縮（又は可逆圧縮）情報と非可逆圧縮情報であるＰＣＭ音声とＭＰ３音声についても、同様に関連付けが行われる。
【００４０】
また、信号処理部１３には効果処理部１３ｉが設けられている。効果処理部１３ｉは、記録部４１に記録された画像及び音声に対して、所定の画像効果処理又は音声効果処理を施すことができるようになっている。
【００４１】
本実施の形態においては、制御部１１は、記録部１４に記録された各撮像画像のうち、ＪＰＥＧ画像を出力用の画像として用いることができるようになっている。例えば、図２の例ではファイル２２のＪＰＥＧ画像を出力画像として用い、図３の例ではＪＰＥＧ画像Ｊ１，Ｊ２，…により構成されるＡＶＩファイル３０を出力画像として用いる。
【００４２】
一方、本実施の形態においては、効果処理部１３ｉにおける画像効果処理に際して、ＪＰＥＧ画像に代えて元画像が共通の対応するＲＡＷ画像を選択的に用いることができるようになっている。また、効果処理部１３ｉにおける音声効果処理に際して、例えばＭＰ３音声に代えて元音声が共通の対応する無圧縮の音声を選択的に用いることができるようになっている。本実施の形態においては、この選択のために、制御部１１には、切換え条件判定部１１ａ及び切換え制御部１１ｂが設けられている。
【００４３】
切換え条件判定部１１ａは、ＪＰＥＧ画像に代えてＲＡＷ画像を選択する切換え条件が成立したか否か、ＭＰ３音声に代えて無圧縮の音声を選択する切換え条件が成立したか否かを判定する。例えば、ユーザによる切換え操作の発生の有無を切換え条件に設定することができる。また、例えば、撮像画像から所定のシーンを判定し、所定のシーンになったことを切換え条件としてもよい。また、例えば、撮像画像の輝度分布が所定の範囲内になったことを切換え条件に設定してもよい。切換え条件判定部１１ａは、撮像部１２ａによって取得された画像に対する画像解析や収音部１２ｂによって取得された音声に対する音声解析によって、切換え条件が成立したか否かを判定するようになっていてもよい。
【００４４】
切換え制御部１１ｂは、切換え条件判定部１１ａによって切換え条件が成立することが示された場合には、ＪＰＥＧ画像に代えて元画像が共通の対応するＲＡＷ画像を選択的に記録部１４から読出し、ＭＰ３音声に代えて元音声が共通の対応する無圧縮の音声を選択的に記録部１４から読出すようになっている。また、本実施の形態においては、制御部１１は、効果処理部１３ｉがＲＡＷ画像に対して施した画像効果処理の処理後の画像をＪＰＥＧファイルに変換して、元画像が共通する対応するＪＰＥＧ画像として記録部１４を更新すると共に、効果処理部１３ｉが無圧縮の音声に対して施した音声効果処理の処理後の音声をＭＰ３ファイルに変換して、元音声が共通する対応するＭＰ３音声として記録部１４を更新するようになっている。
【００４５】
次にこのように構成された実施の形態の動作について図４を参照して説明する。図４は第１の実施の形態の動作を説明するためのフローチャートである。
【００４６】
撮像装置１０の制御部１１は、図４のステップＳ１において、電源オフ操作があったか否かを判定する。制御部１１は、電源オフ操作があった場合には、ステップＳ３において電源をオフにしてステップＳ１に処理を戻す。
【００４７】
制御部１１は、ステップＳ２においてスルー画を表示する。即ち、制御部１１は、撮像部１２ａによって取得された撮像信号を信号処理部１３に与える。表示制御部１３ｈは、信号処理後の撮像画像をスルー画として表示部１６の表示画面上に表示させる。こうして、表示部１６の表示画面上に、撮像部１２ａによって取得されたスルー画が表示される。
【００４８】
制御部１１は、ステップＳ４において、撮影モードが指定されているか否かを判定する。いま、撮影モードが指定されているものとする。この場合には、制御部１１は、次のステップＳ５において、ＪＰＥＧ画像だけでなくＲＡＷ画像の記録が指定されているか否かを判定する。ＪＰＥＧ画像のみの記録が指定されている場合には、通常撮影モードに移行して、撮影操作に従って撮像画像をＪＰＥＧ画像として記録部１４に記録する。
【００４９】
ＪＰＥＧ画像とＲＡＷ画像の同時記録が指定されている場合には、制御部１１は次のステップＳ６において、撮影制御操作が行われたか否かを判定する。ユーザによって撮影パラメータや画像処理のパラメータ等の設定操作が行われた場合には、制御部１１は、ステップＳ７において、撮影用モードの変更やパラメータの変更を行う。
【００５０】
ここで、ユーザが図示しないレリーズボタンを操作して撮影の開始を指示するものとする。制御部１１は、ステップＳ８において撮影開始操作を検出すると、ステップＳ９に処理を移行して、撮像部１２ａに撮像を指示する。撮像部１２ａからの撮像画像は信号処理部１３に供給される。信号処理部１３は、所定の信号処理を施した後、処理後の画像を可逆圧縮処理部１３ｃ及び非可逆圧縮処理部１３ｄに与える。可逆圧縮処理部１３ｃは、可逆圧縮処理又は非圧縮処理を行ってＲＡＷ画像を生成する。また、非可逆圧縮処理部１３ｄは、非可逆圧縮処理である例えばＪＰＥＧ圧縮によってＪＰＥＧ画像を生成する。
【００５１】
制御部１１は記録部１４を制御して、可逆圧縮処理部１３ｃからのＲＡＷ画像及び非可逆圧縮処理部１３ｄからのＪＰＥＧ画像を同時に記録する。この場合には、関連付け部１３ｅは、元画像が共通のこれらのＲＡＷ画像及びＪＰＥＧ画像を、関連付けて記憶する（ステップＳ１０）。また、関連付け部１３ｅは、元画像がリサイズ部１３ｇによってリサイズ処理されている場合には、リサイズ処理における切り出し範囲を示す切り出し範囲情報をこれらのＲＡＷ画像及びＪＰＥＧ画像に関連付けて記録する。
【００５２】
なお、本実施の形態においては、ＲＡＷ画像とＪＰＥＧ画像とを同時に記録するものと説明したが、例えば、音声については、常時非可逆圧縮情報である例えばＭＰ３を記憶し、所定の期間のみ非圧縮情報であるＰＣＭ音声又は可逆圧縮情報の音声ファイルを記録するようにしてもよい。野鳥観察等に撮像装置１０を用いる場合には、例えば鳥の鳴き声を何時収音できるかは不明であるので、非可逆圧縮情報及び非圧縮情報又は可逆圧縮情報を同時に記録しておいた方がよい。また、圧縮など加工によって簡便な取り扱いで特定の効果がすぐに楽しめるものと、加工前で取り扱いが困難なものの両方という言い方も出来る。
【００５３】
ここで、ユーザが撮影によって得られた撮像画像の出来映えを確認し、出来映えによっては画像効果処理を施すものとする。ユーザが再生モードを指定すると、制御部１１は、ステップＳ４，Ｓ１１から処理をステップＳ１２に移行して、記録部１４に記録されているＪＰＥＧ画像の読出し及び表示を行う。例えば、図２の例では、ユーザによって１組のファイル２１が指定されると、制御部１１は記録部１４から１組のファイル２１中のＪＰＥＧ画像が含まれるファイル２２を読出して再生するように記録制御部１３ｆを制御する。記録制御部１３ｆは、読出したＪＰＥＧ画像を非可逆圧縮処理部１３ｄに与えて伸張処理し、表示制御部１３ｈは伸張処理された画像を表示部１６に与えて表示させる。こうして、表示部１６の表示画面には、ファイル２２に含まれるＪＰＥＧ画像に基づく画像が表示される。
【００５４】
本実施の形態においては、制御部１１の切換え条件判定部１１ａは、ＪＰＥＧ画像に代えて元画像が共通のＲＡＷ画像を用いる切換え条件を満足するか否かを判定する。図４の例では、この切換え条件として、ユーザがこだわり編集、確認を行うための操作を行った否かが検出される。
【００５５】
例えば、ユーザが撮像画像に対して輝度調整等の所定の画像効果処理を施すものとする。この場合においても、ＪＰＥＧ画像に対する画像処理によってある程度の画像調整は可能である。しかしながら、ＪＰＥＧ画像は非可逆圧縮処理によって、元の画像の情報が若干欠落しており、必ずしもユーザが満足する画像効果処理を付与することができないことが考えられる。そこで、本実施の形態においては、このようなこだわりを持った編集を行う場合には、ＪＰＥＧ画像に代えてＲＡＷ画像を用いることで、ユーザが満足する画像効果処理を行うことを可能にする。
【００５６】
即ち、制御部１１の切換え条件判定部１１ａは、ステップＳ１３において、ユーザによるこだわり編集、確認のための操作の有無を判定しており、ユーザがこの操作を行った場合には切換え条件が成立したものとして、切換え制御部１１ｂは、処理をステップＳ１４に移行して、ステップＳ１２において表示したＪＰＥＧ画像と元画像が共通の対応するＲＡＷ画像を選択して読出す。このように、加工前データは、当初の目的から変えた加工を行う時には自由度が大きく、必要に応じて使い分けられる方が、多様化するユーザニーズに応えやすい。つまり、画像又は音声のデータを取得する収集部と、上記画像又は音声のデータに対して加工処理する処理部と、上記処理部による加工前のデータと加工後のデータとの両方を相互に関連付けて記録する記録部と、所定の切換え条件が成立したか否かを判定する判定部と、上記記録部から上記加工後のデータを読み出して出力すると共に、上記所定の切換え条件が成立したことが示された場合には、上記加工後のデータに代えて上記加工前のデータの対応する部分（例えば、同じタイミング、同じ位置などの同じ撮像条件で得られたものなど）を上記記録部から読み出して出力する制御部とを具備したことを特徴とする情報端末装置とすることによって、必要に応じてこだわり処理を自由に行うことが出来る装置が提供可能となる。
【００５７】
なお、図４の例では、ユーザがこだわり編集、確認を希望している場合にのみＪＰＥＧ画像と元画像が共通の対応するＲＡＷ画像を選択的に読出す例を示したが、編集時には常にＪＰＥＧ画像に代えて対応するＲＡＷ画像を選択して読出すようにしてもよい。
【００５８】
また、切換え条件判定部１１ａは、撮像画像や収音音声に基づいて自動的に切換え条件の判定を行っても良い。例えば、野鳥観察等に撮像装置１０を用いた場合等において、収音音声に含まれる鳥の鳴き声等の部分については、非圧縮情報等の高品質の音声を再生した方がよい。この場合には、音声信号の再生時に、音声処理により、鳥の鳴き声の部分等を切換え条件判定部１１ａにおいて判定することで、当該部分の再生時には、自動的に、非可逆圧縮情報に代えて非圧縮情報又は可逆圧縮情報を読出して音声再生を行うようになっていてもよい。即ち、切換え条件としては、信号処理による編集時だけでなく、出力時、再生時、表示時等の適宜の条件を設定することができる。
【００５９】
効果処理部１３ｉは、ステップＳ１５において、ユーザ操作等に基づく画像処理（編集）を施す。画像処理後の画像は記録制御部１３ｆによってＪＰＥＧ化される。ユーザによって編集結果の記録が指示されると、制御部１１は、編集されてＪＰＥＧ化された画像を記録部１４に与えて記録させる（ステップＳ１７）。即ち、ＪＰＥＧ画像に対応するＲＡＷ画像が編集された場合には、編集されたＲＡＷ画像に基づくＪＰＥＧ画像によって記録部１４が更新される。例えば、こだわり編集によって、図２のファイル２２のＪＰＥＧ画像に対応するＲＡＷ画像のファイル２３が読出され、このＲＡＷ画像に基づく画像に対する編集処理が行われた場合には、編集結果のＪＰＥＧ画像によってファイル２２を上書きする。
【００６０】
このように本実施の形態においては、画像効果処理の処理時等の所定の切換え条件が成立した場合には、ＪＰＥＧ画像である非可逆圧縮情報に代えて対応するＲＡＷ画像等の可逆圧縮情報又は非圧縮情報が読出されて処理が施される。可逆圧縮情報又は非圧縮情報は非可逆圧縮情報に比べて元画像の画像情報が欠落しておらず、より効果的な画像処理を行うことが可能である。また、画像効果処理後には、可逆圧縮情報又は非圧縮情報を非可逆圧縮情報に変換して記録しており、画像出力時には、例えば標準化されているＪＰＥＧ画像を出力することができる。これにより、外部機器において利用しやすく、且つデータ量を削減した情報を記録することができる。
【００６１】
なお、上述した説明では、音声については、殆ど言及していないが、音声も映像と同様に処理可能であることは明らかである。
【００６２】
（第２の実施の形態）
図５は本発明の第２の実施の形態を示すブロック図である。本実施の形態は、撮像装置と情報端末装置との両方によって、図１の撮像装置１０と同様の機能を達成するものである。例えば、タイムラプス撮影を行う場合等においては、撮像装置を三脚に固定して撮影を行うことも多く、情報端末装置によって撮像装置を遠隔操作した方が撮影しやすい場合があり、本実施の形態はこのような場合等において利便性がある。即ち、第１の実施の形態と第２の実施の形態とは、操作性が異なるのみで、同様の機能を提供するものである。
【００６３】
なお、以下の説明では、タイムラプス撮影が可能な装置の例を説明するが、本実施の形態はこれに限定されるものではなく、記録された情報に対して他の種々の信号処理を行う装置にも適用可能である。
【００６４】
図５に示すように、本実施の形態は、撮像装置４０及び情報端末装置５０によって構成される。撮像装置４０は、例えばデジタルカメラ等の撮影機器によって構成することができる。撮像装置４０はＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部４２ａを有している。撮像部４２ａには、図示しないレンズが設けられており、レンズを介して被写体光学像が導かれるようになっている。このレンズとしては、ズームやフォーカシングの機能を備えたものであってもよい。撮像部４２ａは撮像素子によって被写体光学像を電気信号に変換して撮像信号を得る。
【００６５】
撮像装置４０には制御部４１が設けられており、制御部４１は、撮像装置４０の各部を制御する。制御部４１は、図示しないＣＰＵ等のプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作するものであってもよい。撮像装置４０は、撮像装置４０の筐体に設けられた図示しないシャッタボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む操作部４４を有している。操作部４４はユーザ操作を受け付け、ユーザ操作に基づく操作信号を制御部４１に出力する。制御部４１は、操作部４４からの操作信号に基づいて、フォーカス信号及びズーム信号を発生して、撮像部４２ａのレンズを駆動してズーミング、フォーカシング等を行うことができるようになっている。また、制御部４１は、撮像部４２ａに撮像素子の駆動信号を出力してシャッタスピード、露光時間等を制御することができる。
【００６６】
また、撮像装置４０には収音部４２ｂが設けられており、収音部４２ｂは図示しないマイクロフォン等によって構成されて、周囲の音を音声信号に変換する。制御部４１は操作部４４からの操作信号に基づいて収音部４２ｂが収音した音声を信号処理部４８に供給することができるようになっている。なお、説明の簡略化のために、以下では主に画像について説明を行うが、音声についても同様に処理可能である。
【００６７】
制御部４１は、撮像部４２ａからの撮像画像を読み出して信号処理部４８に供給することができる。信号処理部４８は、読み出された撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。
【００６８】
信号処理部４８には、可逆圧縮処理部４８ａ及び非可逆圧縮処理部４８ｂが設けられている。可逆圧縮処理部４８ａは、制御部４１に制御されて、撮像画像を可逆圧縮してＲＡＷ画像を出力する。なお、可逆圧縮処理部１４８ａは、制御部４１に制御されて、撮像画像を非圧縮のままＲＡＷ画像として出力するようになっていてもよい。可逆圧縮処理部４８ａは、制御部４１に制御されて、収音音声を非圧縮のまま出力する。なお、ＲＡＷ画像は、信号処理部４８においてレンズの歪補正や画素欠陥補正等の最低限の補正のみが行われていてもよい。
【００６９】
非可逆圧縮処理部４８ｂは、制御部４１に制御されて、撮像画像や収音音声を非可逆圧縮して圧縮データを出力する。例えば、非可逆圧縮処理部４８ｂは、ＲＡＷ画像をＪＰＥＧ圧縮して、ＪＰＥＧフォーマットのＪＰＥＧ画像を出力する。また、例えば、非可逆圧縮処理部４８ｂは、ＰＣＭデータ等の非圧縮の音声データをＭＰ３で圧縮して、ＭＰ３フォーマットのＭＰ３音声を出力する。
【００７０】
撮像装置４０には記録部４３が設けられている。制御部４１は、信号処理部４８によって信号処理された撮像画像を記録部４３に与えて記録することができる。本実施の形態においては、制御部４１は、可逆圧縮処理部４８ａの出力及び非可逆圧縮処理部４８ｂの出力の両方を記録部４３に与えて記録することができるようになっている。この場合において、本実施の形態においては、制御部４１は、元画像が共通の画像についての可逆圧縮処理部４８ａの出力と非可逆圧縮処理部４８ｂの出力とを関連付けて記録部４３に記録する。例えば、制御部４１は、元画像が共通の可逆圧縮処理部４８ａの出力と非可逆圧縮処理部４８ｂの出力とについては、相互に拡張子のみが異なるファイル名を付して記録する。
【００７１】
なお、図５では１つの記録部４３のみを示しているが、例えば、記録部４３として２枚のメモリカードに対して同時に記録が可能なダブルスロットのカードインタフェースを採用してもよい。この場合には、ダブルスロットの一方を介して可逆圧縮処理部４８ａの出力を記録し、他方を介して非可逆圧縮処理部４８ｂの出力を記録するようになっていてもよい。
【００７２】
また、信号処理部４８は、図１のリサイズ部１３ｇ及び効果処理部１３ｉと同様の機能を有していてもよい。例えば、信号処理部４８は、記録部４３から再生された画像に対して所定の画像効果処理を施すことができるようになっている。また、信号処理部４８は、撮像画像に対してリサイズ処理が可能である。また、信号処理部４８においてリサイズ処理を施した場合には、制御部４１は、関連付け記録に際して切り出し範囲情報を非圧縮又は可逆圧縮情報及び非可逆圧縮情報のいずれか一方に付加するようになっている。こうして、記録部４３には、例えば、図２及び図３に示すように、非圧縮又は可逆圧縮情報と非可逆圧縮情報との組のファイルが記録される。
【００７３】
更に、制御部４１は、図１の制御部１１の切換え条件判定部１１ａ及び切換え制御部１１ｂの機能を備えている。即ち、制御部１１は、所定の切換え条件を設定し、切換え条件が成立したか否かを判定し、切換え条件が成立すると、記録部４３から非可逆圧縮情報に代えて元画像が共通の対応する非圧縮情報又は可逆圧縮情報を読出して、信号処理部４８等に供給することができるようになっている。
【００７４】
なお、制御部４１は、撮像部４２ａを制御して、所定の時間間隔で撮影を行い、撮影時間よりも短い時間で再生を行うタイムラプス撮影を行うこともできるようになっている。また、信号処理部４８は、制御部４１に制御されて、記録部４３に記録された撮像画像をタイムライン上に配置することで、タイムラプス動画を生成することもできるようになっている。
【００７５】
本実施の形態においては、撮像装置４０を情報端末装置５０によって遠隔操作可能である。この遠隔操作のために撮像装置４０には通信部４６が設けられている。また、情報端末装置５０にも通信部５２が設けられている。通信部４６は、通信制御部４７に制御されて、所定の伝送路を介して情報端末装置５０の通信部５２との間で情報の送受を行う。制御部４１は、情報端末装置５０から通信部４６を介してコマンドやパラメータが転送されて、転送されたコマンドやパラメータに従って各部を制御することができるようになっている。
【００７６】
通信制御部４７は、制御部４１に制御されて、撮像装置４０によって撮像した画像を通信部４６を介して情報端末装置５０の通信部５２に送信することができるようになっている。
【００７７】
情報端末装置５０は、スマートフォンやタブレットＰＣ等によって構成することができる。情報端末装置５０は、制御部５１を有しており、制御部５１は、情報端末装置５０の各部を制御する。制御部５１は、図示しないＣＰＵ等のプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作するものであってもよい。情報端末装置５０には、情報端末装置５０の筐体に設けられた図示しないスイッチ等を含む操作部５３を有している。なお、操作部５３は、制御部５１が実行するプログラムによって得られるソフトウェアキーボード等によって構成することもでき、また、後述する表示部５７に設けられた図示しないタッチパネル等によって構成することもできる。
【００７８】
操作部５３はユーザ操作を受け付け、ユーザ操作に基づく操作信号を制御部５１に出力する。制御部５１は、操作部５３からの操作信号に基づいて、各部を制御する。
【００７９】
情報端末装置５０には、記録部５４が設けられており、記録部５４は、制御部５１から与えられた情報を記録することができるようになっている。例えば、記録部５４には、撮像装置４０から伝送された画像及び各種パラメータが与えられて記録される。また、記録部５４には、操作部５３のユーザ操作に基づく情報や制御部５１によって初期設定された情報も記録されている。
【００８０】
情報端末装置５０には信号処理部５５が設けられている。信号処理部５５は、制御部５１に制御されて各種信号処理を実行する。
【００８１】
表示制御部５６は、表示に関する各種処理を実行する。表示制御部５６は、制御部５１に制御されて、表示部５７の表示を制御する。表示部５７は、ＬＣＤ等の表示画面を有しており、表示制御部５６から与えられた画像を表示する。例えば、制御部５１は、表示制御部５６を制御して、タイムラプス動画の生成に用いた各撮像画像を表示部５７の表示画面上に表示させると共に、当該タイムラプス動画を希望の動画像に変更するために、撮像装置４０のタイムラプス撮影によって得られた撮像画像に対して所定の画像効果処理を施すための表示（以下、編集表示という）を表示させることができるようになっている。
【００８２】
表示部５７の表示画面上には、操作部５３としてのタッチパネルが設けられていてもよい。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部５１に供給される。これにより、制御部５１は、ユーザが表示画面上をタッチしたりスライドさせたりした場合には、その操作を検出することができる。即ち、制御部５１は、ユーザのタッチ位置、指を閉じ離間させる操作（ピンチ操作）、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。
【００８３】
制御部５１は、編集表示に対するユーザ操作によって発生した操作信号に基づく制御信号を通信部５２を介して撮像装置４０の制御部４１に送信することができるようになっている。この場合には、撮像装置４０の制御部４１は、情報端末装置５０からの制御信号に基づいて、信号処理部４８を含む各部を制御するようになっている。
【００８４】
次に、このように構成された実施の形態の動作について図６〜図９及び図１０Ａ〜図１０Ｉを参照して説明する。図６及び図７はそれぞれ撮像装置４０又は情報端末装置５０の動作を示すフローチャートである。なお、図６において図４と同一の手順には同一符号を付して説明を省略する。図８は撮像装置４０の外観及び表示画面上の表示の一例を示す説明図である。図９Ａ及び図９Ｂはタイムラプス動画を説明するための説明図である。図１０Ａ〜図１０Ｉは情報端末装置５０の筐体５０ａの表面側に配置された表示部５７の表示画面上に表示される画像の一例を示す説明図である。
【００８５】
図８は撮像装置４０の外観及び表示画面の表示の一例を示している。図８の例では撮像装置４０には背面側に表示部が設けられており、撮像装置４０の筐体４０ａの背面には表示部を構成する表示画面４９ａが露出している。筐体４０ａの前面には図示しないレンズ鏡筒が設けられ、このレンズ鏡筒内に撮像部４２ａのレンズ部が収納される。また、撮像装置４０には、筐体４０ａの上面にファインダ部６１が設けられていてもよい。また、ユーザが目をファインダ部６１に近接させたことを検知するアイセンサ６３がファインダ部６１の近傍に設けられていてもよい。アイセンサ６３は、ユーザが目をファインダ部６１に近接させたことを検出し、検出結果を制御部４１に出力するようになっている。この場合には、制御部４１は、アイセンサ６３の検出結果によって、画像の出力先を表示部の表示画面４９ａとファインダ部６１を構成するＬＣＤ等とで切換えることができるようになっていてもよい。
【００８６】
また、操作部４４として筐体４０ａの上面にはシャッタボタン６４及び２つのダイヤル操作部６５，６６が配設され、筐体４０ａの背面にはＰＩＣＴボタン６８が配設されている。ユーザは、撮像装置４０を構えた状態で、例えば、ファインダ部６１を覗きながら、シャッタボタン６４を人差し指で押圧操作することができるだけでなく、右手の親指によってダイヤル操作部６６を、人差し指によってダイヤル操作部６５を簡単に操作することができる。ＰＩＣＴボタン６８を操作することで、所定の効果処理を指示することもできるようになっている。信号処理部４８は、撮像画像等にユーザ操作に応じた画像効果処理を施すようになっている。
【００８７】
なお、図８の例では、ユーザが情報端末装置５０の操作部５３を操作することによってタイムラプス動画の再生を指示した例を示している。表示画面４９ａ上にはタイムラプス動画７１が表示されている。
【００８８】
図７のステップＳ３１において、情報端末装置５０の制御部５１は、表示制御部５６を制御して機能選択表示を表示させる。図１０Ａは情報端末装置５０の表示部５７の表示画面５７ａに表示される機能選択表示の一例を示している。図１０Ａの例では表示画面５７ａ上には、ＳＮＳ（ソーシャルネットワークサービス）機能を選択するための選択ボタン３１ａ、外部カメラ機能を選択するための外部カメラボタン３１ｂ、メール機能を選択するためのメールボタン３１ｃ及び電話機能を選択するための電話ボタン３１ｄが表示されている。
【００８９】
ここで、図１０Ａの太枠で示すように、ユーザが外部カメラボタン３１ｂ上をタッチ操作して、外部カメラ機能を選択するものとする。制御部５１はステップＳ３２において外部カメラ機能が選択されているか否かを判定している。制御部５１は、外部カメラ機能が選択されていない場合には、ステップＳ５１において、外部カメラからの要求の有無を判定する。制御部５１は、要求が合った場合には、要求が別機能を起動させるものであるか否かを判定し（ステップＳ５２）、別機能を起動させる要求の場合には別機能を起動する（ステップＳ５３）。また、制御部５１は外部カメラからの要求がない場合には、ステップＳ５４において外部カメラからの画像を受信し、受信画像を表示すると共に仮記録を行う（ステップＳ５５）。制御部５１は、ステップＳ５６において、後述する編集又は確認操作がユーザにより行われたか否かを判定し、行われた場合には処理をステップＳ６１に移行し、行われていない場合には処理をステップＳ３１に戻す。
【００９０】
制御部５１は、外部カメラ機能が選択されると、処理をステップＳ３２からステップＳ３３に移行して、既に外部カメラが指定されているか否かを判定する。外部カメラが指定されていない場合には、ステップＳ３４において、無線接続の設定、ＩＤ、パスワード設定等のカメラの指定操作を受け付け、指定された情報を記録部５４に記録する。
【００９１】
制御部５１は、ステップＳ３３において既に外部カメラが指定されているものと判定した場合には、ステップＳ３５において、通信部５２に撮像装置４０の通信部４６との通信を確立させて指定された外部カメラである撮像装置４０にアクセスする。
【００９２】
一方、撮像装置４０の制御部４１は、図６のステップＳ２１において、通信の待機状態である。制御部４１は、ステップＳ１において、電源オフ通信が発生したか否かを判定する。制御部４１は、電源オフ通信があった場合には、ステップＳ３において電源をオフにしてステップＳ２１に処理を戻す。
【００９３】
制御部４１は、ステップＳ２２において、スルー画送信の相手先が設定済みであるか否かを判定する。制御部４１は、設定済みの場合には、ステップＳ４において撮影モードが指定されているか否かを判定し、撮影モードである場合には、通信の相手先に、スルー画を送信する（ステップＳ２６）。即ち、制御部４１は、撮像部４２ａによって取得された撮像信号を信号処理部４８に与え、信号処理後の撮像画像をスルー画として通信部４６から情報端末装置５０に送信する。
【００９４】
情報端末装置５０の制御部５１は、ステップＳ３６において通信が確立したことを判定すると、通信部５２によりスルー画を受信する。そして、制御部５１は、ステップＳ３８からステップＳ３９に移行して、通信部５２を介して受信したスルー画を表示制御部５６に与える。こうして、表示部５７の表示画面５７ａ上に、撮像装置４０によって取得されたスルー画が表示される。なお、制御部５１は、ステップＳ３６において通信が確立していないと判定した場合には、所定時間経過後に警告表示等の警告を行う（ステップＳ３７）。
【００９５】
撮像装置４０において、スルー画送信の相手が設定済みでない場合には、制御部４１は、ステップＳ２３において、スルー画送信の相手先の設定操作が行われたか否かを判定する。制御部４１は、スルー画送信相手の設定操作が行われた場合には、ステップＳ２４において設定手続きを行った後、設定情報を記録部４３に記録して（ステップＳ２５）、処理をステップＳ２１に戻す。
【００９６】
撮像装置４０の制御部４１は、ステップＳ６において、撮影制御用の通信が行われたか否かを判定する。情報端末装置５０からの撮影パラメータや画像処理のパラメータ等が受信された場合には、制御部４１は、ステップＳ７において、撮影用モードの変更やパラメータの変更を行う。このステップＳ７においては、情報端末装置５０によってタイムラプス撮影に関するパラメータを設定することもできるようになっていてもよい。
【００９７】
ここで、ユーザが撮影開始の操作を行うものとする。撮影操作は撮像装置４０の操作部４４だけでなく、情報端末装置５０の操作部５３によっても行うことができる。例えば、情報端末装置５０の制御部５１は、表示制御部５６を制御して、図１０Ｂに示すモード選択画面を表示させることができる。図１０Ｂの例では表示画面５７ａ上には、通信設定モードを選択するための通信設定ボタン３２ａ、撮影モードを選択するための撮影ボタン３２ｂ、再生モードを選択するための再生ボタン３２ｃ及び機能選択画面に戻るための戻るボタン３２ｄが表示されている。
【００９８】
ここで、ユーザが撮影ボタン３２ｂ上をタッチ操作して、撮影モードを選択するものとする。制御部５１は、ステップＳ４４において撮像制御のための操作が行われたか否かを判定しており、ステップＳ４６では撮影操作が行われたか否かを判定している。制御部５１は、撮影を指定する操作が行われると、処理をステップＳ４７に移行して、この操作結果を撮像装置４０に送信する。
【００９９】
撮像装置４０の制御部４１は、ステップＳ８においてユーザによる撮影開始操作に基づく制御信号を受信すると、ステップＳ９に処理を移行して、撮像部１２ａに撮像を指示する。撮像部４２ａからの撮像画像は信号処理部４８に供給される。信号処理部４８は、所定の信号処理を施した後、処理後の画像を可逆圧縮処理部４８ａ及び非可逆圧縮処理部４８ｂに与える。可逆圧縮処理部４８ａは、可逆圧縮処理又は非圧縮処理を行ってＲＡＷ画像を生成する。また、非可逆圧縮処理部４８ｂは、非可逆圧縮処理である例えばＪＰＥＧ圧縮によってＪＰＥＧ画像を生成する。
【０１００】
制御部４１は記録部４３を制御して、可逆圧縮処理部４８ａからのＲＡＷ画像及び非可逆圧縮処理部４８ｂからのＪＰＥＧ画像を同時に記録する。この場合には、制御部４１は、元画像が共通のこれらのＲＡＷ画像及びＪＰＥＧ画像を、関連付けて記憶する（ステップＳ１０）。また、制御部４１は、元画像がリサイズ処理されている場合には、リサイズ処理における切り出し範囲を示す切り出し範囲情報をこれらのＲＡＷ画像及びＪＰＥＧ画像に関連付けて記録する。
【０１０１】
制御部４１は、記録した撮影結果を情報端末装置５０に送信する（ステップＳ２７）。撮影操作が通常撮影を指示するものであった場合には、例えば図２のＪＰＥＧ画像を含むファイル２２が出力される。また、撮影操作がタイムラプス撮影を指示するものであった場合には、例えば図３の各ＪＰＥＧ画像Ｊ１，Ｊ２，…が出力される。また、制御部４１は、タイムラプス撮影によって取得した各撮像画像をタイムライン上に配置してタイムラプス動画を生成した場合には、このタイムラプス動画をモーションＪＰＥＧ形式のＡＶＩファイルとして記録部４３に格納する。この場合には、例えば図３に示すＡＶＩファイル３０を情報端末装置５０に送信するようになっていてもよい。
【０１０２】
いま、撮像装置４０によってタイムラプス撮影が行われ、タイムラプス撮影によって得られた各撮像画像が情報端末装置５０に転送されるものとする。ここで、ユーザがタイムラプス撮影の出来映えの確認やタイムラプス動画に用いる各撮像画像の編集を希望するものとする。
【０１０３】
図１０Ｃは情報端末装置５０の表示画面５７ａに表示された撮像画像の確認及び編集のための設定メニュー画面を示している。図１０Ｃの例では、表示画面５７ａ上には、撮像画像表示３３ａ、タイムラプス動画の確認及び編集を行うことを選択するためのタイムラプスボタン３３ｂ、編集作業を行いたい画像を選択するための選択ボタン３３ｃ、選択した画像撮影の加工を指示するための加工ボタン３３ｄ、及び戻るボタン３３ｅが表示されている。
【０１０４】
ここで、ユーザがタイムラプス動画の確認及び編集を行うことを希望するものとする。この場合には、ユーザは、タイムラプスボタン３３ｂを操作する。
【０１０５】
図１０Ｄはこの場合において情報端末装置５０の表示画面５７ａに表示されるタイムラプス動画の確認及び編集のための設定メニュー画面を示している。図１０Ｄの例では、表示画面５７ａ上には、タイムラプス動画表示３４ａ、タイムラプス動画の巻戻し、再生、早送りを指示するための再生ボタン３４ｂ、タイムラプス撮影による各撮像画像の編集及び確認を行うための編集ボタン３４ｃ、及び戻るボタン３４ｄが表示されている。
【０１０６】
ここで、ユーザがタイムラプス動画表示３４ａを参照して、タイムラプス動画に用いる撮像画像の編集を希望するものとする。この場合には、編集ボタン３４ｃを操作する。そうすると、編集又は確認を指示するためのメニュー画面が表示される。
【０１０７】
図１０Ｅはこのメニュー画面を示している。図１０Ｅの例では、表示画面５７ａ上には、タイムラプス表示３５ａ、タイムラプス撮影による各撮像画像の確認を行うための確認ボタン３５ｂ、タイムラプス撮影による各撮像画像の編集（こだわり編集）を行うための編集ボタン３５ｃ、及び戻るボタン３５ｄが表示されている。ここで、ユーザがタイムラプス動画に用いる撮像画像のこだわり編集を希望するものとする。この場合には、ユーザは編集ボタン３５ｃを操作する。そうすると、こだわり編集画面が表示される。
【０１０８】
図１０Ｆはこのこだわり編集画面を示している。図１０Ｆの例では、表示画面５７ａ上には、タイムラプス撮影による各撮像画像の画像表示３６ａ、編集を行いたい撮像画像の範囲を指定する範囲選択ボタン３６ｂ、撮像画像の画質調整を指示するための画質調整ボタン３６ｃ、及び戻るボタン３６ｄが表示されている。
【０１０９】
図１０Ｆの例では、画像表示３６ａは、タイムラプス撮影による各撮像画像をサムネイル表示したものであり、１回のタイムラプス撮影による各撮像画像が６枚ずつ表示される例を示している。画像表示３６ａ部分を例えば左右にスライド操作することによって、タイムラプス撮影の撮影順に従って各撮像画像（サムネイル画像）が順次表示されるようになっている。
【０１１０】
ここで、ユーザがタイムラプス動画に用いる撮像画像の画質調整を行うものとする。この場合には、ユーザは画質調整ボタン３６ｃを操作する。そうすると、画質調整画面が表示される。
【０１１１】
図１０Ｇはこの画質調整画面を示している。図１０Ｇの例では、表示画面５７ａ上には、タイムラプス撮影による各撮像画像の画像表示３７ａ、編集内容としてタイムラプス動画をなだらかな変化にするためのなだらかボタン３７ｂ、撮像画像の階調表現を修正するための階調調整ボタン３７ｃ、及び戻るボタン３６ｄが表示されている。
【０１１２】
図１０Ｇにおいても、画像表示３７ａは、タイムラプス撮影による各撮像画像をサムネイル表示したものであり、１回のタイムラプス撮影による各撮像画像が６枚ずつ表示される例を示している。画像表示３７ａ部分を例えば左右にスライド操作することによって、タイムラプス撮影の撮影順に従って各撮像画像（サムネイル画像）が順次表示されるようになっている。
【０１１３】
また、図１０Ｇの例では、タイムラプス撮影による撮像画像については、各撮像画像を１枚ずつ編集するモードだけでなく、ある範囲の複数の撮像画像を連続的に編集するモードを有している。図１０Ｇの画像表示３７ａ中の１つの撮像画像上をタッチ操作した後階調調整ボタン３７ｃを操作すると、タッチ操作した撮像画像が編集対象画像となって編集作業が可能となる。また、画像表示３７ａ中の１つの撮像画像上をタッチ操作した後、別の撮像画像上をタッチ操作すると、２つのタッチ操作によって指定された撮像画像及びそれらの撮像画像が撮影される間に撮影されて得られた撮像画像が選択され、この状態でなだらかボタン３７ｂを操作することで、２つのタッチ操作によって選択された一連の複数の撮像画像が編集対象画像となる。
【０１１４】
本実施の形態においても、編集対象の画像については、ＪＰＥＧ画像に代えてＲＡＷ画像が用いられる。いま、例えば、撮像装置４０の記録部４３に、タイムラプス撮影による撮像画像として、図９Ａ及び図９Ｂに示すＪＰＥＧ画像Ｊ１，Ｊ２，…及びＲＡＷ画像Ｒ１，Ｒ２，…が記憶されているものとする。これらのＪＰＥＧ画像Ｊ１，Ｊ２，…及びＲＡＷ画像Ｒ１，Ｒ２，…は、タイムラプス撮影によって順次得られる画像であり、図３に示すように、ＪＰＥＧ画像Ｊ１，Ｊ２，…によってタイムラプス動画のＡＶＩファイル３０を構成するものである。
【０１１５】
ＪＰＥＧ画像Ｊ１，Ｊ２，…及びＲＡＷ画像Ｒ１，Ｒ２，…は、中央に山、山の手前に比較的暗い林及び山の後方に比較的明るい空を含むように風景をタイムラプス撮影したものであり、朝から夜までの風景の変化を示すものである。しかしながら、ＪＰＥＧ画像Ｊ１，Ｊ２…によるタイムラプス動画では、例えばＪＰＥＧ画像Ｊ３〜Ｊ６の輝度変化が滑らかではなく、風景の変化の様子はユーザが希望するものとなっていないものとする。この場合には、ユーザは図１０Ｇの画像表示３７ａ中のＪＰＥＧ画像Ｊ３，Ｊ６に対応するサムネイル画像上をタッチした後なだらかボタン３７ｂを操作する。
【０１１６】
制御部５１は、ステップＳ４８において、撮像装置４０において記録部４３に記録されている画像が転送されてその再生が指示されているか否かを判定しており、図１０Ｇの表示に対するタッチ操作によって、処理をステップＳ４９に移行する。制御部５１は、表示画面５７ａ上のＪＰＥＧ画像Ｊ３，Ｊ６に対応するサムネイル画像上のタッチ操作によって、指定された画像を選択するための制御信号を発生する。更に、制御部５１は、ステップＳ５０において編集／確認のための操作、即ち、なだらかボタン３７ｂの操作が行われると、所定の切換え条件が成立したものと判定して、ステップＳ６１において撮像装置４０にこれらの操作に基づく制御信号を送信する。
【０１１７】
これにより、撮像装置４０の制御部４１は、記録部４３からＪＰＥＧ画像Ｊ３〜Ｊ６に対応するＲＡＷ画像Ｒ３〜Ｒ６を読出して信号処理部４８に出力する（ステップＳ１４）。また、制御部４１は、信号処理部４８を制御して、読出したＲＡＷ画像Ｒ３〜Ｒ６及びタイムラプス動画に用いているＪＰＥＧ画像Ｊ１，Ｊ２，Ｊ７，Ｊ８を用いて、ＪＰＥＧ画像Ｊ３〜Ｊ６の部分において輝度がなだらかに変化するタイムラプス動画を生成させる。信号処理部４８は、ＲＡＷ画像Ｊ３〜Ｊ６及びその前後のＪＰＥＧ画像の輝度分布の変化の情報を元に、各ＲＡＷ画像Ｊ３〜Ｊ６の平均輝度を調整する補正を行う（ステップＳ１５）。こうして、信号処理部４８は、ＲＡＷ画像Ｒ３〜Ｒ６に対する輝度分布の補正処理により、ＪＰＥＧ画像Ｊ１，Ｊ２、補正後のＲＡＷ画像Ｒ３〜Ｒ６及びＪＰＥＧ画像Ｊ７，Ｊ８によって輝度がなだらかに変化するタイムラプス動画を生成する。
【０１１８】
信号処理部４８は、補正後のＲＡＷ画像Ｒ３〜Ｒ６をＪＰＥＧ化し、記録部４３にＪＰＥＧ画像Ｊ３〜Ｊ６として上書き記録する（ステップＳ１７）。なお、制御部４１は、更新したＪＰＥＧ画像Ｊ３〜Ｊ６について情報端末装置５０に送信するようになっていてもよい。
【０１１９】
また、図１０Ｅのメニュー画面が表示されている状態で、ユーザが確認ボタン３５ｂを操作するものとする。そうすると、図１０Ｈに示す確認画面が表示される。
【０１２０】
図１０Ｈの例では、表示画面５７ａ上には、図１０Ｅと同様に、タイムラプス表示３９、タイムラプス撮影による各撮像画像の確認を行うための確認ボタン３５ｂ、タイムラプス撮影による各撮像画像の編集を行うための編集ボタン３５ｃ、及び戻るボタン３５ｄが表示されている。確認画面におけるタイムラプス表示３９は、ＪＰＥＧ画像に代えてＲＡＷ画像を用いて表示されている。
【０１２１】
即ち、制御部５１は、確認ボタン３５ｂが操作されると、タイムラプス表示３５ａに用いられているＪＰＥＧ画像に対応するＲＡＷ画像の転送を撮像装置４０に要求する。撮像装置４０の制御部４１は、要求されたＲＡＷ画像を記録部４３から読み出して情報端末装置５０に送信する。情報端末装置５０の制御部５１は、受信したＲＡＷ画像に基づくサムネイル画像を生成してタイムラプス表示３９として表示する。
【０１２２】
撮影時に電子ズーム処理が行われている場合には、ＪＰＥＧ画像は元画像のうちの一部の画像である。これに対し、ＲＡＷ画像は元画像の全ての画像部分を含んでいる。従って、制御部５１は、ＲＡＷ画像に基づくサムネイル画像の作成時に、ＪＰＥＧ画像のファイルに含まれる切り出し範囲情報を用いて、表示する画像範囲を決定する。
【０１２３】
タイムラプス表示３９においては、ユーザが元画像の全ての画像部分を確認することができるようになっている。図１０Ｈの例では、タイムラプス表示３９は、元画像のうち中央に山の画像３９ａ、手前側に林の画像３９ｂを含むものである。ここで、ユーザがタイムラプス表示３９上を指３８でスライド操作するものとする。そうすると、制御部５１はユーザのスライド操作に応じて、元画像の切り出し範囲を変更してＲＡＷ画像のサムネイル画像を生成する。
【０１２４】
図１０Ｉはこの場合における確認画面を示しており、タイムラプス表示３９は、図１０Ｈの画像を画面右上方側に移動させたものであり、元画像のうち画面上端右端に林の画像３９ｂ、中央下部に湖の画像３９ｃを含んだものとなっている。ユーザはタイムラプス表示３９を参照することで、元画像にどのような画像部分が含まれるかを確認することが可能である。
【０１２５】
このように本実施の形態においても、第１の実施の形態と同様に、例えば、編集や表示等の所定の切換え条件が成立すると、ＪＰＥＧ画像に代えて対応するＲＡＷ画像を採用することで、ＪＰＥＧ画像に対する信号処理ではユーザが希望する画像が得られない場合でも、元画像の画像情報が略保持されたＲＡＷ画像に対する信号処理を行うことで、ユーザが希望する画像を得やすくなる。
【０１２６】
例えば、タイムラプス撮影を例に説明すると、タイムラプス撮影では、所定の撮影時間における画像の移り変わりを楽しむものと言える。この場合、各画像は、問題の無い画像であるとしても、タイムラプス動画では例えばある期間の画像については、輝度の変化が満足なものでない場合等もある。このような場合には、画像処理による補正を行うことが考えられる。この場合でも、ＪＰＥＧ画像に対する補正は可能である。しかし、一般的に、ＪＰＥＧ画像は圧縮前のＲＡＷ画像に比べて情報量が少なくなっており、圧縮前のＲＡＷ画像に対して画像処理を施した方が、理想的な画像が得やすいと考えられる。本実施の形態においては、例えばユーザがタイムラプス動画に対する画像処理を施そうとする場合を切換え条件に設定して、編集対象の区間のＪＰＥＧ画像に代えてＲＡＷ画像を用いて画像処理を施す。これにより、希望する画像処理効果を得ることができる。そして、処理後のＲＡＷ画像をＪＰＥＧ画像に変換して元のＪＰＥＧ画像に置き換える。これにより、ユーザが希望する画像編集が行われたタイムラプス動画を得ることができる。
【０１２７】
なお、上記実施の形態においては、ユーザがこだわり編集のためのボタン操作を行うことを切換え条件が成立したものと判定して、非可逆圧縮情報に代えて無圧縮又は可逆圧縮情報を用いる例を示したが、切換え条件を画像や音声を解析することで自動判定するようになっていてもよい。例えば、上述したタイムラプス動画では、輝度のなだらかな変化が期待されることがある。タイムラプス動画を構成する各撮像画像の平均輝度の変化を判定し、輝度のなだらかな変化が得られないことが検出されることを切換え条件の成立要件として、切換え条件の自動判定が可能である。更に、この場合には、輝度変化がなだからになるように、自動的な画像処理が可能である。
【０１２８】
本実施の形態においてはこの場合の画像処理に無圧縮又は可逆圧縮情報を用いることで、自動的にユーザが希望する画像変化が得られるタイムラプス動画を得ることが可能となる。タイムラプスは、早送りとも書け、過程をすばやく確認するのにも利用でき、一方で、生データ、無圧縮又は可逆圧縮情報は、こだわり観察、鑑賞に役立つ。例えば、専門家の中には、特定の信号処理をした方が、観察や診断やチェックがしやすいユーザがおり、そうした多様化やこだわりのニーズに応えることが出来る。
【０１２９】
なお、第２の実施の形態におけるタイムラプス動画に対する編集処理と同様の処理を第１の実施の形態における撮像装置においても実現可能であることは明らかである。
【０１３０】
また、上記実施の形態においては主に画像について説明したが、音声についても同様に適用可能である。
【０１３１】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。
【０１３２】
例えば、ユーザの好みの画像、音声などの情報を得るためのシステムとして、民生用の撮像システムに限るものではなく、ユーザが観察したり、診断したり、診察したりするための画像を得るためのシステムにも応用が可能である。ユーザの好みの画像を得るための処理は、レポートやエビデンス用の動画像に対する調整処理と表現しても良い。医療用であれば、内視鏡などにも応用が可能で、必要な処置の過程や、必要な患部のみをダイジェストに表現するもの、科学用であれば、細胞の培養の様子などで、もっともその特徴が現れた動画などを作成する際に活用が可能となる。動画像の変化の確認を行いながらの観察や撮影の制御が可能となる。
つまり、本発明によれば、非圧縮情報又は可逆圧縮情報と非可逆圧縮情報との両方を記録するなど、加工前後の情報を記録して、所定の切換え条件に従ってこれらの情報を選択することにより、例えば、高画質又は高音質で使い勝手のよい画像出力や音声出力を得ることができ、ニーズに合わせたデータ再生ができるという効果を有する。
こうした考え方は、画像コマの圧縮に関するもののみならず、コマ間圧縮についても応用することが出来る。また、音声においても、圧縮の有無や、サンプリング特性、ダイナミックレンジ特性、ノイズキャンセルの有無など、加工の有無や種類が違うと、加工前後それぞれのデータに異なる特徴が出る。画像でも最も簡単な例では、色つき画像と白黒画像など、元データと加工データで使い勝手が異なるものなども数多く、画像や音声の加工においては、圧縮に限らず種々の例を挙げることが出来る。つまり、連続してデータを取得して、素早く診断、観察する用途、そこから特定のデータをじっくり見る用途などで有効な構成なので、医療装置、観察装置、検査装置への応用が有効である。ロボットや検査装置で、位置を変更しながら撮像を繰り返して検査結果を出力するような用途もあるが、これも、位置ごとに、上記加工前後の画像データの両方を相互に関連付けて記録できるようにすれば、所定の切換え条件が成立したことが示された場合には、上記加工後情報に代えて上記加工前情報の対応する部分を上記記録部から読み出して出力する制御部とを具備する情報端末装置、観察装置、観察方法とすることによって、こだわり検査とじっくり検査の両立を行うことが可能となる。
【０１３３】
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
【０１３４】
また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の情報端末装置、撮像装置及び情報処理方法を実現することができる。
【符号の説明】
【０１３５】
１０…撮像装置、１１…制御部、１１ａ…切換え条件判定部、１１ｂ…切換え制御部、１２ａ…撮像部、１２ｂ…収音部、１３…信号処理部、１３ａ…撮影制御部、１３ｂ…収音制御部、１３ｃ…可逆圧縮処理部、１３ｄ…非可逆圧縮処理部、１３ｅ…関連付け部、１３ｆ…記録制御部，１３ｇ…リサイズ部、１３ｈ…表示制御部、１３ｉ…効果処理部、１４…記録部、１６…表示部、１７…操作部。
【図１】
0006665019.tif 000002
【図２】
0006665019.tif 000003
【図３】
0006665019.tif 000004
【図４】
0006665019.tif 000005
【図５】
0006665019.tif 000006
【図６】
0006665019.tif 000007
【図７】
0006665019.tif 000008
【図８】
0006665019.tif 000009
【図９Ａ】
0006665019.tif 000010
【図９Ｂ】
0006665019.tif 000011
【図１０Ａ】
0006665019.tif 000012
【図１０Ｂ】
0006665019.tif 000013
【図１０Ｃ】
0006665019.tif 000014
【図１０Ｄ】
0006665019.tif 000015
【図１０Ｅ】
0006665019.tif 000016
【図１０Ｆ】
0006665019.tif 000017
【図１０Ｇ】
0006665019.tif 000018
【図１０Ｈ】
0006665019.tif 000019
【図１０Ｉ】
0006665019.tif 000020