(57)【要約】【課題】スローモーション再生する高速画像データの確認を効率的に行う。【解決手段】情報処理装置は、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影することが可能であるとともに、前記ｎ倍のフレームレートで撮影された各画像をそれぞれ縦横１／ｎ１／2の縮小画像に縮小してｎ個の縮小画像を時間的に連続するように連結したマトリクス画を生成することが可能な撮像装置より伝送された前記マトリスク画を取得する画像取得部と、前記画像取得部にて取得された前記マトリクス画の中からユーザによる時間的範囲の選択を受け付ける入力部と、前記ユーザにより選択された時間的範囲に相当する、前記ｎ倍のフレームレートで前記撮影装置により撮影された画像の伝送を前記撮像装置に要求する制御部とを具備する。【選択図】図５
2013243574.tif 000002
【特許請求の範囲】
【請求項１】
予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影することが可能であるとともに、前記ｎ倍のフレームレートで撮影された各画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小してｎ個の縮小画像を時間的に連続するように連結したマトリクス画を生成することが可能な撮像装置より伝送された前記マトリスク画を取得する画像取得部と、
前記画像取得部にて取得された前記マトリクス画の中からユーザによる時間的範囲の選択を受け付ける入力部と、
前記ユーザにより選択された時間的範囲に相当する、前記ｎ倍のフレームレートで前記撮影装置により撮影された画像の伝送を前記撮像装置に要求する制御部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記制御部は、ユーザにより選択された時間的範囲に相当する、前記ｎ倍のフレームレートで前記撮影装置により撮影された画像を、前記情報処理装置からアクセス可能なストレージ部に伝送するように要求する
情報処理装置。
【請求項３】
予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影することが可能な撮像部と、
前記撮像部により前記ｎ倍のフレームレートで撮影された各画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小してｎ個の縮小画像を時間的に連続するように連結したマトリクス画を生成するマトリクス画生成部と、
前記マトリクス画を伝送系を通じて情報処理装置に伝送する伝送部と、
前記ｎ倍のフレームレートで撮影された画像を蓄積するストレージ部と、
前記ストレージに蓄積された画像の中から、前記情報処理装置のユーザにより前記マトリクス画の中から選択された時間的範囲に相当する画像を読み出す制御部と
を具備する撮像装置。
【請求項４】
画像取得部が、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影することが可能であるとともに、前記ｎ倍のフレームレートで撮影された各画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小してｎ個の縮小画像を時間的に連続するように連結したマトリクス画として伝送することが可能な撮像装置より、前記マトリスク画を取得し、
入力部が、前記画像取得部にて取得された前記マトリクス画の中からユーザによる時間的範囲の選択を受け付け、
制御部が、前記ユーザにより選択された時間的範囲に相当する、前記ｎ倍のフレームレートで前記撮影装置により撮影された画像の伝送を前記撮像装置に要求する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、例えば高速度カメラにより撮像（撮影）された画像データ（以下「高速画像データ」と呼ぶ。）に基づくスローモーション再生のための編集を行う場合に好適な情報処理装置、撮像装置、および情報処理方法に関する。
【背景技術】
【０００２】
近年、動画像のスローモーション再生を実現するために、通常のカメラのフレームレート（毎秒３０フレーム）をはるかに凌ぐ毎秒数百フレームから数千フレームといった高フレームレートで撮像することのできる高速度カメラが登場してきている。
【０００３】
例えば、特許文献１には、高速画像データを取り込み、信号処理を行い、スローモーション再生することのできるデータ処理装置に関する技術が開示されている。この特許文献１のデータ処理装置は、高速撮像モードにより撮像を行う際に、高速な入力データを画像コーデックと組み合わせて依存関係を持たない低速な分離データとして、信号処理を行う。そして、データ処理装置は、個々の作成されたストリームを個別に再生可能とすると共に、高速撮像モードにより撮像した後の再生時に依存関係を持たせることでスローモーション再生する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２７８４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載のデータ処理装置は、高速画像データに基づいてスローモーション再生することは可能であるが、スローモーション再生する高速画像データの時間的範囲の選択を効率的に行うことは不十分であった。
【０００６】
以上のような事情に鑑み、本技術の目的は、基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで撮影された画像において確認したい部分をユーザが効率的に選択することのできる情報処理装置、撮像装置、情報処理システムおよび情報処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本技術の一形態である情報処理装置は、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影することが可能であるとともに、前記ｎ倍のフレームレートで撮影された各画像をそれぞれ縦横１／ｎ１／2の縮小画像に縮小してｎ個の縮小画像を時間的に連続するように連結したマトリクス画を生成することが可能な撮像装置より伝送された前記マトリスク画を取得する画像取得部と、前記画像取得部にて取得された前記マトリクス画の中からユーザによる時間的範囲の選択を受け付ける入力部と、前記ユーザにより選択された時間的範囲に相当する、前記ｎ倍のフレームレートで前記撮影装置により撮影された画像の伝送を前記撮像装置に要求する制御部と、を具備する。
【０００８】
上記の情報処理装置は、前記マトリクス画の中から前記ユーザにより選択された時間的範囲に相当する、前記ｎ倍のフレームレートで前記撮影装置により撮影された画像の伝送を前記撮像装置に要求し、当該撮影装置より伝送された画像を記憶部に保存する伝送要求部をさらに具備するものであってよい。
【０００９】
前記制御部は、ユーザにより選択された時間的範囲に相当する、前記ｎ倍のフレームレートで前記撮影装置により撮影された画像を、前記情報処理装置からアクセス可能なストレージ部に伝送するように要求するものであってよい。
【００１０】
本技術の他の形態である撮像装置は、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影することが可能な撮像部と、前記撮像部により前記ｎ倍のフレームレートで撮影された各画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小してｎ個の縮小画像を時間的に連続するように連結したマトリクス画を生成するマトリクス画生成部と、前記マトリクス画を伝送系を通じて情報処理装置に伝送する伝送部と、前記ｎ倍のフレームレートで撮影された画像を蓄積するストレージ部と、前記ストレージに蓄積された画像の中から、前記情報処理装置のユーザにより前記マトリクス画の中から選択された時間的範囲に相当する画像を読み出す制御部と、を具備する。
【００１１】
本技術の他の形態である画像処理システムは、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影する撮像部と、前記撮像部により前記ｎ倍のフレームレートで撮影された各画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小してｎ個の縮小画像を時間的に連続するように連結したマトリクス画を生成するマトリクス画生成部と、前記マトリクス画を伝送路に送出可能な送出部とを具備する撮像装置と、前記撮像装置より、前記マトリスク画を取得する画像取得部と、前記画像取得部にて取得された前記マトリクス画の中からユーザによる時間的範囲の選択を受け付ける入力部と、を具備する。
【００１２】
本技術の他の形態である画像処理方法は、画像取得部が、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影することが可能であるとともに、前記ｎ倍のフレームレートで撮影された各画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小してｎ個の縮小画像を時間的に連続するように連結したマトリクス画として伝送することが可能な撮像装置より、前記マトリスク画を取得し、入力部が、前記画像取得部にて取得された前記マトリクス画の中からユーザによる時間的範囲の選択を受け付け、制御部が、前記ユーザにより選択された時間的範囲に相当する、前記ｎ倍のフレームレートで前記撮影装置により撮影された画像の伝送を前記撮像装置に要求する。
【発明の効果】
【００１３】
以上のように、本技術によれば、基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで撮影された画像において確認したい部分をユーザが効率的に選択することができる。
【図面の簡単な説明】
【００１４】
【図１】本技術に係る実施形態の画像処理システムの概要を示す図である。
【図２】本技術に係る実施形態の撮像装置の構成を示すブロック図である。
【図３】図２の撮像装置の動作を示すフローチャートである。
【図４】図２の撮像装置による１６倍速の高速画像データのマトリクス画像データを示す図である。
【図５】図２の撮像装置と組み合わせて用いられる情報処理装置の構成を示すブロック図である。
【図６】図５の情報処理装置の動作のフローチャートである。
【図７】図４のマトリクス画像データの一覧を示す図である。
【発明を実施するための形態】
【００１５】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
本実施形態は、高画質のスローモーション画像高速画の編集を行う場合に好適な情報処理装置、撮像装置、画像処理システムおよび画像処理方法に関するものである。
【００１６】
はじめに、高速画について説明する。
高速画は、高速度カメラにより連続的に撮影された画像データである。典型的なカメラによる撮像は毎秒３０フレーム（３０〔ｆｐｓ（フレーム毎秒）〕）で行われるのに対し、高速度カメラは、例えば毎秒数百フレーム、毎秒数千フレーム、毎秒数万フレームといった高フレームレートでの撮像を行うことのできるカメラである。このような高速度カメラにより撮像された高フレームレートの画像は基準のフレームレート（標準レート）で再生されることによってスローモーションの動画（スロー画）として再生される。例えば１６倍速の毎秒４８０フレームで撮像された高速画像データが毎秒３０フレームのレートで再生されることにより、基準のフレームレートの１／１６の速度でのスローモーション再生が実現される。
【００１７】
＜第１の実施形態＞
次に、本技術に係る第１の実施形態を詳細に説明する。
［画像処理システムの構成］
図１は、本技術に係る第１の実施形態の画像処理システムの構成を示すブロック図である。
この画像処理システム１０は、撮像装置１００、情報処理装置２００、カメラ制御ユニット３００、大容量ストレージ４００を備える。
【００１８】
［撮像装置１００の構成］
図２は、本技術に係る第１の実施形態の撮像装置１００の構成を示すブロック図である。
この撮像装置１００は、撮像部１０１、画像処理部１０２、間引き処理部１０３、ダウンコンバート部１０４、ストレージ１０５、バッファ１０６、スイッチャ１０７を備える。
【００１９】
撮像部１０１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて画像を撮像する。撮像部１２の撮影モードには、標準撮像モードと高速撮像モードがある。標準撮像モードは、基準のフレームレート例えば例えば３０〔ｆｐｓ〕のフレームレートで撮影を行うモードである。高速撮像モードは、基準のフレームレートのｎ（ｎは２以上の整数）倍のレートで撮影を行うモードである。例えば基準のフレームレートの１６倍のレート（４８０〔ｆｐｓ〕）で撮像を行うことが可能である。
【００２０】
画像処理部１０２は、撮像部１０１により撮像された信号から画像データを生成するための現像等の処理を行う。ここで、撮像部１０１により高速撮像モードで撮像された信号から生成された画像データを「高速画像データ」と呼ぶ。
【００２１】
間引き処理部１０３は、画像処理部１０２にて生成された高速画像データに対してフレーム間引きを行うことによって標準のフレームレートの画像データを「ＬＩＶＥ画」として生成する。
【００２２】
ダウンコンバート部１０４は、画像処理部１０２にて生成された高速画像データを縦横１／ｎ１／２のサイズに縮小するダウンコンバート処理を行う。バッファ１０６はｎ個の縮小画像が保持させたところで１フレームの画像データとして読み出されることによって標準のフレームレートの「マトリクス画」として出力されるように制御部１０８により制御される。すなわち、ダウンコンバート部１０４とバッファ１０６でマトリクス画生成部が構成される。
【００２３】
ストレージ１０５は、画像処理部１０２にて生成された高速画像データが蓄積される。ストレージ１０５に蓄積された高速画像データは標準のフレームレートで読み出されることによってスロー画として出力されるように制御部１０８により制御される。
【００２４】
スイッチャ１０７（伝送部）は、制御部１０８による制御のもと、バッファ１０６から読み出されたマトリクス画およびストレージ部１０５から読み出されたスロー画のうち、情報処理装置２００によって選択された一方の画像データを選択して出力する。
【００２５】
制御部１０８は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成される。制御部８１は、撮像装置１００の各部を制御する。
【００２６】
［撮像装置１００の動作］
次に、この撮像装置１００の動作を説明する。
図３は撮像装置１００の動作を示すフローチャートである。
前提として、撮像装置１００は、基準のフレームレートに対してｎ倍のフレームレートで撮像を行うように高速撮影モードが設定されているものとする。
【００２７】
まず、撮像部１０１にて基準フレームレートの１６倍の高フレームレートで撮像された信号から、画像処理部１０２にてデジタルの画像データが生成される（ステップＳ３０１、Ｓ３０２）。生成された画像データは、間引き処理部１０３およびダウンコンバート部１０４にそれぞれ供給される。
【００２８】
間引き処理部１０３は、供給された高速画像データに対してフレーム間引き処理を行うことによって標準のフレームレートのＬＩＶＥ画を生成する（ステップＳ３０３）。生成されたＬＩＶＥ画は高速伝送路を通じて接続されたカメラ制御ユニット３００に伝送され（ステップＳ３０４）、さらにカメラ制御ユニット３００に接続された大容量ストレージ４００に蓄積される。
【００２９】
一方、ダウンコンバート部１０４は、画像処理部１０２より供給された高速画像データを縦横１／ｎ１／２のサイズに縮小し（ステップＳ３０５）、バッファ１０６に供給する（ステップＳ３０６）。制御部１０８はバッファ１０６にｎ個の縮小画像が保存されたところで（ステップＳ３０７のＹＥＳ）、バッファ１０６からｎ個の縮小画像を時間的に連続するように連結した、標準のフレームレートの「マトリクス画」として読み出すように制御を行う（ステップＳ３０８）。
【００３０】
図４（Ａ）はダウンコンバート前の画像、図４（Ｂ）は図４（Ａ）を示す画像を縦横１／４のサイズにダウンコンバートして、バッファ１０６上で１６個の縮小画像を時間的に連続するように連結したマトリクス画の例である。
【００３１】
［情報処理装置２００の構成］
次に、上記の撮像装置１００とカメラ制御ユニット３００を通じて接続される情報処理装置２００について説明する。
図５は情報処理装置２００の構成を示すブロック図である。
【００３２】
この情報処理装置２００は、画像取得部２０１、画面生成部２０２、ディスプレイ部２０３、ユーザ入力部２０４、制御部２０５を備える。
【００３３】
画像取得部２０１は、カメラ制御ユニット３００を通じて撮像装置１００により伝送されたマトリクス画を取得する。画面生成部２０２は、画像取得部２０１により取得されたマトリクス画をディスプレイ部２０３に表示する。ユーザ入力部２０４は、ディスプレイ部２０３に表示されたマトリクス画においてスロー画として再生させたい時間的範囲の選択をユーザより受け付ける。制御部２０５は、ユーザ入力部２０４にて選択された時間的範囲に相当するスロー画の伝送を撮像装置１００に要求する信号を生成し、カメラ制御ユニット３００を通じて撮像装置１００に伝送する。
【００３４】
［情報処理装置２００の動作］
次に、この情報処理装置２００の動作を図６のフローチャートを参照して説明する。
まず、画像取得部２０１にて、カメラ制御ユニット３００を通じて撮像装置１００により伝送されたマトリクス画を取得する（ステップＳ６０１）。取得されたマトリクス画は画面生成部２０２によってディスプレイ部２０３に表示される（ステップＳ６０２）。例えば図７に示すように、１６個の縮小画像は時間的に連続するように横一列に並べて一覧可能なように表示される。
【００３５】
ここで、ユーザは、ディスプレイ部２０３に表示されたマトリクス画の中から、スロー画を確認したい時間的範囲をユーザ入力部２０４を用いて選択する操作を行うことができる（図７参照）（ステップＳ６０３）。この選択操作は、例えば、マトリクス画を構成する１６個の縮小画像のうち、スロー画を確認したい時間的範囲の開始時点に相当する縮小画像から当該時間的範囲の終了時点に相当する縮小画像までを選択することなどによって行われる。
【００３６】
制御部２０５は、ユーザにより選択された時間的範囲に相当するスロー画の伝送を要求する信号をカメラ制御ユニット３００を通じて撮像装置１００に送信する（ステップＳ６０４）。
【００３７】
撮像装置１００の制御部１０８は、情報処理装置２００からのスロー画伝送要求を受信すると、このスロー画伝送要求に含まれるスロー画の時間的範囲を特定する情報をもとに、該当する時間的範囲のスロー画を構成する高速画像データをストレージ１０５から読み出し、カメラ制御ユニット３００を通じて大容量ストレージ４００に伝送し、そこに蓄積させる。
【００３８】
これにより、ユーザは、大容量ストレージ４００に蓄積されたスロー画を構成する高速画像データを情報処理装置２００に取り込み、情報処理装置２００のディスプレイ部２０３で確認することができる。
【００３９】
上記の実施形態によれば、高速画像データを縮小したマトリクス画像データを利用してその一覧表示された画面からスローモーション再生を行う時間的範囲を選択することができる。これにより、一覧表示された画面を簡単に確認しながらスローモーション再生を行う時間的範囲を効率的に選択することができる。
また、高速カメラシステムにおいて、コーデック技術などを用いないシンプルなＤｕａｌＬｉｎｋ伝送システムにおいて、より効率的に高速カメラシステムを運用することができる。
【００４０】
従来のデータ処理装置は、高速画像データに基づいてスローモーション再生が可能であった。しかし、所定のフレームレートのｎ（ｎは２以上の整数）倍速のｎ個の画像データを縮小した１フレーム分のマトリクス画像データを利用してスローモーション再生を行いたい時間的範囲の高速画像データに関連するデータのみを効率的に高速度カメラを含むその他の機器に伝送することは困難であった。すなわち、スローモーション再生を行う時間的範囲を、高速画像データの一覧などを簡単に確認しながら選択し、その箇所に関連するデータのみを伝送することによるユーザビリティの確保は困難であった。上記の実施形態によれば、このような課題を解決することができる。
【００４１】
以上、高速度カメラにより撮像された高速画像データを処理する方法および装置について説明してきたが、本技術は、典型的な映画用カメラ、ビデオカメラにより撮像された画像データを処理する装置にも、信号処理用のハードウェアの規模縮小などを図るために適用可能であることは言うまでもない。
【符号の説明】
【００４２】
１００…撮像装置
１０１…撮像部
１０２…画像処理部
１０４…ダウンコンバート部
１０５…ストレージ
１０６…バッファ
１０８…制御部
２００…情報処理装置
２０１…画像取得部
２０２…画面生成部
２０３…ディスプレイ部
２０４…ユーザ入力部
２０５…制御部
３００…カメラ制御ユニット
４００…大容量ストレージ
【図１】
2013243574.tif 000003
【図２】
2013243574.tif 000004
【図３】
2013243574.tif 000005
【図４】
2013243574.tif 000006
【図５】
2013243574.tif 000007
【図６】
2013243574.tif 000008
【図７】
2013243574.tif 000009