(57)【要約】【課題】特殊カメラを用いることなく、複数方向の映像から、希望するある一方向の映像のみを再生可能とする。【解決手段】映像を撮影し、対応する映像信号９を出力するカメラ１０と、撮影方向を複数の方向に切り替えるように、カメラ１０の姿勢を変更させるモータ５０と、カメラ１０からの映像信号に含まれる複数方向において取得された複数のフレーム９を蓄積するフレーム蓄積部２１と、蓄積された複数のフレーム９のうち、所定の方向に対応したフレーム１１を抽出するフレーム抽出部２３と、フレーム抽出部２３で抽出されたフレーム１１を表示可能な表示装置３０とを備える。【選択図】図３
2010130190.tif 000002
【特許請求の範囲】
【請求項１】
映像を撮影し、対応する映像信号を出力する撮像手段と、
撮影方向を複数の方向（以下、複数方向と称する）に切り替えるように、前記撮像手段を駆動してその姿勢を変更させる駆動手段と、
前記撮像手段からの映像信号に含まれる、前記複数方向において取得された複数のフレームを蓄積するフレーム蓄積手段と、
前記フレーム蓄積手段に蓄積された複数のフレームのうち、所定の方向に対応したフレームを抽出するフレーム抽出手段と、
前記フレーム抽出手段で抽出されたフレームを表示可能な表示手段と
を有することを特徴とする映像処理システム。
【請求項２】
請求項１に記載の映像処理システムにおいて、
前記複数方向のうち特定の方向を操作者が指示入力可能な第１操作手段を有することを特徴とする映像処理システム。
【請求項３】
請求項２に記載の映像処理システムにおいて、
前記フレーム抽出手段は、
前記フレーム蓄積手段に蓄積された複数のフレームのうち、前記第１操作手段で指示入力された前記特定の方向に対応したフレームを抽出し、
前記表示手段は、
前記フレーム抽出手段で抽出された、前記特定の方向に対応したフレームを表示することを特徴とする映像処理システム。
【請求項４】
請求項３に記載の映像処理システムにおいて、
操作者が、フレームを時系列に沿って表示させるための第２操作手段を有し、
前記表示手段は、
前記第２操作手段での指示入力に応じて、前記フレーム蓄積手段に蓄積された複数のフレームを時系列に沿って表示することを特徴とする映像処理システム。
【請求項５】
請求項２に記載の映像処理システムにおいて、
前記フレーム抽出手段は、
前記フレーム蓄積手段に蓄積された複数のフレームを、予め定められた複数の設定方向ごとに抽出し、各設定方向ごとに並び替えて再構成する
ことを特徴とする映像処理システム。
【請求項６】
請求項５に記載の映像処理システムにおいて、
前記表示手段は、
前記フレーム抽出手段で再構成された各設定方向ごとのフレームのうち、前記第１操作手段で指示入力された前記特定の方向に対応した前記設定方向のフレームを表示することを特徴とする映像処理システム。
【請求項７】
請求項２乃至６のいずれかに記載の映像処理システムにおいて、
前記第２操作手段は、
操作者が、特定の方向のフレームを時系列と逆の順序に沿って表示させるための逆順序指示手段を含み、
前記表示手段は、
前記逆順序指示手段での指示入力に応じて、前記フレーム抽出手段で抽出されたフレームを時系列と逆の順序に沿って表示することを特徴とする映像処理システム。
【請求項８】
請求項１乃至７のいずれかに記載の映像処理システムにおいて、
前記駆動手段は、
前記撮像手段を周方向全周にわたって回転駆動することで、前記撮影方向を、前記周方向全周にわたって切り替え、
前記フレーム蓄積手段は、
前記撮像手段からの映像信号に含まれる、前記周方向全周において取得された複数のフレームを蓄積し、
前記フレーム抽出手段は、
前記フレーム蓄積手段に蓄積された前記周方向全周に係わる複数のフレームのうち、所定の方向に対応したフレームを抽出する
ことを特徴とする映像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば周囲を撮影した映像を処理する映像処理システムに関する。
【背景技術】
【０００２】
例えば、監視カメラを回転して定期的に周囲の様子を撮影し、撮影された映像を表示装置で再生して、侵入者の有無等の異常の発生を監視する技術が従来より知られている。このようにカメラを回転して撮影した映像を見る場合、全方位に関して異常がないかを概観するにはよいが、ある方向の映像が気になったときに、その方向だけの映像を見ることはできない。回転する映像からある方向の映像を見ようとした場合、回転ごとに他の方向の画像が間に挟まるので、一々他の方向の画像も見なければならず非効率であるばかりか、同一方向の時系列的な様子の変化が捕らえにくい。
【０００３】
これに対応して、複数方向の映像から任意の方向を選択して当該方向の映像を連続表示するための、特許文献１に記載の技術が知られている。この従来技術では、複数の映像取り込み手段（レンズ）を設けた１つの全方位カメラを用意し、同時に複数方向を撮影する。そして、撮影した複数方向の映像から、一方向の映像の画像のみを選択可能となっている。
【特許文献１】特開平８−２８９１７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来技術においては、複数方向の映像から一方向の映像の画像のみを選択することで、希望するある一方向の映像のみを再生することはできる。しかしながら、全方位を同時に撮影するため、複数のレンズを設けた特殊なカメラを用意しなければならなかった。
【０００５】
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１記載の発明は、映像を撮影し、対応する映像信号を出力する撮像手段と、撮影方向を複数の方向（以下、複数方向と称する）に切り替えるように、前記撮像手段を駆動してその姿勢を変更させる駆動手段と、前記撮像手段からの映像信号に含まれる、前記複数方向において取得された複数のフレームを蓄積するフレーム蓄積手段と、前記フレーム蓄積手段に蓄積された複数のフレームのうち、所定の方向に対応したフレームを抽出するフレーム抽出手段と、前記フレーム抽出手段で抽出されたフレームを表示可能な表示手段とを有する。
【発明を実施するための最良の形態】
【０００７】
本発明の一実施形態の映像処理システム１００を搭載した車両３の構成例を、図１に示す。
【０００８】
車両３は、例えば自動車であり、その運転者の操作によって前進したり後進したり左右に各々曲がることができる。車両３は映像処理システム１００を搭載しており、この映像処理システム１００は、カメラ１０、モータ５０、画像処理装置２０、表示装置３０及び操作スイッチ４０を備えている。
【０００９】
カメラ１０は撮像手段に相当し、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）を用いたいわゆるデジタルカメラである。このカメラ１０は、車両３のルーフの内側にモータ５０（駆動手段に相当）を介して取り付けられており、緩く前傾した姿勢で水平方向に回転可能に設置されている。このカメラ１０は、例えば時計回りに回転して、車両３の内外の周囲を撮影し、対応する映像信号９を出力する機能を有する。車両３の侵入者を撮影できるようにしてもよい。
【００１０】
図２は、回転するカメラ１０による撮影挙動を表す平面図である。この実施形態では、一例として、図示のように、カメラ１０で車両３の内外の周囲を前方、右方、後方、左方の４方向の視野で撮影し、各方向の視野が角度９０°である場合を例にとって説明する。
【００１１】
図１に戻り、画像処理装置２０は、特に図示しないが、中央演算処理装置であるＣＰＵ、ＲＯＭ及びＲＡＭ等のメモリ、及び入出力インターフェース等を有するコンピュータとして機能するものである。すなわち、画像処理装置２０は、ＲＡＭの一時記憶機能を利用しつつＲＯＭに予め記憶された画像処理プログラムに従って信号処理を行う。この画像処理プログラムを実行することによって、映像信号９に対し所定の画像処理を行って任意の所定のフレームを抽出し、この抽出したフレームデータ１１を表示装置３０に出力する。これにより、車両３の内外の周囲の様子を撮影した複数方向の映像から操作者が所望する一定方向の映像のフレームを選択して、表示装置３０で再生させる機能を有する（詳細は後述）。
【００１２】
表示装置３０は表示手段に相当し、画像処理装置２０から受け取ったフレームデータ１１に基づく画像を再生して表示する。この表示装置３０は、例えば車両３の車内に設けられた液晶表示装置などのディスプレイである。この表示装置３０は、例えば走行すべき経路を誘導するナビゲーション装置の表示装置又はテレビジョン受信装置の表示装置と兼ねることができる。
【００１３】
操作スイッチ４０は、その操作による選択で生成された所定方向のフレームの抽出を指示する指示信号４３を、画像処理装置２０に入力する。
【００１４】
図３は、画像処理装置２０の機能構成の一例を示すブロック図である。この図３に示すように、画像処理装置２０は、フレーム蓄積部２１と、フレーム抽出部２３と、画像出力部２５とを備えている。
【００１５】
画像処理装置２０には、上述した回転するカメラ１０によって車両３の内外の周囲の様子を複数方向で撮像した映像信号９が入力される。この映像信号９は、複数方向の画像を構成する複数方向のフレームデータを含み、各フレームデータには撮影時刻データと撮影方向データとが付属されている。なお、フレーム９，１１のすべてにこれらのデータを付与せず、所定数のフレームおきに設けるようにしてもよい。
【００１６】
フレーム蓄積部２１はフレーム蓄積手段に相当し、画像処理装置２０に入力された映像信号９に含まれる複数方向のフレームデータを蓄積する。
【００１７】
フレーム抽出部２３はフレーム抽出手段に相当し、操作スイッチ４０の操作による選択で生成された所定方向のフレームの抽出を指示する指示信号４３が、入力される。フレーム抽出部２３は、操作スイッチ４０における後述する回転キー４１から手を離すことによる指示信号４３の入力により抽出する方向が指定されると、フレーム蓄積部２１に蓄積された複数方向のフレームデータを取り込み、取り込んだ複数方向のフレームデータから指定された方向のフレームデータ１１を読み出して抽出し、抽出されたフレームデータ１１を画像出力部２５に出力する。
【００１８】
画像出力部２５は、フレーム抽出部２３から出力されたフレームデータ１１を取得して表示装置３０に出力する。これにより、操作者が方向を選択することにより、見たい方向のフレームに対応した映像が表示装置３０で再生される。なお、操作スイッチ４０からの指示信号４３の入力により、フレーム抽出部２３からフレーム蓄積部２１にアクセスして、フレーム蓄積部２１から指定された方向のフレームデータを抽出するようにしてもよい。
【００１９】
図４は、カメラ１０で撮像された映像のフレーム構成を示す概念図である。
カメラ１０は、この例では、１回転目の撮影を前方から始めて時計方向に４回転して、１回転目〜４回転目の各回転において、図２に示した前方、右方、後方、左方の４方向を撮影している。なお、このような一周４区分に限られず、一度単位や数度単位、さらには、車内レイアウトに対応して「車両前方」「助手席方向」「左後部座席側」「車両後方」「右後部座席側」「運転席方向」などと区分してもよい。さらにこれら平面的な区分に上下方向の区分も加え、例えば斜め下方向の角度で３６０°一周撮影した後、斜め上方向の角度で３６０°一周撮影するようにしてもよい。
【００２０】
そして、上記のような撮影で得られた４方向の映像を構成するフレームを撮影時間順に第１フレーム〜第１６フレームとし、撮影方向及び時間に関して模式的に展開して示すと、図示のように螺旋に近似した態様に配列される。すなわち、フレーム蓄積部２１には、映像信号９が、撮影方向及び時間に対し螺旋状に配列されるフレームデータとして蓄積される。
【００２１】
図５に、操作スイッチ４０のスイッチ盤面の一例を示す。
図５に示すように、操作スイッチ４０は、抽出するフレームを選択するための回転キー４１及び時間キー４２を有する十字キー４３を備えている。図６に、上記回転キー４１及び時間キー４２を用いたフレーム配列からのフレームの選択の様子を示す。
【００２２】
回転キー４１は、フレーム蓄積部２１に蓄積された複数方向のフレームデータからどの方向のフレームデータを抽出するかの方向を選択する機能を備えている。
【００２３】
すなわち、回転キー４１の一端の「＋」キーを指で押すと、図６に示すフレーム配列の螺旋に沿って左上から右下へ下るように順方向にフレームを進ませつつ、通常の時系列に沿った再生が表示装置３０で行われる。すなわち、この場合はフレーム抽出部２３によるフレーム抽出は行われない。回転キー４１の他端の「−」キーを押すと、図６に示すフレーム配列の螺旋に沿って右下から左上にさかのぼるようにフレームを戻らせつつ、通常の時系列とは反対の再生が表示装置３０で行われる。
【００２４】
いずれの場合も、回転キー４１の「＋」「−」キーを押している間のみ、表示装置３０において、対応する時系列方向又はその逆のさかのぼり方向に沿った画像が表示される。なお、時系列方向に画像が表示されるときは、回転キー４１を押す操作が、第２操作手段に相当している。そして、回転キー４１を押すのを止めると、押すのを止めた時点のフレームが属する方向、つまりフレーム方向が選択される。したがって、回転キー４１を押すのを止める操作が、第１操作手段に相当している。表示装置３０に表示される画像は、回転キー４１を止めた時点のフレームに対応した画像を再生したまま停止する。
【００２５】
一方、時間キー４２は、選択された特定の方向における映像のフレームデータを、正逆のどの時間順に抽出するかを選択する機能を備えている。上記のように回転キー４１を押すのを止めたことで、その押すのを止めたことで定まる特定の方向が選択されている。
【００２６】
この状態で、時間キー４２の一端の「＋」キーを指で押すと、フレーム抽出部２３が、図６に示すように、フレーム配列の螺旋を上から下へ下る向きに直線的に串刺しに縦断するように、上記特定方向における複数のフレームを時系列方向に順次抽出する。時間キー４２の他端の「−」キーは逆順序指示手段に相当し、この「−」キーを押すと、フレーム配列の螺旋を特定方向において下から上に上る向きに直線的に串刺しに縦断するように、上記特定方向における複数のフレームを時系列と反対にさかのぼる方向に順次抽出する。いずれの場合も、時間キー４２を押している間だけ、対応する特定方向のフレームがフレーム抽出部２３で抽出され、表示装置３０において画像が表示される。そして、時間キー４２を押すのを止めると、表示装置３０に表示される画像は、時間キー４２を押すのを止めた時点のフレームに対応した画像を再生したまま停止する。
【００２７】
なお、上記のように回転キー４１や時間キー４２を押すと表示装置３０で画像が表示されるのではなく、これらのキー４１，４２のいずれか（又は別途設けたカーソル移動用のキーでもよい）を指で手動操作することで、図６に示すフレーム配列のうち所望の特定のフレームに移動するようにしてもよい。この場合、そのキーから指を離したら（あるいは離した後に別途設けた再生ボタンを押したら）、その時点のフレームが属する方向、つまりフレーム方向が選択され、前述と同様、フレーム配列の螺旋を上から下へ下る向きに直線的に串刺しに縦断するように、上記特定方向における複数のフレームを時系列方向に順次抽出するようにしてもよい。これにより、対応する特定方向のフレームがフレーム抽出部２３で抽出され、表示装置３０において画像が時間順に（又は時間を遡って）表示される。
【００２８】
さらに、回転キー４１を左右方向のカーソル移動用のキーとして用い（又は別途カーソル左右移動用のキーを設けてもよい）、図６の螺旋状のフレーム配列の最上段の第１フレーム〜第４フレームのうちいずれか１つ（あるいはフレーム方向自体を選択してもよい）を手動操作で選択したら、そのフレームが属する方向、つまりフレーム方向が選択され、前述と同様、フレーム配列の螺旋を上から下へ下る向きに直線的に串刺しに縦断するように、上記特定方向における複数のフレームを時系列方向に順次抽出するようにしてもよい。このとき抽出するフレームは、当該方向においてフレーム蓄積部２１に蓄積されたフレームの全部を抽出してもよいし、ある決まった所定時間分のフレームを抽出するようにしてもよい。これにより、対応する特定方向のフレームがフレーム抽出部２３で抽出され、表示装置３０において画像が時間順に（又は時間を遡って）表示される。
【００２９】
なお、回転キー４１によるフレームを選択するスピード（螺旋状のフレーム配列上を移動するスピード）は、映像をリアルタイムに再現するスピードでも、早回しするスピードでもよい。また、回転キー４１をリアルタイム用のキーと早回し用のキーの２つのキー機能を兼ねたダブルアクッションキーに構成してもよい。あるいいは、回転キー４１をリアルタイム用のキーと早回し用のキーの別々のキーを持つ構成にしてもよい。いずれも、早回しの場合は、画像を間引いて再生し、その間引く枚数は再生スピードの増加に対し多くなるようにする。また、回転キー４１及び時間キー４２とも押すのを離すと、表示装置３０には静止画像が表示されたままで停止するが、再生キーを別途設けて、画像の再生を再開するようにしてもよい。
【００３０】
図７は、上記画像処理装置２０におけるデータ処理の一例を概念的に示す説明図である。撮影は、カメラ１０を例えば４回転以上回転させ、各回転で前方、右方、後方、左方の４方向で行った場合である。図７（ａ）〜図７（ｃ）において、フレームデータは、図４と同様、第１フレーム、第２フレーム、…の順で、上から下に時間経過順に並べている。
【００３１】
図７（ａ）は、フレーム蓄積部２１に蓄積されるフレームデータを表示したものである。各フレームデータ１１には、撮影時刻及び撮影方向の付属データが含まれている。
【００３２】
図示の例では、撮影方向データは、前方を基準０°としたときの回転方向累計角度で表しており、回転歩行に沿って、第１回転目の前方撮影時の第１フレームが０°、右方撮影時の第２フレームが９０°、後方撮影時の第３フレームが１８０°、左方撮影時の第４フレームが２７０°、さらに第２回転目の前方撮影時の第５フレームが３６０°、右方撮影時の第６フレームが４５０°、…のようになっている。
また、撮影時刻データは、例えば１００分の１秒単位で「＊＊時＊＊分＊＊秒＊＊」のように各フレームに対し付加されている。
【００３３】
例えば操作者が操作スイッチ４０の上記回転キー４１及び時間キー４２を操作し、右方向を撮影した映像のフレームデータの抽出を選択する。すると、フレーム抽出部２３は、図７（ａ）に示すフレーム蓄積部２１に蓄積されたフレームデータから、図７（ｂ）に示す右方を撮影した第２フレーム、第６フレーム、第１０フレーム、・・・等のフレームデータだけを抽出する。この抽出された右方向の第２フレーム、第６フレーム、第１０フレーム、・・・のフレームデータ１１は画像出力部２５に送られ、図７（ｃ）に示すように、空きフレームのないフレームデータ群として再構成され、表示装置３０に出力される。これにより、表示装置３０でそれら再構成されたフレームに基づき、右方向の映像が再生される。
【００３４】
本実施形態の映像処理システム１００は以上のような一構成例であり、次に図８及び図９を参照しつつ当該一構成例による映像処理方法の一例について説明する。まず、カメラ１０の動作について図８により説明する。
【００３５】
図８においてフローが開始されると、まずステップＳ１０において、カメラ１０が撮影開始信号（以下、トリガーと称する）を取得したか否かを判定する。例えば操作者によりカメラ１０の電源スイッチが押される等によりトリガーがカメラ１０で取得され判定が満たされるまでループ待機し、判定が満たされたら次のステップＳ２０に移る。
【００３６】
ステップＳ２０では、モータ５０によりカメラ１０を回転させて、車両３の内外の周囲の様子を複数方向で撮影する。そしてステップＳ３０で、ステップＳ２０において複数方向で得られた映像の各フレームに、前述した撮影時刻データと撮影方向データを付与する。
【００３７】
その後、ステップＳ４０で、カメラ１０が所定回数だけ回転したか否かを判定する。この所定回数は、操作の都度操作者が例えば操作スイッチ４０等により適宜に設定するようにしてもよいし、予め固定的に定められていてもよい。所定回数に達していない間は判定が満たされず、ステップＳ４０の手順を繰り返し、カメラ１０の回転及び撮影を続行する。所定の回数に達して判定が満たされた場合は、ステップＳ５０に移り、カメラ１０の回転及び撮影を停止する。
【００３８】
その後、ステップＳ６０で、撮影により得られた映像信号９をフレーム蓄積部２１に出力し、画像処理装置２０のフレーム蓄積部２１に映像の複数方向のフレームデータ１１を蓄積する。その後、ステップＳ１０に戻り、同様の手順を繰り返す。
【００３９】
次に、画像処理装置２０の動作例について図９により説明する。
図９においてフローが開始されると、まずステップＳ１１０において、表示装置３０での映像の閲覧指示があったか否かを判定する。例えば操作者により表示装置３０の電源スイッチが押される等により閲覧指示がされるまでループ待機し、閲覧指示があり判定が満たされたら次のステップＳ１１５に移る。
【００４０】
ステップＳ１１５では、所定期間内に撮影した映像があるか否かを判定する。この所定期間としては、例えば閲覧指示時点からある定められた固定期間だけさかのぼった間、等とすることが考えられる。フレーム蓄積部２１に所定期間内に撮影したフレームデータ１１が蓄積されていなければ判定が満たされずフローを終了し、フレームデータ１１が蓄積されていれば判定が満たされ、次のステップＳ１２０に移る。
【００４１】
ステップＳ１２０では、操作者により操作スイッチ４０の回転キー４１が押されたか否かを判定する。回転キー４１が押された場合は判定が満たされ、次のステップＳ１２５に移る。判定が満たされない場合はステップＳ１４５に移る。
【００４２】
ステップＳ１２５では、回転キー４１の「＋」キー又は「−」キーを押すことで指定されたフレーム、例えばステップＳ１１５においてフレーム蓄積部２１への蓄積が確認された複数のフレームのうち、最も時間が古いものに対応する画像を表示装置３０で再生表示する。回転キー４１の「＋」キーが押された場合、前述したように、上記指定されたフレームから時系列に沿ったフレームの画像が順次再生表示され、「−」キーが押された場合上記指定されたフレームから時系列とは逆向きのさかのぼり方向に沿ってフレームの画像が順次再生表示される。
【００４３】
次のステップＳ１３０では、操作者が回転キー４１を押すのを止め、手が離されたか否かを判定する。回転キー４１を押し続けていれば判定が満たされず、上記ステップＳ１２５に戻り、同様の手順を繰り返す。回転キー４１を押すのを止めた場合は判定が満たされ、次のステップＳ１３５に移る。
【００４４】
ステップＳ１３５では、回転キー４１を押すのを止めた時点のフレーム方向、すなわちそのフレームに対応した撮影方向を固定する。そして次のステップＳ１４０で、ステップＳ１３０で回転キー４１を押すのを止めた時点のフレームに対応した画像を表示したまま再生停止し、いわゆる再生ポーズ状態とする。その後、ステップＳ１４５に移る。
【００４５】
ステップＳ１４５では、操作者により操作スイッチ４０の時間キー４２が押されたか否かを判定する。時間キー４２が押されず判定が満たされない場合は、ステップＳ１２０に戻り、同様の手順を繰り返す。時間キー４２が押された場合は判定が満たされ、次のステップＳ１５０に移る。
【００４６】
ステップＳ１５０では、上記ステップＳ１３５で固定したフレーム方向に対応する複数のフレームを抽出し、表示装置３０でそれら抽出されたフレームに対応する画像を順次再生する。すなわち、時間キー４２の「＋」キーが押された場合、前述したように、上記抽出されたフレームにそれぞれ対応する画像が順方向に順次表示される。時間キー４２の「−」キーを押すと、上記抽出されたフレームにそれぞれ対応する画像が逆方向（遡り方向）に順次表示される。
【００４７】
その後、ステップＳ１５５では、操作者が時間キー４２を押すのを止め、手が離されたか否かを判定する。時間キー４２を押し続けていれば判定が満たされず、上記ステップＳ１２０に戻り、同様の手順を繰り返す。時間キー４２を押すのを止めた場合は判定が満たされ、次のステップＳ１６０に移る。
【００４８】
ステップＳ１６０では、時間キー４２を押すのを止めた時点のフレームに対応した画像を表示したまま再生停止し、いわゆる再生ポーズ状態とする。その後、ステップＳ１２０に移り、同様の手順を繰り返す。
【００４９】
上記実施形態における映像処理システム１００においては、映像を撮影し、対応する映像信号を出力する撮像手段１０（カメラに相当）と、撮影方向を複数の方向（以下、複数方向と称する）に切り替えるように、前記撮像手段１０を駆動してその姿勢を変更させる駆動手段５０（モータに相当）と、前記撮像手段１０からの映像信号９に含まれる、前記複数方向において取得された複数のフレーム９を蓄積するフレーム蓄積手段２１（フレーム蓄積部に相当）と、前記フレーム蓄積手段２１に蓄積された複数のフレーム９のうち、所定の方向に対応したフレームを抽出するフレーム抽出手段２３（フレーム抽出部に相当）と、前記フレーム抽出手段２３で抽出されたフレームを表示可能な表示手段３０（表示装置に相当）とを有する。
【００５０】
本実施形態の映像処理システム１００においては、駆動手段５０によって撮像手段１０が駆動される。その駆動によって撮像手段１０の姿勢が変更され、撮影方向が複数の方向に切り替わる。この結果、その複数の方向で撮影された映像の映像信号９が撮像手段１０からフレーム蓄積手段２１に入力され、複数の方向において取得された複数のフレーム９がフレーム蓄積手段２１に蓄積される。こうして蓄積された複数のフレーム９から、フレーム抽出手段２３によって所定の方向（一定の角度範囲を持つようにしてもよい。後述の（３）の変形例参照）に対応したフレーム１１のみが抽出され、表示手段３０で表示される。
【００５１】
これにより、操作者は、複数方向の撮影映像の中から、ある一方向の映像のみを選択的に見ることが可能となる。言い換えれば、同一方向の連続的な監視映像を実現可能である。そして、上記のように１つの撮像手段１０を駆動しての複数方向の映像から所定の方向を抽出して表示させることにより、複数のレンズを備えた特殊カメラを用意する必要がない。あるいは、複数方向すべてにおいて方向固定のカメラを配置し各カメラごとの映像を切り替え表示する場合に比べ、システム構成を簡素化することができ、また複数カメラの同期等の複雑な制御を行う必要もない。
【００５２】
上記実施形態における映像処理システム１００においては、上述した構成に加えてさらに、前記複数方向のうち特定の方向を操作者が指示入力可能な第１操作手段４１（回転キーに相当）を有する。
【００５３】
これにより、操作者は、複数方向の撮影映像の中から自らの意図する所望の方向を指定し、当該方向の映像のみを選択的に見ることができる。また指示入力する方向を適宜に変えることにより、その都度、別方向の映像を適宜に見ることもできる。さらに、全方位のうち特定の同一方向において異常がないか確かめたいとき、ゆっくりとした全周回転撮影では時系列的な変化がとらえにくいが、本実施形態では、選択されたある一方向の画像を見ることにより特定方向の時系列的変化がわかりやすくなる。
【００５４】
上記実施形態における映像処理システム１００においては、上述した構成に加えてさらに、前記フレーム抽出手段２３は、前記フレーム蓄積手段２１に蓄積された複数のフレーム９のうち、前記第１操作手段４１で指示入力された前記特定の方向に対応したフレーム１１を抽出し、前記表示手段３０は、前記フレーム抽出手段２３で抽出された、前記特定の方向に対応したフレーム１１を表示する。
【００５５】
撮影時には複数の方向すべてにわたるフレーム９を蓄積手段２１に蓄積しておき、その中から操作者の意図する方向のフレーム１１を抽出して表示する。したがって、操作者の指示入力する方向が変化した場合でも、その都度その指示入力される方向に応じた映像を、確実に表示させることもできる。
【００５６】
上記実施形態における映像処理システム１００においては、上述した構成に加えてさらに、操作者が、フレーム１１を時系列に沿って表示させるための第２操作手段４１（回転キーに相当）を有し、前記表示手段３０は、前記第２操作手段４１での指示入力に応じて、前記フレーム蓄積手段２１に蓄積された複数のフレーム９を時系列に沿って表示する。
【００５７】
これにより、操作者が、第１操作手段４１の指示入力に沿った特定の方向の映像を表示させるのではなく、駆動手段１０による姿勢変更に対応して時系列に沿った複数方向の映像を順次表示させたい場合に、そのようなニーズに対応した表示を行うことができる。したがって、操作者にとって利用態様の幅が拡がり、利便性を向上することができる。
【００５８】
上記実施形態における映像処理システム１００においては、上述した構成に加えてさらに、前記第２操作手段４１は、操作者が、特定の方向のフレーム１１を時系列と逆の順序に沿って表示させるための逆順序指示手段４２（時間キーに相当）を含み、前記表示手段３０は、前記逆順序指示手段４２での指示入力に応じて、前記フレーム抽出手段２３で抽出されたフレーム１１を時系列と逆の順序に沿って表示する。
【００５９】
これにより、操作者が意図する所望の方向の映像を、時間をさかのぼるようにして見ることができる。特に、所望の方向の映像を見ているときに、ある場面をもう一度見たい場合等において、当該逆順序指示手段４２で当該場面までもう一度さかのぼって見ることができ、利便性をさらに向上することができる。
【００６０】
上記実施形態における映像処理システム１００においては、上述した構成に加えてさらに、前記駆動手段５０は、前記撮像手段１０を周方向全周にわたって回転駆動することで、前記撮影方向を、前記周方向全周にわたって切り替え、前記フレーム蓄積手段２１は、前記撮像手段１０からの映像信号に含まれる、前記周方向全周において取得された複数のフレーム９を蓄積し、前記フレーム抽出手段２３は、前記フレーム蓄積手段２１に蓄積された前記周方向全周に係わる複数のフレーム９のうち、所定の方向に対応したフレーム１１を抽出する。
【００６１】
これにより、操作者は、周方向全周３６０°にわたる撮影映像の中から、ある一方向（一定の角度範囲を持つようにしてもよい）の映像のみを選択的に見ることが可能となる。また、１つの撮像手段１０を３６０°駆動しての全映像から所定の方向を抽出して表示させることで、方向固定のカメラを周方向３６０°全周にわたって各方向ごとに多数配置し各カメラごとの映像を切り替えて表示する場合に比べ、システム構成を簡素化でき、複雑な制御を行う必要もない。
【００６２】
なお、本実施形態は、上記に限られず、種々の変形が可能である。以下、そのような変形例を順を追って説明する。
【００６３】
（１）蓄積されたフレームを予め方向別に並べ替えておく場合
すなわち上記実施形態では、操作者が操作スイッチ４０を操作して複数方向のうち所望の方向を指示することにより、フレーム蓄積部２１に蓄積された映像の複数方向のフレームの中から指示した方向のフレームを抽出し、その方向のフレームに対応する映像のみを選択的に見ることができた。本変形例は、フレーム蓄積部２１に蓄積された複数のフレームを、操作者が操作スイッチを操作するより前に、予め定められた複数の設定方向ごとに抽出して、各設定方向ごとに並び替えて再構成しておくものである。
【００６４】
図１０に、本変形例で使用する操作スイッチ４５のスイッチ盤面の一例を示す。
操作スイッチ４５は、方向指定キー４６を備えている。
【００６５】
方向指定キー４６は第１操作手段に相当し、どの方向のフレームデータを再生するかの方向を個別に指定して選択する機能を備え、前、右、後、左の各方向を選択する４個のボタン４６ａ，４６ｂ，４６ｃ，４６ｄを備えている。
なお、本変形例の操作スイッチ４５においても、上記実施形態の操作スイッチ４０の時間キー４２と同様、「＋」「−」キーを備えた時間キー４７を設け、方向指定キー４６で選択された特定の方向における映像のフレームデータを正逆のどの時間順に抽出するかを選択するようにしてもよい。この場合、前述と同様のさかのぼり閲覧や、先進め閲覧が可能となる。
【００６６】
図１１は、本変形例において、複数方向のフレームデータを前方、右方、後方、左方の各方向ごとに並び替えて再構成したフレーム配列を示す概念図であり、上記実施形態の図６に対応する。画像処理装置２０のフレーム蓄積部２１には、先の図４に示したように、撮影方向及び時間に対し螺旋状に配列されるフレームデータが蓄積されている。本変形例においては、前述したように、図４のフレームデータを前方、右方、後方、左方の各方向ごとに並び替え、図１１に示すように再構成する。
【００６７】
すなわち、操作者が方向指定キー４６の「前」ボタン４６ａを押すと、図１１に最上段に示すように、フレーム蓄積部２１に蓄積された複数のフレームデータのうち前方側を撮影した第１フレーム、第５フレーム、第９フレーム、第１３フレーム、…がフレーム抽出部２３によって抽出され、これらがこの順序で連続するように並べ替えられて再構成される。また、方向指定キー４６の「右」ボタン４６ｂを押すと、フレーム蓄積部２１に蓄積された複数のフレームデータのうち右方側を撮影した第２フレーム、第６フレーム、第１０フレーム、第１４フレーム、…がフレーム抽出部２３によって抽出され、これらがこの順序で連続するように並べ替えられて再構成される。
【００６８】
同様に、方向指定キー４６の「後」ボタン４６ｃを押すと、フレーム蓄積部２１に蓄積された複数のフレームデータのうち後方側を撮影した第３フレーム、第７フレーム、第１４フレーム、第１８フレーム、…がフレーム抽出部２３によって抽出され、これらがこの順序で連続するように並べ替えられて再構成される。さらに、方向指定キー４６の「左」ボタン４６ｄを押すと、フレーム蓄積部２１に蓄積された複数のフレームデータのうち左方側を撮影した第４フレーム、第８フレーム、第１２フレーム、第１６フレーム、…がフレーム抽出部２３によって抽出され、これらがこの順序で連続するように並べ替えられて再構成される。
【００６９】
そして、上記方向指定キー４６の各「前」「右」「後」「左」ボタン４６ａ〜ｄによって前述の再構成が終了すると、自動的に各ボタン「前」「右」「後」「左」４６ａ〜ｄで選択された特定の方向における映像のフレームデータを、フレーム抽出部２３が画像出力部２５を介し表示装置３０へ出力する。すなわち、図１１に示すように、上記特定方向に対応する再構成済みの複数のフレーム１１が、時間の流れに沿った順方向で表示装置３０に出力され、表示装置３０において対応する画像が表示される。
【００７０】
図１２は、本変形例における画像処理装置２０でのデータ処理の一例を概念的に示す説明図であり、前述の図７に対応する。図７と同様、図１２（ａ）〜図７１２ｃ）において、フレームデータは、第１フレーム、第２フレーム、…の順で、上から下に時間経過順に並べている。
【００７１】
図１２（ａ）は、上記図７（ａ）と同様、フレーム蓄積部２１に蓄積されるフレームデータを表し、前述の撮影方向データ及び撮影時刻データが付されている。
【００７２】
本変形例では、上記実施形態と異なり、操作者が操作スイッチ４０を操作しなくても、前述のようにフレーム蓄積部２１に蓄積された４方向のフレームデータを各方向別に再構成する。すなわち、図１２（ｂ）に示すように、前方を撮影した第１フレーム、第５フレーム、第９フレーム、・・・のフレームデータ群と、右方を撮影した第２フレーム、第６フレーム、第１０フレーム、・・・のフレームデータ群と、後方を撮影した第３フレーム、第７フレーム、第１１フレーム、・・・のフレームデータ群と、左方を撮影した第４フレーム、第８フレーム、第１２フレーム、・・・のフレームデータ群に再構成し、フレーム抽出部２３に保持しておく。なお、図では煩雑防止のために一部の矢印線を省略している。
【００７３】
そして、この例では、操作者により方向指定キー４６の「前」ボタン４６ａが押され前方のフレームデータ群が選択されて、その選択された前方のフレームデータ群がフレーム抽出部２３から表示装置３０へと出力されている。これにより、表示装置３０でそれら出力されたフレームに基づき、前方の映像が再生される。
【００７４】
本変形例の映像処理システム１００は以上のような一構成例であり、次に図１３を参照しつつ当該一構成例による映像処理方法の一例について説明する。本変形例において、カメラ１０の動作は上記実施形態における図８と同一の手順であり、説明を省略する。画像処理装置２０の動作例について、上記図９に対応する図１３により説明する。
【００７５】
図１３においてフローが開始されると、まず上記図９のステップＳ１１０と同様のステップＳ２１０において、表示装置３０での映像の閲覧指示があったか否かを判定する。閲覧指示があるまでループ待機し、閲覧指示があったら、図９のステップＳ１１５と同様のステップＳ２２０に移り、所定期間内に撮影した映像があるか否かを判定する。フレーム蓄積部２１にフレームデータが蓄積されていれば判定が満たされ、次のステップＳ２３０に移る。
【００７６】
ステップＳ２３０では、フレーム抽出部２３がフレーム蓄積部２１に蓄積された４方向のフレームデータを取り込み、前述したようにして、取り込んだ４方向のフレームデータを前方、右方、後方、左方の各方向ごとのデータに並び替えて再構成する。なお、上記ステップＳ１１５及びステップＳ２３０の手順は、上記のように表示装置３０の電源スイッチが押される等の閲覧指示があった後に実行するのに限られず、閲覧指示がなくても自動的に実行するようにしてもよい。
【００７７】
その後、ステップＳ２４０で、操作者により再生する映像の方向が選択されたか否かを判定する。判定が満たされるまでループ待機し、操作者が操作スイッチ４５の方向指定キー４６の「前」「右」「後」「左」ボタンのいずれかを押して再生するフレームの方向が選択されると、判定が満たされてステップＳ２５０に移る。
【００７８】
ステップＳ２５０では、フレーム抽出部２３に保持している方向別に再構成されたフレームデータ群から、上記ステップＳ２４０で選択された方向のフレームデータを抽出し、フレーム抽出部２３からその抽出されたフレームデータを画像出力部２３を経て表示装置３０に出力し、表示装置３０で選択した方向の映像を再生し表示する。
【００７９】
上記実施形態における映像処理システム１００においては、上述した構成に加えてさらに、前記複数方向のうち特定の方向を操作者が指示入力可能な第１操作手段４６ａ〜ｄ（方向指定キーの「前」「右」「後」「左」ボタンに相当）を有する。
【００８０】
これにより、操作者は、複数方向の撮影映像の中から自らの意図する所望の方向を指定し、当該方向の映像のみを選択的に見ることができる。また指示入力する方向を適宜に変えることにより、その都度、別方向の映像を適宜に見ることもできる。
【００８１】
上記変形例における映像処理システム１００においては、上述した構成に加えてさらに、前記フレーム抽出手段２３は、前記フレーム蓄積手段２１に蓄積された複数のフレーム９を、予め定められた複数の設定方向ごとに抽出し、各設定方向ごとに並び替えて再構成する
【００８２】
撮影時に複数の方向すべてにわたるフレーム９をフレーム蓄積手段２１に蓄積しておいた後、操作者の指示を待たずに、その蓄積したフレーム９を、予め複数の設定方向ごとに並び替えて再構成しておく。これにより、操作者の意図する方向の指示入力があったときにその方向に合致した設定方向のフレームをそのまま表示すれば足り、表示までの処理の迅速化を図ることができる。特に、駆動手段５０による姿勢変更が、肉眼による映像の視認が不可能なほど高速の場合（いわゆるハイスピード撮影の場合）には、時系列に沿った複数方向の映像の表示を考える必要がないため、上記のような事前の並び替え再構成が有効である。またこの場合、同一方向への撮影映像間隔も例えば数枚／秒程度とし通常の動画として再生可能なものとすることができ、単一方向を十分連続的に監視することができる。この際には、ある程度速いスピード（数回転／秒）で回転させてもはっきりした映像を撮るために、高速シャッターを組み合わせ、各フレーム画像の撮影ごとにシャッターを切るようにして、シャッターを気って撮った画像の連続物として画像を構成するようにしてもよい。
【００８３】
上記変形例における映像処理システム１００においては、上述した構成に加えてさらに、前記表示手段３０は、前記フレーム抽出手段２３で再構成された各設定方向ごとのフレームのうち、前記第１操作手段４６ａ〜ｄで指示入力された前記特定の方向に対応した前記設定方向のフレーム１１を表示する。
【００８４】
これにより、蓄積したフレーム９に基づき事前に方向別に再構成されたフレーム１１の中から、第１操作手段４６ａ〜ｄの指示入力に対応した設定方向のフレーム１１を選択し、迅速に表示することができる。
【００８５】
（２）回転駆動でなく、カメラを揺動させる場合
上記実施形態及び（１）の変形例では、カメラ１０は周囲３６０°の全周を回転し周囲を撮影した。しかしながら、カメラ１０の用途によっては、カメラ１０を１回だけ回転して周囲を撮影したり、あるいはカメラ１０を所定の角度範囲内で揺動して周囲を撮影したり、揺動を繰り返しながら周囲３６０°を１回あるいは複数回回転して、周囲を撮影する場合もある。本変形例はそのようなカメラ１０を揺動させ周囲を撮影させる場合である。
【００８６】
図１４は、本変形例におけるカメラで撮像された映像のフレーム構成及びその再構成を示す概念図である。
図１４に示すように、この例では、カメラ１０は、１回目の揺動で、前方、右方、左方、後方の順に向くように駆動され、２回目の揺動で、右方、前方、左方、後方の順に向くように駆動され、３回目の揺動で、左方、後方、右方の順に向くように駆動され、４回目の揺動で、前方、右方、左方の順に向くように移動し、各方向で撮影している。
【００８７】
これに対応して、画像処理部２０のフレーム蓄積部２１には、１回目揺動で前方、右方、左方、後方を撮影した第１フレーム、第２フレーム、第３フレーム、第４フレームと、２回目揺動で右方、前方、左方、後方を撮影した第５フレーム、第６フレーム、第７フレーム、第８フレームと、３回目揺動で左方、後方、右方を撮影した第９フレーム、第１０フレーム、第１１フレームと、４回目揺動で前方、右方、左方を撮影した第１２フレーム、第１３フレーム、第１４フレームがこの順で蓄積されている。
【００８８】
そして、操作者が、上記実施形態と同様の操作スイッチ４０の回転キー４１を用いて例えば前方向を選択すると、図示のように、フレーム蓄積部２１に上記のように蓄積されたフレームデータから前方のフレーム、すなわち第１フレーム、第６フレーム、第１２フレームだけを抽出して再構成する。そしてし、その再構成された前方のフレーム群を、フレーム抽出部２３から画像出力部２５を経て表示装置３０に出力する。これにより、カメラ１０が揺動して周囲を撮影した場合でも、所望の前方向の映像を表示装置３０でみることができる。他の方向についても同様である。この結果、上記実施形態と同様の効果を得ることができる。
【００８９】
（３）各方向に所定の角度幅を持たせる場合
上記実施形態及び（１）（２）の変形例では、カメラ１０の撮影方向は、前方、右方、後方、左方の４方向として、１回転又は揺動１回転につき各方向で１フレームの単一画像が得られる場合を例にとって説明したが、これに限られない。すなわち、図１５に示すように、前方、右方、後方、左方の各方向を中心とする所定の角度範囲内で複数枚、図示の例では３枚のフレームが得られるような場合にも本発明を適用することができる。
【００９０】
図１５に示す例では、カメラ１０の１回転ごとに、前方、右方、後方、左方の各方向内で３枚の連続するフレームが撮影されている。このような映像のフレーム構成において、例えば右方向の映像を再生する場合、フレーム抽出部２３は、図に白抜きの矢印で示したように、１回転目の右方の最初のフレームである第４フレーム→次の第５フレーム→最後の第６フレームの順で抽出し、その後２回転目の右方の最初のフレームである第１６フレーム→第１７フレーム→第１８フレームの順で抽出し、以下同様のフレーム抽出を繰り返すようにしてもよい。
【００９１】
なお、以上におけるカメラ１０の駆動及び撮影は、定期的に行ってもよいし、操作者の随意で行ってもよいし、なんらかの異常発生時に自動的に行うようにしてもよい。また、表示装置３０は、車載のものに限られず、携帯端末やその他据え置きの端末等を用いて車両３から遠隔の距離において表示するようにしてもよい。      
【００９２】
以上、本発明の実施形態の幾つかを説明したが、本発明は、これらの実施形態に限定されるものではなく、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
【図面の簡単な説明】
【００９３】
【図１】本発明の一実施形態の映像処理システムを搭載した車両の構成例を示す概念図である。
【図２】映像処理システムのカメラが車両の内外の周囲を撮影する様子を示すイメージ図である。
【図３】映像処理システムの画像処理装置の機能構成の一例を示すブロック図である。
【図４】カメラで撮像された映像のフレーム構成を示す概念図である。
【図５】操作スイッチのスイッチ盤面の一例を表す平面図である。
【図６】操作スイッチの回転キー及び時間キーによるフレーム配列からのフレームの選択の様子を示す概念図である。
【図７】画像処理装置におけるデータ処理の一例を概念的に示す説明図である。
【図８】カメラの動作例を示すフローチャートである。
【図９】画像処理装置の動作例を示すフローチャートである。
【図１０】第１変形例で使用する操作スイッチのスイッチ盤面の一例を示す平面図である。
【図１１】複数方向のフレームデータを前方、右方、後方、左方の各方向ごとに並び替えて再構成したフレーム配列を示す概念図である。
【図１２】画像処理装置におけるデータ処理の一例を概念的に示す説明図である。
【図１３】画像処理装置の動作例を示すフローチャートである。
【図１４】第２変形例におけるカメラで撮像された映像のフレーム構成及びその再構成を示す概念図である。
【図１５】第３変形例におけるカメラで撮像された映像のフレーム構成及びそのフレームの選択法を示す概念図である。
【符号の説明】
【００９４】
３                車両
１０              カメラ（撮像手段に相当）
２０              画像処理装置
２１              フレーム蓄積部（フレーム蓄積手段に相当）
２３              フレーム抽出部（フレーム抽出手段に相当）
３０              表示装置（表示手段に相当）
４０              操作スイッチ
４１              回転キー（第１操作手段、第２操作手段に相当）
４２              時間キー（逆順序指示手段に相当）
４６              方向指定キー（第１操作手段に相当）
５０              モータ（駆動手段に相当）
【図１】
2010130190.tif 000003
【図２】
2010130190.tif 000004
【図３】
2010130190.tif 000005
【図４】
2010130190.tif 000006
【図５】
2010130190.tif 000007
【図６】
2010130190.tif 000008
【図７】
2010130190.tif 000009
【図８】
2010130190.tif 000010
【図９】
2010130190.tif 000011
【図１０】
2010130190.tif 000012
【図１１】
2010130190.tif 000013
【図１２】
2010130190.tif 000014
【図１３】
2010130190.tif 000015
【図１４】
2010130190.tif 000016
【図１５】
2010130190.tif 000017