(57)【要約】【課題】  撮影環境の変化に影響を受けることなく、画像中の関心領域を出力することができる。【解決手段】  画像から切り出す領域を指定する。画像の画角を取得する。取得した画角と指定した領域の指定画角に応じて、画像から領域を切り出す。【選択図】  図１
2015109522.tif 000002
【特許請求の範囲】
【請求項１】
入力した画像を処理する画像処理装置であって、
前記画像から切り出す領域を指定する指定手段と、
前記画像の画角を取得する取得手段と、
前記取得手段で取得した画角と前記指定手段で指定した領域の指定画角に応じて、前記画像から領域を切り出す切出手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記取得手段で取得した画角が、前記指定手段で指定した領域の指定画角の少なくとも一部を含有する場合、その少なくとも一部の画角が維持されるような領域を切り出すために、前記指定画角を調整する調整手段を更に備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段で取得した画角が、前記指定手段で指定した領域の指定画角の少なくとも一部を含有し、かつ前記取得手段で取得した画角が、前記指定手段で領域を指定した際の画像の画角から変化している場合、前記調整手段は、その少なくとも一部の画角が維持されるような領域を切り出すために、前記指定画角を調整する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記切出手段は、前記調整手段によって調整された指定画角に基づいて規定される領域を前記画像から切り出す
ことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記取得手段で取得した画角が、前記指定手段で指定した領域の指定画角の少なくとも一部を含有しているが、前記取得手段で取得した画角が、前記指定手段で領域を指定した際の画像の画角から変化していない場合、前記切出手段は、前記指定画角に基づいて規定される領域を前記画像から切り出す
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記取得手段で取得した画角が、前記指定手段で指定した領域の指定画角の少なくとも一部を含有する場合、前記切出手段は、前記指定画角を含有する前記画像の全領域を切り出す
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記取得手段で取得した画角が、前記指定手段で指定した領域の指定画角を含有しない場合、前記切出手段は、前記画像からの領域の切出を禁止する
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記取得手段で取得した画角が、前記指定手段で指定した領域の指定画角を含有しない場合、前記指定手段で指定する領域を含む画像を再度、入力する
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
入力した画像を処理する画像処理装置の制御方法であって、
前記画像から切り出す領域を指定する指定工程と、
前記画像の画角を取得する取得工程と、
前記取得工程で取得した画角と前記指定工程で指定した領域の指定画角に応じて、前記画像から領域を切り出す切出工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項１０】
入力した画像を処理する画像処理装置の制御をコンピュータに機能させるためのプログラムであって、
前記コンピュータを、
前記画像から切り出す領域を指定する指定手段と、
前記画像の画角を取得する取得手段と、
前記取得手段で取得した画角と前記指定手段で指定した領域の指定画角に応じて、前記画像から領域を切り出す切出手段と
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力した画像を処理する画像処理技術に関するものである。
【背景技術】
【０００２】
従来、画像から任意の領域を指定して切り出して表示する装置がある。例えば、特許文献１では、撮影画角の表示エリアから領域を複数指定して切り出した画像を用いて動画を作成する動画作成装置が開示されている。また、特許文献２では、画像から表示エリアを切り出して表示するとともに、表示エリアの切り出し位置の変更の指示を受け付け、その変更量と閾値との比較に基づいて、外部装置の制御を効率的に行う一例が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−９１５７１号公報
【特許文献２】特開２００９−６０４１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献に開示された従来技術では、撮影画角が変化していく状況を考慮していない。つまり、撮影画角が変更されても、撮影画像に対する切出領域を変更せずに切出を行っているため、撮影画角の変化に応じて、切出領域の対象が変化してしまい、撮影画像から意図する指定の領域を出力し続けられないという課題がある。
【０００５】
本発明は上記の課題を解決するためになされたものであり、撮影環境の変化に影響を受けることなく、画像中の関心領域を出力することができる画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
入力した画像を処理する画像処理装置であって、
前記画像から切り出す領域を指定する指定手段と、
前記画像の画角を取得する取得手段と、
前記取得手段で取得した画角と前記指定手段で指定した領域の指定画角に応じて、前記画像から領域を切り出す切出手段と
を備える。
【発明の効果】
【０００７】
本発明によれば、撮影環境の変化に影響を受けることなく、画像中の関心領域を出力することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置の構成を示すブロック図である。
【図２】領域切出処理を示すフローチャートである。
【図３】切出画面の一例を示す図である。
【図４】切出画面の一例を示す図である。
【図５】領域切出処理を示すフローチャートである。
【図６】パノラマ画像球面と撮影画像平面の対応図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００１０】
図１は画像処理装置の構成を示す図である。
【００１１】
操作入力部１１０は、マウスやキーボード、タッチパネル等の入力装置によって実現され、画像から所望の領域を指定して切り出すための領域指定等の各種入力を行う。操作入力部１１０は、ユーザの操作入力に応じて、画像から所望の切出領域を指定し、その切出領域を示す領域情報を領域指定部１４０に送信する。
【００１２】
画像入力部１２０は、首振りカメラや雲台カメラである撮影機器、あるいはストレージデバイス、フラッシュメモリ等の記憶装置である外部機器から入力される画像を撮影画角取得部１５０に入力する。ここで、画像入力部１２０は、時間的に連続する画像を入力したり、入力した画像の画角変更を受け付けて、その入力した画像の画角変更を行うこともできる。
【００１３】
画像出力部１３０は、領域切出部１７０から出力された画像を、表示装置へ出力するあるいは記憶装置へ出力（保存）する。また、画像出力部１３０は、切出領域が指定されていない場合、撮影画像全体を表示装置へ出力する。
【００１４】
領域指定部１４０の動作について、図６を併用して説明する。図６において、撮影装置であるカメラの中心をＱとすると、カメラのパン角、チルト角の回転で表されるパノラマ画像球面に外接した撮影画像平面Ｓが定義される。撮影画像平面Ｓは、撮影時のカメラのパン角ｐ、チルト角ｔ、水平画角であるズーム値ｚ、及び画像のアスペクト比によって、水平画角から算出される垂直画角によって決まる。指定された領域Ｓ１は、撮影画像平面Ｓの左上端を原点とした場合の領域Ｓ１の左上端の位置（ｘ，ｙ）と、その位置からの高さ（縦）と幅（横）を示す情報を有し、ユーザが指定した領域（切出領域）を示している。
【００１５】
領域指定部１４０は、操作入力部１１０から領域指定値１４１をＳ１として取得する。さらに、ユーザが画像（指定元画像）から領域を指定した時の撮影画角である指定元画角値１４２をＳとして取得する。そして、領域指定値１４１を、パン角ｐ１、チルト角ｔ１、及びズーム値ｚ１で表される指定画角値１４３に変換し、切出調整部１６０に送信する。
【００１６】
撮影画角取得部１５０は、画像入力部１２０より入力された画像から、その画像の撮影画角値１５１を取得し、切出調整部１６０に送信する。
【００１７】
切出調整部１６０は、指定元画角値１４２と撮影画角値１５１の差分によって、指定画角値１４３が示す一部画角または全画角が切り出されるように、切出領域値１６１を算出する。つまり、切出調整部１６０は、指定画角値１４３の少なくとも一部の画角が維持されるような領域を規定する切出領域値１６１（例えば、切出領域の位置、幅及び高さ、高さ）を算出する。そして、切出調整部１６０は、算出した切出領域値１６１を領域切出部１７０に送信する。但し、指定画角値１４３示す画角が切り出せない場合は、切出調整部１６０は、切出領域値１６１を算出しないように制御する、つまり、切出領域値１６１の算出を禁止する。
【００１８】
領域切出部１７０は、切出領域値１６１によって指定された領域を、撮影画像から切り出し、画像出力部１３０に出力を行う。
【００１９】
尚、領域指定部１４０、撮影画角取得部１５０、切出調整部１６０、及び領域切出部１７０は、例えば、専用のハードウェア、あるいはコンピュータ等の情報処理装置上で実行されるソフトウェアとして実現される。このコンピュータは、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。特に、ソフトウェアで実現される場合、ＣＰＵが、メモリ（ＲＡＭ、ＲＯＭ等）に記憶されているプログラムを実行することで、領域指定部１４０、撮影画角取得部１５０、切出調整部１６０、及び領域切出部１７０を実現する。
【００２０】
図１に示す構成により、撮影画角が変化する画像の中から、ユーザが指定する領域（切出領域）を適応的に表示することができる。
【００２１】
次に、図２を用いて、図１の画像処理装置が実行する処理として、ユーザ操作によって指定した領域を調整して、切出領域として切り出して出力する領域切出処理について説明する。
【００２２】
領域指定部１４０は、ユーザ操作に応じて、処理対象の画像から指定された領域の指定画角値１４３を取得する（ステップＳ２０１）。撮影画角取得部１５０は、画像の撮影画角値１５１を取得する（ステップＳ２０２）。
【００２３】
切出調整部１６０は、撮影画角値１５１が指定画角値１４３を含有しているか否かを判定する（ステップＳ２０３）。撮影画角値１５１が指定画角値１４３を含有していない場合（ステップＳ２０３でＮＯ）、切出画像の有無やユーザの判断等により処理を続けるか否かを判定するために、ステップＳ２０９へ進む。尚、撮影画角値１５１が指定画角値１４３を含有しているとは、撮影画角値が指定画角値との間で少なくとも一部重複する画角があることを意味する。
【００２４】
一方、撮影画角値１５１が指定画角値１４３を含有している場合（ステップＳ２０３でＹＥＳ）、領域指定部１４０は、ユーザが画像に対して領域指定した際のその画像の指定元画角値１４２を取得する（ステップＳ２０４）。
【００２５】
切出調整部１６０は、撮影時画角が変化しているか否か、つまり、撮影画角値１５１が指定元画角値１４２から変化しているか否かを判定する（ステップＳ２０５）。撮影画角値１５１が指定元画角値１４２から変化していない場合（ステップＳ２０５でＮＯ）、領域切出部１７０は、指定された領域の切出を実行する（ステップＳ２０７）。そして、画像出力部１３０は、その切出によって切出された画像を出力する（ステップＳ２０８）。
【００２６】
一方、撮影画角値１５１が指定元画角値１４２から変化している場合（ステップＳ２０６でＹＥＳ）、切出調整部１６０は、切出画角の調整として、切出領域値１６１を算出する（ステップＳ２０６）。領域切出部１７０は、算出された切出領域値１６１に従って領域の切出を実行する（ステップＳ２０７）。そして、画像出力部１３０は、その領域切出によって切り出された画像を出力する（ステップＳ２０８）。
【００２７】
そして、画像処理装置は、次の処理対象の画像の有無を判定する。次の処理対象の画像がある場合（ステップＳ２０９でＹＥＳ）、ステップＳ２０１へ戻る。一方、次の処理対象の画像がない場合（ステップＳ２０９でＮＯ）、処理を終了する。
【００２８】
図２の処理によって切り出される画像の具体例を図３と図４を用いて説明する。
【００２９】
図３に示すパノラマ画像３００は、カメラを上下左右に首振りして撮影した画像を合成し、つなぎ合わせた撮影可能範囲全体の画像である。画像３１０、３２０、及び３３０は、画像入力部１２０から取得される画像であり、それぞれ撮影時の画角が異なる。例えば、カメラの撮影方向を変更することにより、画像３１０、３２０、３３０を撮影することが可能である。カメラの撮影方向は、カメラに対し、パン方向移動コマンド、チルト方向移動コマンドを送信することにより、変更可能である。
【００３０】
ユーザが領域を指定した時の指定元画像３１１（画像３１０と同じ）において、破線で囲まれた領域は、ユーザが指定した領域であり、その領域を切り出した画像が指定画角切出画像３１２である。カメラが撮影した指定元画像３１１は、画像出力部１３０から表示装置に出力され、ユーザは表示装置に出力された指定元画像上で、破線の領域を指定する。
【００３１】
撮影画像３２１（画像３２０と同じ）の画角は、ユーザが指定した指定元画像３１１の指定画角を含有しているが、指定元画像３１１の画角から変化している。そのため、撮影画像３２１から切り出す画像の切出画角（破線の領域）が調整され、指定元画像３１１の指定画角を保持した画角調整切出画像３２２が出力される。
【００３２】
同様に、撮影画像３３１（画像３３０と同じ）のように画角が変化しても、指定元画像３１１の指定画角を含有しているため、その指定画角を保持した切出画角調整画像３３２が出力される。
【００３３】
続いて、図４について説明する。パノラマ画像４００は、図３パノラマ画像と同様の撮影可能範囲全体の画像である。画像４１０、４２０、及び４３０も、画像入力部１２０から取得される画像であり、それぞれ撮影時の画角が異なる。
【００３４】
ユーザが領域を指定した時の指定元画像４１１（画像４１０と同じ）において、破線で囲まれた領域は、ユーザが指定した領域であり、その領域を切り出した画像が指定画角切出画像４１２である。
【００３５】
撮影画像４２１の画角（画像４２０と同じ）は、ユーザが指定した指定元画像４１１の指定画角の一部画角を含有した上で、指定元画像４１１の画角から変化している。そのため、撮影画像４２１から切り出す画像の切出画角が調整され、指定元画像４１１の指定画角の一部画角（撮影画像４２１内の破線の領域）を保持した画角調整切出画像４２２が出力される。
【００３６】
一方、撮影画像４３１のように画角が変化した場合、指定元画像４１１の指定画角を含有していない。つまり、撮影画像４３１から指定画角の画像を切り出すことができないため、切出画角の調整もなされず、撮影画像４３１は出力されない、あるいは、ベタ画像として画角調整切出画像４３２が出力される。この場合は、次に所望の領域を含む入力画像にスキップして、新たに領域の切出を再度実行するか、もしくは処理を終了する。
【００３７】
次に、図５を用いて、画像処理装置が、指定画角の全領域を切り出す領域切出処理について説明する。
【００３８】
領域指定部１４０は、ユーザ操作に応じて、画像中で指定された領域の指定画角値１４３を取得する（ステップＳ５０１）。撮影画角取得部１５０は、画像の撮影画角値１５１を取得する（ステップＳ５０２）。
【００３９】
切出調整部１６０は、撮影画角値１５１が指定画角値１４３を含有しているか否かを判定する（ステップＳ５０３）。撮影画角値１５１が指定画角値１４３を含有していない場合（ステップＳ５０３でＮＯ）、切出画像の有無やユーザの判断等により処理を続けるか否かを判定するために、ステップＳ５０６へ進む。
【００４０】
一方、撮影画角値１５１が指定画角値１４３を含有している場合（ステップＳ５０３でＹＥＳ）、領域切出部１７０は、全領域を切り出す（ステップＳ５０４）。そして、画像出力部１３０は、その切出によって切り出された画像を出力する（ステップＳ５０５）。
【００４１】
そして、画像処理装置は、次の処理対象の画像の有無を判定する。次の処理対象の画像がある場合（ステップＳ５０６でＹＥＳ）、ステップＳ５０１へ戻る。一方、次の処理対象の画像がない場合（ステップＳ５０６でＮＯ）、処理を終了する。
【００４２】
図５の処理によって出力される画像の一例を図４を用いて説明する。
【００４３】
ユーザが領域を指定した時の指定元画像４１１において、指定画角の範囲は、破線で囲まれた領域であり、指定元画像４１１はその領域を含有しているため、指定元画像４１１が出力される。
【００４４】
撮影画像４２１の画角は、指定元画像４１１の画角から変化しているが、指定画角の範囲（破線で囲まれた領域）の一部画角を保持しているため、撮影画像４２１が出力される。
【００４５】
また、撮影画像４３１は、破線で囲まれた領域を含有していない、指定元画像４１１の指定画角を含有していないため、撮影画像４３１は出力されない。この場合は、次に所望の領域を含む入力画像にスキップして、新たに領域の切出を再度実行するか、もしくは処理を終了する。
【００４６】
以上説明したように、本実施形態によれば、撮影画角が変化する画像の中から、ユーザが指定する関心領域を撮影画角が変化しても出力することができる。
【産業上の利用可能性】
【００４７】
画像の画角が変更されても、ユーザが指定した領域の画角を調整して固定することができるため、定期的に画角が変化する監視カメラ等の機器の膨大な画像の整理や、調査を行う際に好適である
尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015109522.tif 000003
【図２】
2015109522.tif 000004
【図３】
2015109522.tif 000005
【図４】
2015109522.tif 000006
【図５】
2015109522.tif 000007
【図６】
2015109522.tif 000008