(57)【要約】【課題】入力された入力画像における不要な領域の画像を他の領域の画像に容易に置換する、置換処理を行うことができる映像編集装置を提供する。【解決手段】本発明の一実施形態に係る映像編集装置は、入力された入力画像において、所定の領域を他の領域を示す画像に置換する、領域指定を受け付ける受付部と、前記領域指定がなされた領域内の特徴を示す特徴情報を受け付ける特徴受付部と、受け付けた前記特徴情報と同一の特徴を有する類似領域の画像を検索する検索部と、前記所定の領域を示す画像を、検索された前記類似領域の画像と置換する置換部と、を備えた。【選択図】  図１
2017212693.tif 000002
【特許請求の範囲】
【請求項１】
入力された入力画像において、所定の領域を他の領域を示す画像に置換する、領域指定を受け付ける受付部と、
前記領域指定がなされた領域内の特徴を示す特徴情報を受け付ける特徴受付部と、
受け付けた前記特徴情報と同一の特徴を有する類似領域の画像を検索する検索部と、
前記所定の領域を示す画像を、検索された前記類似領域の画像と置換する置換部と、
を備えた映像編集装置。
【請求項２】
前記特徴受付部は、
前記特徴情報として、前記他の領域を示す画像の国名、時代、又は、前記所定の領域における物品の少なくともいずれか１つを受け付ける
請求項１に記載の映像編集装置。
【請求項３】
置換された前記類似領域の画像の周辺を補正する補正部を、
さらに備える請求項１又は２に記載の映像編集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像編集装置に係り、特に、入力された入力画像の一部を除去して編集する映像編集装置に関する。
【背景技術】
【０００２】
テレビや映画などの映像では、動画や静止画において、ある画像から不要な領域（不要物体とも呼ばれる。）を除去し、又は取り除き、その取り除いた領域を修復する作業が、行われている。
【０００３】
例えば、ある風景の画像が撮影された場合において、その風景を撮影した国とは異なる国の風景に、その風景画像を変更したいことがある。この場合、その風景画像から不要な領域を除去する編集が行われる。または、所定の風景画像が得られるように、再度、その風景を撮影するなどの撮影作業が行われる。
【０００４】
また、ある画像から不要な領域を除去する編集は、異なる国の風景に限定されるものではなく、例えば、現在の年代の画像から２０年前の年代の画像に変更したい場合や趣向的に他の領域の画像に置換したいこともある。
【０００５】
ここで、例えば、特許文献１には、利用者の意図と異なる領域に存在する画像を、その画像を破綻させることなく修復する画像修復システムに関するものが開示されている。また、特許文献２には、画像中の不要物体を除去する画像修復処理において、より自然な処理結果を得るための画像処理装置に関するものが開示されている。また、特許文献３には、自然な領域補正を実現する画像処理装置に関するものが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第５６７３５５０号公報
【特許文献２】特開２０１４−２１２５１１号公報
【特許文献３】特開２０１３−４５３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１乃至３に開示されたものは、画像内から不要な領域を除去するものであり、画像において景観の不自然さが生じてしまうことがあった。また、画像内の不要な部分を取り除き、取り除かれた領域を修復する技術も開示されているが、手作業で画像の置換や修復を行った場合、多くの時間と労力を必要としていた。
【０００８】
本発明は、上述した事情を考慮してなされたもので、入力画像において、手間や時間を要することなく不要な領域の画像を他の領域の画像に容易に置換することができる映像編集装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一実施形態に係る映像編集装置は、上述した課題を解決するために、入力された入力画像において、所定の領域を他の領域を示す画像に置換する、領域指定を受け付ける受付部と、前記領域指定がなされた領域内の特徴を示す特徴情報を受け付ける特徴受付部と、受け付けた前記特徴情報と同一の特徴を有する類似領域の画像を検索する検索部と、前記所定の領域を示す画像を、検索された前記類似領域の画像と置換する置換部と、を備えたものである。
【発明の効果】
【００１０】
本発明に係る映像編集装置によれば、入力画像において、手間や時間を要することなく不要な領域の画像を他の領域の画像に容易に置換することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る映像編集装置の一構成例を示すブロック図。
【図２】実施形態に係る映像編集装置の動作の一例を示すフローチャート。
【図３】実施形態に係る映像編集装置の表示部に表示された風景画像において、不要物体領域の領域指定を設定した概念図。
【図４】実施形態に係る映像編集装置の検索部が、外部記憶装置からアメリカの道路標識を抽出してきたときの検索結果を示す表示画面例。
【図５】実施形態に係る映像編集装置の表示部において、不要物体領域から類似領域を示す道路標識の画像に置換した表示画面例。
【発明を実施するための形態】
【００１２】
本発明に係る実施の形態について、添付図面を参照して説明する。
【００１３】
（１）構成
図１は、実施形態に係る映像編集装置の一構成例を示すブロック図である。図１に示すように、映像編集装置１００は、記憶部１０、入力部２０、表示部３０及び主制御部４０を有する。映像編集装置１００は、コンピュータをベースとして構成されており、ＬＡＮ（Local Area Network）などのネットワークを介して外部記憶装置２００などの外部装置と相互通信可能である。
【００１４】
記憶部１０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、ハードディスク、光ディスクなどによって構成される。記憶部１０は、ＵＳＢ（Universal Serial Bus）メモリ及びＤＶＤ（Digital Video Disk）などの可搬型メディアを脱着自在な回路して構成されてもよい。記憶部１０は、主制御部４０において実行される各種プログラム（アプリケーションプログラムの他、ＯＳ（Operating System）等も含まれる）、プログラムの実行に必要なデータ等を記憶する。また、記憶部１０には、ＯＳを制御するための各種コマンドや、入力部２０からの入力を支援するＧＵＩ（Graphical User Interface）のプログラムを記憶してもよい。
【００１５】
さらに、記憶部１０は、映像編集装置１００における処理対象である画像を記憶する。ここで、画像には、不要物体と呼ばれる不要な領域が予め含まれているものとする。また、画像は、静止画でも動画であってもよい。
【００１６】
入力部２０は、例えば、キーボード、タッチパネル、テンキー、及びマウスなどの入力装置を含む。入力部２０は、入力装置を介してユーザにより入力された入力情報を主制御部４０に出力する。
【００１７】
表示部３０は、液晶ディスプレイパネル、プラズマディスプレイパネル、及び有機ＥＬ（Electro Luminescence）パネル等の表示装置である。表示部３０は、主制御部４０の制御に従って、静止画や動画などの画像を表示する。
【００１８】
主制御部４０は、共通信号伝送路としてのバスを介して、映像編集装置１００を構成する各ハードウェア構成要素に相互接続されている。主制御部４０は、専用のハードウェアで構成してもよいし、内蔵のプロセッサによるソフトウェア処理で各種機能を実現するように構成してもよい。
【００１９】
なお、上記説明におけるプロセッサとは、専用又は汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）を含む。また、専用のハードウェアとは、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）、プログラマブル論理デバイス、及び、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field Programmable Gate Array）などの回路を含む。上記プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ：Simple Programmable Logic Device）、複合プログラマブル論理デバイス（ＣＰＬＤ：Complex Programmable Logic Device）などが挙げられる。
【００２０】
ここでは一例として、プロセッサによるソフトウェア処理によって主制御部４０が各種機能を実現する場合について説明する。主制御部４０は、記憶部１０に記憶されたプログラム、又は、主制御部４０のプロセッサ内に直接組み込まれたプログラムを読み出し実行することで、各機能を実現する。
【００２１】
なお、主制御部４０は、単一のプロセッサによって構成されてもよいし、複数の独立したプロセッサの組み合わせによって構成されてもよい。後者の場合、複数のプロセッサにそれぞれ対応する複数の記憶部１０が設けられると共に、各プロセッサにより実行されるプログラムが当該プロセッサに対応する記憶回路に記憶される構成でもよい。また、別の例としては、１個の記憶部１０が複数のプロセッサの各機能に対応するプログラムを一括的に記憶する構成でもよい。
【００２２】
図１に示すように、主制御部４０は、受付部４１、特徴受付部４２、検索部４３、置換部４４及び補正部４５を備える。受付部４１、特徴受付部４２、検索部４３、置換部４４及び補正部４５の夫々の機能は、記憶部１０に格納されているプログラムを主制御部４０のプロセッサが実行することによって実現される。
【００２３】
受付部４１は、入力された入力画像において、所定の領域を他の領域を示す画像に置換する、領域指定を受け付ける。受付部４１は、例えば、記憶部１０に記憶されている風景画像を入力画像として受け付け、その入力画像において、日本語で書かれた道路標識の領域を、不要物体領域の指定として受け付ける。なお、受付部４１における不要物体領域の指定については、図３で詳細に説明する。
【００２４】
特徴受付部４２は、領域指定がなされた領域内の特徴を示す特徴情報を受け付ける。特徴受付部４２は、例えば、不要物体領域の画像を、英語で書かれた道路標識の画像に置き換える場合、その置き換える画像の情報として、道路標識を示す画像の国名、時代、又は、所定の領域における物品の少なくともいずれか１つを受け付ける。特徴受付部４２は、入力部２０により、例えば、国名をアメリカ、時代として１９９０年代、所定の領域として道路標識などの指定を受け付ける。なお、特徴受付部４２で受け付ける特徴情報については、図４で詳細に説明する。
【００２５】
検索部４３は、受け付けた特徴情報と同一の特徴を有する類似領域の画像を検索する。検索部４３は、例えば、特徴受付部４２で受け付けた特徴情報により外部記憶装置２００を検索し、アメリカの道路標識と同一の特徴を有する類似領域の画像を抽出する。なお、外部記憶装置２００は、クラウドコンピューティングによって構成されてもよい。
【００２６】
置換部４４は、所定の領域を示す画像を、検索された類似領域の画像と置換する。置換部４４は、例えば、入力された風景画像において、不要物体領域として指定された日本語で書かれた道路標識の画像を、英語で書かれた道路標識の画像と置換する。
【００２７】
補正部４５は、置換された類似領域の画像の周辺を補正する。補正部４５は、例えば、置換された英語で書かれた道路標識の領域の画像の周辺を補正する。なお、補正された画像は、記憶部１０や外部記憶装置２００に格納されてもよい。補正された画像の処理結果については図５で詳細に説明する。
【００２８】
（２）動作
図２は、実施形態に係る映像編集装置の動作の一例を示すフローチャートである。以下、図２のフローチャートのステップ番号に従って、実施形態に係る映像編集装置１００の動作を説明する。なお、以下の実施形態では、一例として、日本語で書かれた「止まれ」の道路標識の画像を、英語で書かれた「ＳＴＯＰ」の道路標識の画像に置換する場合を想定する。
【００２９】
ステップＳ１０１において、ユーザが入力部２０を操作することにより、受付部４１は、記憶部１０から画像（単に入力画像ともいう。）が入力される。なお、受付部４１に入力される入力画像は、外部記憶装置２００から入力されてもよい。
【００３０】
ステップＳ１０３において、特徴受付部４２は、入力画像において、特徴情報として、国の指定であるアメリカを受け付ける。この特徴情報は、英語で書かれた「ＳＴＯＰ」という道路標識を検索するための特徴の一例である。なお、特徴受付部４２では、国の指定として先にアメリカの指定を受け付けてもよく、また、後に他の特徴情報を設定する際に、その際に同時に設定を受け付けてもよい。
【００３１】
ステップＳ１０５において、受付部４１は、入力画像において、所定の領域を他の領域を示す画像に置換する、領域指定を受け付ける。受付部４１は、例えば、入力画像において、日本語で書かれた「止まれ」という道路標識の領域を不要物体領域の指定として設定する。
【００３２】
図３は、実施形態に係る映像編集装置１００の表示部３０に表示された風景画像において、不要物体領域ＡＤ１の領域指定を設定した概念図である。
【００３３】
図３に示すように、表示部３０には、複数のヒマワリなどの咲いている画像であって、略左側には、日本語で「止まれ」と記載された道路標識が表示されている。ここで、この入力画像を、アメリカの画像に置換する場合を考える。この場合は、日本語の「止まれ」という道路標識はアメリカの画像として適切ではないため、「止まれ」という道路標識の領域を不要物体領域ＡＤ１に設定する。
【００３４】
ステップＳ１０７において、特徴受付部４２は、さらに、領域指定がなされた領域内の他の特徴を示す特徴情報を受け付ける。特徴受付部４２は、例えば、「ＳＴＯＰ」という道路標識の特徴情報として、「標識」、「止まれ」、「赤」などの指定を受け付ける。これにより、特徴受付部４２は、「アメリカ」、「標識」、「止まれ」、「赤」を、特徴情報として設定する。
【００３５】
ステップＳ１０９において、検索部４３は、受け付けた特徴情報と同一の特徴を有する類似領域の画像を検索する。検索部４３は、例えば、「アメリカ」、「標識」、「止まれ」、「赤」という特徴情報により外部記憶装置２００を検索し、アメリカで使用される道路標識と同一の特徴を有する類似領域の画像を抽出する。
【００３６】
図４は、実施形態に係る映像編集装置１００の検索部４３が、外部記憶装置２００からアメリカの道路標識を抽出してきたときの検索結果を示す表示画面例である。図４では、外部記憶装置２００から、６枚の道路標識を抽出してきたことを示しており、ユーザは、最右欄の下段に表示された道路標識ＳＧを選択する。
【００３７】
ステップＳ１１１において、置換部４４は、所定の領域を示す画像を、検索された類似領域の画像と置換する。置換部４４は、例えば、入力された風景画像において、不要物体領域ＡＤ１として指定された道路標識の画像を、道路標識ＳＧの画像と置換する。
【００３８】
ステップＳ１１３において、補正部４５は、置換された類似領域の画像の周辺を補正する。補正部４５は、例えば、置換されたアメリカの道路標識の領域の画像の周辺を補正する。なお、置換された画像のエッジ付近は、公知の修復技術（インペインティングや隠消現実感に関する技術）などにより、自動的に補正することができる。
【００３９】
図５は、実施形態に係る映像編集装置１００の表示部３０において、不要物体領域ＡＤ１から類似領域ＡＤ２を示す道路標識ＳＧの画像に置換した表示画面例である。
【００４０】
図５に示すように、表示部３０は、不要物体領域ＡＤ１が消去されるだけでなく、類似領域ＡＤ２を示す道路標識ＳＧの画像が表示されている。また、類似領域ＡＤ２の境界は、自動的に補正されている。また、実施形態では、ステップＳ１０５からステップＳ１１３を繰り返し実行するようにしても良く、ユーザが、複数の不要物体領域を指定することにより、入力画像をアメリカの画像に置換することができる。
【００４１】
このように、一実施形態の映像編集装置１００は、入力された入力画像において、所定の領域を他の領域を示す画像に置換する、領域指定を受け付け、他の領域の特徴を示す特徴情報を受け付ける。そして、受け付けた特徴情報と同一の特徴を有する類似領域の画像を検索し、所定の領域を示す画像を、検索された類似領域の画像と置換する。
【００４２】
これにより、一実施形態の映像編集装置１００は、入力された入力画像における不要な領域の画像を、他の領域の画像に容易に置換する置換処理を行うことができる。
【００４３】
以上説明した実施形態によれば、入力画像において、手間や時間を要することなく不要な領域の画像を他の領域の画像に容易に置換することができる。
【００４４】
また、実施形態では、例えば、日本語で書かれた「止まれ」という道路標識の画像を、英語で書かれた「ＳＴＯＰ」という道路標識の画像に置換する例を示したが、これに限定されるものではない。例えば、画像を使用する年代や時代に沿うように、その年代や時代の携帯電話やタバコの銘柄などに置換することもできる。
【００４５】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【符号の説明】
【００４６】
１０…記憶部
２０…入力部
３０…表示部
４０…主制御部
４１…受付部
４２…特徴受付部
４３…検索部
４４…置換部
４５…補正部
１００…映像編集装置
２００…外部記憶装置
【図１】
2017212693.tif 000003
【図２】
2017212693.tif 000004
【図３】
2017212693.tif 000005
【図４】
2017212693.tif 000006
【図５】
2017212693.tif 000007