(57)【要約】【課題】予めボカシ等をかけたいと定めたものについては、必ずボカシ等がかけられ、撮影後の人的な編集をする必要もない、プライバシー保護画像加工機能を有する端末装置を提供する。【解決手段】画像を撮影することが可能な携帯端末において、前記撮影した画像のデータを処理し、フレーム単位で取り出す。前記取り出した画像データにマーカーがうつっているかを認識する。前記マーカー認識手段が前記マーカーを認識した場合に、当該マーカーの位置を算出し、算出した当該位置に基づいて定められる処理を前記画像データに行うことにより画像加工を行う。【選択図】図１
2011097238.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影することが可能な携帯端末において、
前記撮影した画像のデータを処理し、フレーム単位で取り出す画像処理手段と、
前記取り出した画像データにマーカーがうつっているかを認識するマーカー認識手段と、
前記マーカー認識手段が前記マーカーを認識した場合に、当該マーカーの位置を算出し、算出した当該位置に基づいて定められる処理を前記画像データに行うことにより画像加工を行う画像加工手段と、
を備えることを特徴とする携帯端末。
【請求項２】
請求項１に記載の携帯端末において、
前記画像加工手段は、前記マーカーの位置に加えて当該マーカーの大きさ及び向きを算出し、算出した当該位置、当該大きさ及び当該向きに基づいて定められる処理を前記画像データに行うことにより画像加工を行うことを特徴とする携帯端末。
【請求項３】
請求項１又は２に記載の携帯端末において、
前記動画像処理手段は、前記処理を行っている際に連続するフレーム間で急にマーカーが消えた場合にその理由が、当該携帯端末の移動により当該マーカーが撮影対象から外れたからなのか、移動物が存在することにより当該マーカーがさえぎられたからなのかを判別し、当該判別の結果移動物が存在することにより当該マーカーがさえぎられた場合は当該マーカーが存在すると推測された位置に基づいて前記定められる処理を前記画像データに行うことを特徴とする携帯端末。
【請求項４】
請求項１又は２に記載の携帯端末において、
前記動画像処理手段は、前記処理を行っている際に連続するフレーム間で急にマーカーが消えた場合にその理由が、当該携帯端末の移動により当該マーカーが撮影対象から外れたからなのか、移動物が存在することにより当該マーカーがさえぎられたからなのかを判別し、当該判別の結果移動物が存在することにより当該マーカーがさえぎられた場合は当該マーカーが存在すると推測された位置に基づいて前記定められる処理を前記画像データに行うが、前記移動物についての前記画像データには当該処理を行わないことを特徴とする携帯端末。
【請求項５】
請求項１乃至４の何れか１項に記載の携帯端末において、
前記画像加工とは、モザイク、ボカシ、の何れか又はその組合せを前記画像データに付加することであることを特徴とする携帯端末。
【請求項６】
画像処理のために用いられるマーカーと、当該マーカーを利用して画像処理を行う携帯端末と、を備えた画像処理システムにおいて、
前記携帯端末が、請求項１乃至５の何れか１項に記載の携帯端末であることを特徴とする画像処理システム。
【請求項７】
画像を撮影することが可能な携帯端末における画像処理方法において、
前記撮影した画像のデータを処理し、フレーム単位で取り出す画像処理ステップと、
前記取り出した画像データにマーカーがうつっているかを認識するマーカー認識ステップと、
前記マーカー認識ステップが前記マーカーを認識した場合に、当該マーカーの位置を算出し、算出した当該位置に基づいて定められる処理を前記画像データに行うことにより画像加工を行う画像加工ステップと、
を備えることを特徴とする画像処理方法。
【請求項８】
請求項７に記載の画像処理方法において、
前記画像加工ステップでは、前記マーカーの位置に加えて当該マーカーの大きさ及び向きを算出し、算出した当該位置、当該大きさ及び当該向きに基づいて定められる処理を前記画像データに行うことにより画像加工を行うことを特徴とする画像処理方法。
【請求項９】
請求項７又は８に記載の画像処理方法において、
前記動画像処理ステップでは、前記処理を行っている際に連続するフレーム間で急にマーカーが消えた場合にその理由が、当該携帯端末の移動により当該マーカーが撮影対象から外れたからなのか、移動物が存在することにより当該マーカーがさえぎられたからなのかを判別し、当該判別の結果移動物が存在することにより当該マーカーがさえぎられた場合は当該マーカーが存在すると推測された位置に基づいて前記定められる処理を前記画像データに行うことを特徴とする画像処理方法。
【請求項１０】
請求項７又は８に記載の画像処理方法において、
前記動画像処理ステップでは、前記処理を行っている際に連続するフレーム間で急にマーカーが消えた場合にその理由が、当該携帯端末の移動により当該マーカーが撮影対象から外れたからなのか、移動物が存在することにより当該マーカーがさえぎられたからなのかを判別し、当該判別の結果移動物が存在することにより当該マーカーがさえぎられた場合は当該マーカーが存在すると推測された位置に基づいて前記定められる処理を前記画像データに行うが、前記移動物についての前記画像データには当該処理を行わないことを特徴とする画像処理方法。
【請求項１１】
請求項７乃至１０の何れか１項に記載の画像処理方法において、
前記画像加工とは、モザイク、ボカシ、の何れか又はその組合せを前記画像データに付加することであることを特徴とする画像処理方法。
【請求項１２】
画像を撮影することが可能な携帯端末に組み込まれる画像処理プログラムにおいて、
前記撮影した画像のデータを処理し、フレーム単位で取り出す画像処理手段と、
前記取り出した画像データにマーカーがうつっているかを認識するマーカー認識手段と、
前記マーカー認識手段が前記マーカーを認識した場合に、当該マーカーの位置を算出し、算出した当該位置に基づいて定められる処理を前記画像データに行うことにより画像加工を行う画像加工手段と、
を備える携帯端末としてコンピュータを機能させることを特徴とする画像処理プログラム。
【請求項１３】
請求項１２に記載の画像処理プログラムにおいて、
前記画像加工手段は、前記マーカーの位置に加えて当該マーカーの大きさ及び向きを算出し、算出した当該位置、当該大きさ及び当該向きに基づいて定められる処理を前記画像データに行うことにより画像加工を行うことを特徴とする画像処理プログラム。
【請求項１４】
請求項１２又は１３に記載の画像処理プログラムにおいて、
前記動画像処理手段は、前記処理を行っている際に連続するフレーム間で急にマーカーが消えた場合にその理由が、当該画像処理プログラムの移動により当該マーカーが撮影対象から外れたからなのか、移動物が存在することにより当該マーカーがさえぎられたからなのかを判別し、当該判別の結果移動物が存在することにより当該マーカーがさえぎられた場合は当該マーカーが存在すると推測された位置に基づいて前記定められる処理を前記画像データに行うことを特徴とする画像処理プログラム。
【請求項１５】
請求項１２又は１３に記載の画像処理プログラムにおいて、
前記動画像処理手段は、前記処理を行っている際に連続するフレーム間で急にマーカーが消えた場合にその理由が、当該画像処理プログラムの移動により当該マーカーが撮影対象から外れたからなのか、移動物が存在することにより当該マーカーがさえぎられたからなのかを判別し、当該判別の結果移動物が存在することにより当該マーカーがさえぎられた場合は当該マーカーが存在すると推測された位置に基づいて前記定められる処理を前記画像データに行うが、前記移動物についての前記画像データには当該処理を行わないことを特徴とする画像処理プログラム。
【請求項１６】
請求項１２乃至１５の何れか１項に記載の画像処理プログラムにおいて、
前記画像加工とは、モザイク、ボカシ、の何れか又はその組合せを前記画像データに付加することであることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話等の端末における動画像及び静止画像の撮影の際のプライバシー等の保護に関する。
【背景技術】
【０００２】
近年、携帯電話などのモバイル機器にカメラがつき、静止画像や動画像を手軽に撮影することが可能となった。その一方、静止画像や動画像における肖像権やプライバシーが問題になってきている。そのため、撮影した静止画像や動画像を後から編集し、ボカシやモザイクを入れる作業が必要となる。
【０００３】
また、後から編集するのではなく撮影を行いながら編集をし、ボカシやモザイクを入れた画像を取得するという技術もある。
【０００４】
このような技術の一例が例えば特許文献１及び２に記載されている。
【０００５】
特許文献１に記載の技術では撮影画像から被写体の領域と、被写体以外の領域を分離し、少なくても被写体以外の領域についてボカシ処理を施す。
【０００６】
特許文献２に記載の技術では撮影画像から動体を認識した際にモザイク処理を行う。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２０６５８５号公報
【特許文献２】特開２００８−０４２５９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述のように、特許文献１及び２のような技術を用いることで、撮影を行いながら、ボカシやモザイクを入れた画像を取得することが可能となる。しかしながら、これらの技術では、被写体か否か、動体か否か、といったことを基準にしてボカシ等の処理を行うか否かを判断していた。そのため、必ずしもユーザの意図に沿う部分についてのみのボカシ等の処理が行われるわけではない。例えば、観光地等で写真撮影禁止なものや、映画館のスクリーンを撮影した場合に必ずボカシ等の処理が行われるわけではない。
【０００９】
また、撮影されることを望まない人物が、自身が必ず撮影されないように防護したいような場合があるが、上述の技術ではこのような希望を必ずしも叶えられなかった。
【００１０】
更に、後から編集を加えることは手間となるほか、編集ソフトや専門的な知識が必要となって、専門知識のない一般的なユーザには非常に重い作業となってしまう。
【００１１】
そこで、本発明は、予めボカシ等をかけたいと定めたものについては、必ずボカシ等がかけられ、撮影後の人的な編集をする必要もない、プライバシー保護画像加工機能を有する端末装置、その方法及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の第１の観点によれば、画像を撮影することが可能な携帯端末において、前記撮影した画像のデータを処理し、フレーム単位で取り出す画像処理手段と、前記取り出した画像データにマーカーがうつっているかを認識するマーカー認識手段と、前記マーカー認識手段が前記マーカーを認識した場合に、当該マーカーの位置を算出し、算出した当該位置に基づいて定められる処理を前記画像データに行うことにより画像加工を行う画像加工手段と、を備えることを特徴とする携帯端末が提供される。
【００１３】
本発明の第２の観点によれば、画像処理のために用いられるマーカーと、当該マーカーを利用して画像処理を行う携帯端末と、を備えた画像処理システムにおいて、前記携帯端末が、上記の携帯端末であることを特徴とする画像処理システムが提供される。
【００１４】
本発明の第３の観点によれば、画像を撮影することが可能な携帯端末における画像処理方法において、前記撮影した画像のデータを処理し、フレーム単位で取り出す画像処理ステップと、前記取り出した画像データにマーカーがうつっているかを認識するマーカー認識ステップと、前記マーカー認識ステップが前記マーカーを認識した場合に、当該マーカーの位置を算出し、算出した当該位置に基づいて定められる処理を前記画像データに行うことにより画像加工を行う画像加工ステップと、を備えることを特徴とする画像処理方法が提供される。
【００１５】
本発明の第４の観点によれば、画像を撮影することが可能な携帯端末に組み込まれる画像処理プログラムにおいて、前記撮影した画像のデータを処理し、フレーム単位で取り出す画像処理手段と、前記取り出した画像データにマーカーがうつっているかを認識するマーカー認識手段と、前記マーカー認識手段が前記マーカーを認識した場合に、当該マーカーの位置を算出し、算出した当該位置に基づいて定められる処理を前記画像データに行うことにより画像加工を行う画像加工手段と、を備える携帯端末としてコンピュータを機能させることを特徴とする画像処理プログラムが提供される。
【発明の効果】
【００１６】
本発明によれば、静止画像や動画像撮影時に、自分の意図した場所や大きさでボカシやモザイクをリアルタイムで編集することなく、追加することができるようになる。そのため、自分の撮影したい対象物体以外、ボカシやモザイクをかけることができ、他の人や車等のプライバシーを保護することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態の基本的構成を表す図である。
【図２】本発明の実施形態における処理部の基本的構成を表す図である。
【図３】本発明の実施形態の基本的動作を表すフローチャートである。
【図４】本発明の実施形態の基本的動作を説明するためのイメージ図（１／２）である。
【図５】本発明の実施形態の基本的動作を説明するためのイメージ図（２／２）である。
【発明を実施するための形態】
【００１８】
まず、本発明の実施形態の概略を説明する。本発明の実施形態は、概略、携帯電話等の端末で静止画像や動画像撮影時に、特定のマーカーが静止画像や動画像にうつっている場合に、マーカーの位置にボカシやモザイクを静止画像や動画像に追加し、プライバシー等を保護するというものである。具体的には、カメラの撮影映像を常に解析し、映像の中にマーカーが入っているかどうか確認を行う。カメラの撮影映像の中にマーカーがうつっている場合、そのマーカーの位置や向きを特定する。そのマーカーの位置や向きにあわせて、ユーザが設定したボカシやモザイクを追加する。このボカシやモザイクによって、リアルタイムにボカシやモザイクを追加され、プライバシー保護が実現される。
【００１９】
次に、本発明の実施形態について図面を用いて詳細に説明する。
【００２０】
図１のブロック図に本発明の実施形態である携帯端末１００を示す。なお、本実施形態である携帯端末１００とは例えば、携帯電話機であるが、これは本実施形態の適用対象を限定するものではない。本実施形態は、携帯電話機以外にもＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）等の機器にも適用できる。またそれ以外にも、例えばデジタルカメラ等にも適用できる。
【００２１】
図１を参照すると携帯端末１００は、メモリ１１１、中央処理装置１１２、操作受付部１２１、撮影部１２２及び表示部１２３を有する。また、本実施形態は、マーカー２００を更に有する。
【００２２】
ここで、メモリ１１１及び中央処理装置１１２が協働することにより処理部１１０が実現されている。具体的にはメモリ１１１に格納されているプログラムやデータを中央処理装置１１２が読み込んで実行することにより処理部１１０が実現されている。
【００２３】
この処理部１１０について図２のブロック図を参照して説明する。図２を参照すると処理部１１０は、動画像処理部１１３、マーカー認識部１１４及び映像加工部１１５を実現する。
【００２４】
動画像処理部１１３は、撮影部１１４で撮影された映像を、動画像データ処理し、１フレームずつ取り出す機能を有する。更に、動画像処理部１１３は、移動物を抽出する機能を有する。
【００２５】
マーカー認識部１１４は、動画像処理部１１３が取り出したフレーム毎の画像内にマーカー２００がうつっているかチェックする機能を有する。
【００２６】
映像加工部１１５は、算出されたマーカー情報をもとに決定された、ボカシやモザイクの種類やサイズに従って映像にボカシやモザイクを付加する加工をする機能を有する。なお、画像加工部１１５は、本発明の「画像加工手段」に相当する。また、これらボカシやモザイクを付加する加工は、本願発明の「画像加工」という動作に相当する。
【００２７】
操作受付部１２１は、例えば入力キーであり、ユーザが携帯端末１００を操作するために用いられる。なお、操作受付部１２１はどのような機構により実現されてもよい。キーとして実現しても良いし、タッチパネルとして、或いは他のデバイスにより実現されても良い。
【００２８】
撮影部１２２は静止画像及び動画像を撮影可能なカメラである。
【００２９】
表示部１２３はディスプレイであり、撮影部１２２による撮影映像を加工して表示するものである。
【００３０】
メモリ１１１は、操作受付部１２１、撮影部１２２及び表示部１２３などの入力、出力装置とつながり、データのやり取りを行う部分である。
【００３１】
また、マーカー２００は、撮影部１２２の撮影画像の中で、ボカシやモザイクを追加する対象である。今回の説明においてマーカー２００は四角形として図示されているが、マーカー２００は、特定のイメージではなく、デザイン等は自由に変更可能である。
【００３２】
次に、図３のフローチャートと、図４及び５のイメージ図を用いて本実施形態の動作について説明する。なお、図４及び５では、人物３００を例示し、人物３００が移動している場合を想定して説明するが、人物３００はあくまで例示である。人物以外の動物、車や、建築物等の静止物、等任意の物体を対象とすることが可能である。
【００３３】
動作の前提として予め、ボカシやモザイクを発生させたい実際の位置に、マーカー２００を配置する。マーカー２００に対して表示させるボカシやモザイクのサイズ、種類等については、携帯電話等の携帯端末１００に対して設定可能であり、その設定情報はメモリ１１１に保存される。なお、表示させる情報は、ボカシだけ、モザイクだけ、でもよいし、これらを組み合わせてもよい。更に、該当箇所の画像の色彩や明度を変更したりしてもよい。例えば、マーカー２００との距離が近いのであればボカシやモザイクを大きくするようにしてもよい。
【００３４】
ユーザの操作を受け付けた携帯電話等の携帯端末１００は、撮影部１１４で、周りの風景を撮影する（ステップＳ４０１）。
【００３５】
撮影部１１４で撮影された映像は、中央処理装置１１２の動画像処理部１１３によって、動画像データが処理され、１フレームずつ取り出される（ステップＳ４０２）。
【００３６】
フレーム毎の画像は、マーカー認識部１１４によって、マーカー２００が画像内にうつっているかチェックする（ステップＳ４０３）。
【００３７】
マーカー２００が画像内にうつっていない場合は（ステップＳ４０３においてＮＯ）、何も処理をせず、表示部１１５に表示する（ステップＳ４０４）。
【００３８】
マーカー２００が画像内にうつっている場合は（ステップＳ４０３においてＹＥＳ）、画像内におけるマーカーの位置、大きさ、向きを算出する（ステップＳ４０５）。
【００３９】
算出されたマーカー情報をもとに、映像に表示するボカシやモザイクの種類やサイズ、向き等の表示情報を決定する（ステップＳ４０６）。
【００４０】
映像加工部１１５において、映像にボカシとモザイクを追加する（ステップＳ４０７）。
【００４１】
追加された映像は、表示部１１５に表示される（ステップＳ４０８）。
【００４２】
以上の動作により本実施形態は静止画像や動画像撮影時に、自分（或いは携帯端末１００を製作するメーカーや、販売店等）の意図した場所や大きさでボカシやモザイクをリアルタイムで編集することなく、追加することができるようになる。これにより、自分の撮影したい対象物体以外、ボカシやモザイクをかけられることで、他の人や車等のプライバシーを保護することが出来る。
【００４３】
次に、上述の動作中に表示されていたマーカー２００の前を人や車等が通過し、マーカーがさえぎられてしまう場合が想定できる。このような場合は、以下の３つの設定を可能とする。
【００４４】
設定１．マーカーが表示されていないため、さえぎられたマーカーに対してのボカシやモザイクの表示は行わない。
【００４５】
設定２．さえぎられた場合であってもマーカーの位置は推測可能であるため、さえぎられたことを無視し、マーカーの推測位置に対してボカシやモザイクを表示する。結果としてマーカーをさえぎった物体に関してもボカシやモザイクの対象となる。
【００４６】
設定３．さえぎられた場合であってもマーカーの位置は推測可能であるため、さえぎられたことを無視し、マーカーの推測位置に対してボカシやモザイクを表示するが、「設定２．」とは異なりマーカーをさえぎった物体に関してのみボカシやモザイクの対象からはずす。
【００４７】
次に、図５にて、マーカーの前を移動物（人等）がさえぎった場合であって、上述の「設定３．」として設定されている場合の動作について示す。なお、図５においては、複数のマーカー２００をまとめてマーカー群２０１と表記する。
【００４８】
撮影部１１４で撮影された映像は、中央処理装置１１２の動画像処理機能１１３によって、動画像データが処理され、１フレームずつ取り出される。フレームごとの画像は、マーカー認識部１１４によって、マーカー２００が画像内にあるかどうか確認を行う。
【００４９】
マーカー２００が急に消えた場合、前画像と比較を行い、撮影部１１４の移動の動きによりマーカー２００が外れたのか、それとも、移動物によりマーカー２００がさえぎられたのか判断を行う。
【００５０】
移動物によりマーカー２００がさえぎられた場合、動画像処理部１１３で移動物を抽出する。
【００５１】
上記情報をもとに、映像加工部１１５では、移動物にのみボカシやモザイクをかけず、
移動物以外の部分には、ボカシやモザイクを追加して、表示部１１５に表示する。
【００５２】
また、顔画像検出をする機能を更に付加し、移動物が顔画像であると判断された場合は、当該顔画像と思われる移動物に対してはボカシやモザイクをかけるように設定してもよい。
【００５３】
以上説明した本発明の実施形態を適用した場合の具体的効果としては、例えば以下に示すようなものが考えられる。
【００５４】
第１の効果の例としては道路をたまたま歩いていた場合に、どこかで静止画像や動画像を撮影していたとしてもマーカーを身に着けておくことで、自動的に撮影された画像にボカシやモザイクが入り、撮影された画像にうつってしまうことを防ぐことができるというものが挙げられる。
【００５５】
第２の効果の例としては観光地等で、写真撮影禁止なものや、場所などにマーカーを置いておくことで、撮影されても、写真にきれいにうつらないなど、盗撮等を防ぐことが出来るというものが挙げられる。
【００５６】
第３の効果の例としては映画館のスクリーンの近辺に表示することで、盗撮防止が実現可能となるというものが挙げられる。
【００５７】
なお、本発明の実施形態であるプライバシー保護画像加工機能を有する端末装置は、ハードウェアにより実現することもできるが、コンピュータをそのプライバシー保護画像加工機能を有する端末装置として機能させるためのプログラムをコンピュータがコンピュータ読み取り可能な記録媒体から読み込んで実行することによっても実現することができる。
【００５８】
また、本発明の実施形態によるプライバシー保護画像加工方法は、ハードウェアにより実現することもできるが、コンピュータにその方法を実行させるためのプログラムをコンピュータがコンピュータ読み取り可能な記録媒体から読み込んで実行することによっても実現することができる。
【００５９】
また、上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
【符号の説明】
【００６０】
１００  携帯端末
１１０  処理部
１１１  メモリ
１１２  中央処理装置
１１３  動画像処理部
１１４  マーカー認識部
１１５  映像加工部
１２１  操作受付部
１２２  撮影部
１２３  表示部
２００  マーカー
２０１  マーカー群
３００  人物
【図１】
2011097238.tif 000003
【図２】
2011097238.tif 000004
【図３】
2011097238.tif 000005
【図４】
2011097238.tif 000006
【図５】
2011097238.tif 000007