(57)【要約】【課題】適切な撮影制御を効率的に行えるようにする。【解決手段】撮影装置において、画像取得部１０４は、撮影対象物の画像を取得する。文字行抽出部１０７は、画像取得部１０４により取得された画像から文字行領域を抽出する。文字切り出し部１０８は、文字行抽出部１０７により抽出された文字行領域から文字を切り出す。文字認識部１０９は、文字切り出し部１０８により切り出された文字を認識する。撮影可否判定部１１０は、文字切り出し部１０８および文字認識部１０９から得られる情報に基づいて一定数以上の文字行が検出されたか否かを判別することにより撮影の可否を判定する。【選択図】      図１
2007266873.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象物の画像を取得する画像取得手段と、
前記画像取得手段により取得された画像から文字行領域を抽出する文字行抽出手段と、
前記文字行抽出手段により抽出された文字行領域から文字を切り出す文字切り出し手段と、
前記文字切り出し手段により切り出された文字を認識する文字認識手段と、
前記文字切り出し手段および前記文字認識手段から得られる情報に基づいて一定数以上の文字行が検出されたか否かを判別することにより撮影の可否を判定する撮影可否判定手段と、
を具備することを特徴とする撮影装置。
【請求項２】
撮影制御信号を受信するための撮影制御信号受信手段を更に具備し、
前記撮影制御信号受信手段により撮影制御信号が受信された場合に、前記撮影可否判定手段による判定を実行することを特徴とする請求項１に記載の撮影装置。
【請求項３】
撮影対象物までの距離を判定する距離判定手段を更に具備し、
前記距離判定手段により判定された距離がしきい値未満である場合に、前記撮影可否判定手段による判定を実行することを特徴とする請求項１に記載の撮影装置。
【請求項４】
前記文字行抽出手段により抽出された文字行領域の記載内容が文章の一部か否かを判定する文章解析手段を更に具備し、
前記撮影可否判定手段は、前記文章解析手段により文章の一部と判断された行の数がしきい値以上であるか否かを判別することにより撮影の可否を判定することを特徴とする請求項１に記載の撮影装置。
【請求項５】
前記撮影可否判定手段の判定結果が撮影禁止を示す場合に前記文字行抽出手段により抽出された各文字行領域にモザイク処理を行うモザイク処理手段を更に具備し、
前記モザイク処理手段によりモザイク処理が行われた画像を保存することを特徴とする請求項１に記載の撮影装置。
【請求項６】
撮影対象物の画像を取得する画像取得手段と、
前記画像取得手段により取得された画像から撮影制御マークを抽出する撮影制御マーク抽出手段と、
前記撮影制御マーク抽出手段により抽出された撮影制御マークの周辺領域に対して輪郭の抽出処理を行う輪郭抽出手段と、
前記輪郭抽出手段により抽出された輪郭を元に撮影制御領域を検出する撮影制御領域検出手段と、
前記撮影制御領域検出手段により検出された撮影制御領域にモザイク処理を行うモザイク処理手段と、
を具備し、前記モザイク処理手段によりモザイク処理が行われた画像を保存することを特徴とする撮影装置。
【請求項７】
撮影対象物の画像を取得し、
取得された前記画像から文字行領域を抽出し、
抽出された前記文字行領域から文字を切り出し、
切り出された前記文字を認識し、
前記文字切り出しおよび前記文字認識から得られる情報に基づいて一定数以上の文字行が検出されたか否かを判別することにより撮影の可否を判定する、
ことを特徴とする撮影方法。
【請求項８】
撮影対象物の画像を取得し、
取得された前記画像から撮影制御マークを抽出し、
抽出された前記撮影制御マークの周辺領域に対して輪郭の抽出処理を行い、
抽出された前記輪郭を元に撮影制御領域を検出し、
検出された前記撮影制御領域にモザイク処理を行い、
前記モザイク処理が行われた画像を保存する、
ことを特徴とする撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやデジタルカメラ付き携帯電話などの撮影装置および撮影方法に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルカメラ付き携帯電話の普及により、書店店頭に陳列されている印刷物の内容の一部を無断で撮影する、いわゆるデジタル万引の問題が発生してきた。
【０００３】
デジタル万引を防止するために、すでにいくつかの手法が提案されている。一つは撮影禁止用電波や赤外線等を検知すると撮影不可とするものである。
【０００４】
また、撮影対象物に無線ＩＣタグを貼り、それからの制御電波を受信することで撮影禁止・制御を行う方式も提案されている。
【０００５】
また、特許文献１に示されるように、無線ＩＣタグの代わりに印刷物に印刷された特殊なマークやコードを検出した時に撮影を中止する方式も提案されている。
【特許文献１】特開２００５−２１７９７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上に挙げた電波・赤外線・無線ＩＣタグ等を用いた撮影制御方式ではページ単位の撮影制御はできない。また印刷面上に撮影情報コードを検知すると撮影不可とする特許文献１の方式ではページ単位の制御は可能となるが、撮影情報コードの印刷の手間がかかることや見た目の悪さ、およびそのコードを隠せば撮影可能になるなど問題点が多い。
【０００７】
本発明は上記実情に鑑みてなされたものであり、適切な撮影制御を効率的に行うことができる撮影装置および撮影方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮影装置は、撮影対象物の画像を取得する画像取得手段と、前記画像取得手段により取得された画像から文字行領域を抽出する文字行抽出手段と、前記文字行抽出手段により抽出された文字行領域から文字を切り出す文字切り出し手段と、前記文字切り出し手段により切り出された文字を認識する文字認識手段と、前記文字切り出し手段および前記文字認識手段から得られる情報に基づいて一定数以上の文字行が検出されたか否かを判別することにより撮影の可否を判定する撮影可否判定手段とを具備することを特徴とする。
【０００９】
また、本発明に係る撮影装置は、撮影対象物の画像を取得する画像取得手段と、前記画像取得手段により取得された画像から撮影制御マークを抽出する撮影制御マーク抽出手段と、前記撮影制御マーク抽出手段により抽出された撮影制御マークの周辺領域に対して輪郭の抽出処理を行う輪郭抽出手段と、前記輪郭抽出手段により抽出された輪郭を元に撮影制御領域を検出する撮影制御領域検出手段と、前記撮影制御領域検出手段により検出された撮影制御領域にモザイク処理を行うモザイク処理手段とを具備し、前記モザイク処理手段によりモザイク処理が行われた画像を保存することを特徴とする。
【００１０】
本発明に係る撮影方法は、撮影対象物の画像を取得し、取得された前記画像から文字行領域を抽出し、抽出された前記文字行領域から文字を切り出し、切り出された前記文字を認識し、前記文字切り出しおよび前記文字認識から得られる情報に基づいて一定数以上の文字行が検出されたか否かを判別することにより撮影の可否を判定することを特徴とする。
【００１１】
また、本発明に係る撮影方法は、撮影対象物の画像を取得し、取得された前記画像から撮影制御マークを抽出し、抽出された前記撮影制御マークの周辺領域に対して輪郭の抽出処理を行い、抽出された前記輪郭を元に撮影制御領域を検出し、検出された前記撮影制御領域にモザイク処理を行い、前記モザイク処理が行われた画像を保存することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、適切な撮影制御を効率的に行うことができる。
【発明を実施するための最良の形態】
【００１３】
まず、本発明の実施の形態を詳細に説明する前に、個々の実施形態について簡単に説明しておく。
【００１４】
（１）装置構成
第１の実施形態の撮影装置は、レンズ部、イメージセンサ、カメラ制御部、画像取得部（画像取得手段）、プレビュー画像作成部、画像プレビュー部、文字行抽出部（文字行抽出手段）、文字切り出し部（文字切り出し手段）、文字認識部（文字認識手段）、撮影可否判定部（撮影可否判定手段）、および画像保存部から成る。
【００１５】
第２の実施形態の撮影装置は、第１の実施形態の撮影装置に撮影制御信号受信部（撮影制御信号受信手段）が追加されたものである。
【００１６】
第３の実施形態の撮影装置は、第１の実施形態の撮影装置に焦点距離判定部（距離判定手段）が追加されたものである。
【００１７】
第４の実施形態の撮影装置は、第１の実施形態の撮影装置に文章解析部（文章解析手段）が追加されたものである。
【００１８】
第５の実施形態の撮影装置は、第１の実施形態の撮影装置にモザイク処理部（モザイク処理手段）が追加されたものである。
【００１９】
第６の実施形態の撮影装置は、レンズ部、イメージセンサ、カメラ制御部、画像取得部（画像取得手段）、プレビュー画像作成部、画像プレビュー部、撮影制御マーク抽出部（撮影制御マーク抽出手段）、輪郭抽出部（輪郭抽出手段）、撮影可否判定部（撮影可否判定手段）、モザイク処理部（モザイク処理手段）および画像保存部から成る。
【００２０】
（２）動作
第１の実施形態では、デジタルカメラのプレビュー画像又は撮影画像を処理して画像中から文字行を抽出する。文字行の数があらかじめ定めた値以下であれば、撮影を許可し画像を記憶媒体に記録する。そうでない場合は撮影不可とする。
【００２１】
第２の実施形態では、撮影制御信号受信部が制御信号を受信している時のみ第１の実施形態で説明する撮影制御処理が働き、制御信号を受信していない時は撮影制御処理は働かない。
【００２２】
第３の実施形態では、撮影対象物からの距離があらかじめ定めた値より小さい時のみ第１の実施形態で説明する撮影制御処理が働き、小さくない時は撮影制御処理は働かない。
【００２３】
第４の実施形態では、検出した各文字行を文章解析部で処理して文章の一部か否かを判定し、文章の一部であると判定された場合は撮影不可とする。
【００２４】
第５の実施形態では、検出した文字行数が一定以上であった場合、各文字行領域内にモザイクをかけるか一定パターンで塗りつぶす。
【００２５】
第６の実施形態では、撮影制御マークを検出した場合にマーク周辺の画像領域に対して輪郭抽出を行い、その輪郭内にモザイクをかけるか一定パターンで塗りつぶす。
【００２６】
（３）効果
印刷物の内容を撮影する行為は書店や出版社に損害を与えるが、後で会社購入するために印刷物の題名やISBNコードをメモする代わりに撮影する程度であれば、後の購買に繋がる可能性も高いので許容してもよいとする緩やかな撮影制限を行う際に有効である。許容する行数を例えば３行程度に制限した場合、表紙程度の情報は撮影可能だが、本文を撮影しようとすると画像内に３行以上入ってしまい撮影不可となる。
【００２７】
第１の実施形態の装置構成だと、画像中に看板がたくさん含まれている場合に撮影不可となってしまう可能性がある。その対策を行ったのが第２、第３、および第４の実施形態である。
【００２８】
第５および第６の実施形態は、撮影不可にする代わりに画像中の問題ある領域にモザイクをかけることで制限付き撮影を可能としている。
【００２９】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【００３０】
（第１の実施形態）
最初に本発明に係わる第１の実施形態について説明する。
【００３１】
図１は、この発明の一実施形態に係わる、画像中から文字列情報を検出した時に撮影制御を行う撮影装置の構成図である。
【００３２】
この装置は、大きく分けてカメラ制御部１０１、レンズ部１０２、イメージセンサ１０３、画像取得部（画像取得手段）１０４、プレビュー画像作成部１０５、画像プレビュー部１０６、文字行抽出部（文字行抽出手段）１０７、文字切り出し部（文字切り出し手段）１０８、文字認識部（文字認識手段）１０９、撮影可否判定部（撮影可否判定手段）１１０、および画像保存部１１１によって構成されている。
【００３３】
カメラ制御部１０１は、デジタルカメラの撮影操作全体を制御するためのものである。レンズ部１０２は光学的に被写体像を形成するためのものであり、レンズ・光学フィルタ・ミラー・プリズム等を組み合わせて形成される。イメージセンサ１０３はレンズ部１０２からの被写体像に応じて画像データを生成する。イメージセンサ１０３には、例えばＣＣＤやＣＭＯＳといった撮像素子を使用する。
【００３４】
第１の実施形態の基本的な処理の流れを図２のフローチャートを用いて説明する。イメージセンサ１０３より出力された画像データは、画像取得部１０４に格納される（ステップ２０１）。カメラ制御部１０１は、格納された画像に対する撮影可否判定フラグを０でクリアする（ステップ２０２）。プレビュー画像作成部１０５は、画像取得部１０４に格納されている画像に対して縮小処理を施し（ステップ２０３）、生成した縮小画像を画像プレビュー部１０６に表示する（ステップ２０４）。画像プレビュー処理は以上で終了する（ステップ２０５）。
【００３５】
また画像取得部１０４に格納されている画像は文字行抽出部１０７にも出力される。文字行抽出部１０７では画像中から文字行候補を１つまたは複数検出する（ステップ２０６）。検出した行数が０の場合はステップ２１７に進む（ステップ２０７）。そうでない場合は、カウンタｍの値を０にする（ステップ２０８）。ｍの値が文字行候補数より小さいか否か判定し、小さい場合はステップ２１０に進み、そうでない場合はステップ２１６に進む（ステップ２０９）。検出された各文字行候補は文字切り出し部１０８に送られ、ｍ番目の文字行領域中から文字候補画像を切り出す（ステップ２１０）。次にカウンタｎの値を０にする（ステップ２１１）。ｎの値が文字候補数より小さいか否か判定し、小さい場合はステップ２１３に進み、そうでない場合はステップ２１５に進む（ステップ２１２）。切り出された各文字候補画像は文字認識部１０９に送られ、そこで文字として読めるか否かを判定する（ステップ２１３、ステップ２１４）。１行分の文字認識処理が終了すると、ｍの値を１増やす（ステップ２１５）。元画像から抽出された行情報および各行に属する文字候補認識結果は撮影可否判定部１１０に送られる。そこで画像中に文字行が含まれているか、含まれている場合は何行検出されたか等の判定処理が行われ、一定数以上の文字行が検出された場合は、撮影可否判定フラグの値を０以外の値にする（ステップ２１６）。
【００３６】
ステップ２１７では撮影可否判定フラグの値をチェックし、０であれば画像保存部に画像を保存し（ステップ２１８）、そうでない場合は画像プレビュー部にエラーメッセージを表示して画像保存を行わない（ステップ２１９）。以上で１枚の画像に対する一連の撮影処理が完了する（ステップ２２０）。
【００３７】
文字行検出処理のフローチャートを図３に示す。画像取得部１０４に格納された画像は、カラー画像であった場合はいったん白黒濃淡画像に変換される（ステップ３０１）。白黒濃淡画像作成方法としては、RGBのうち１色分の輝度情報を使用する方法、RGB３色の平均輝度情報を使用する方法、またはL*a*b*変換後のL情報を使用する方法などが考えられる。
【００３８】
作成した白黒濃淡画像に対して二値化処理（ステップ３０２）およびラベリング処理（ステップ３０３）を行う。
【００３９】
ラベリング処理（ステップ３０３）によって検出された各黒画素の固まりに対し、それぞれの領域情報を求める（ステップ３０４）。
【００４０】
上記の手順で得られた黒画素連結領域を統合して行候補を検出する。まず行候補数nを0で初期化する（ステップ３０５）。次に画像中の各黒画素連結領域のうち、まだ行候補に未統合のものがないか調べ（ステップ３０６）、もし見つからない場合は文字行候補検出処理を終了する（ステップ３０９）。まだ未統合の黒画素連結領域があった場合は同程度サイズで直線状に一定ピッチで並んでいる黒画素連結領域を互いに統合していき、統合の結果得られた新たな領域をｎ番目の行候補とする（ステップ３０７）。ｎ番目の行候補を得たあとｎの値を１増やして（ステップ３０８）、ステップ３０６に戻る。
【００４１】
画像中から文字行候補を検出する処理の一例を図４に示す。画像取得部１０４に格納された画像４０１に対して図３のステップ３０１からステップ３０４までの処理を行って黒画素連結領域を検出する（ステップ４０２）。そして同程度サイズで直線状に一定ピッチで並んでいる黒画素連結領域を互いに統合していき、３つの行候補を検出する（ステップ４０３）。
【００４２】
文字切り出し処理の一例を図５に示す。１つの行候補領域内の画像に対して図３のステップ３０１からステップ３０４までの処理を行って複数個の黒画素連結領域を検出（ステップ５０１）したあと、黒画素連結領域の分布を見ながらあらかじめ用意した規則に従って行領域を複数の部分領域に分ける（ステップ５０２）。そして各部分領域を文字候補領域として以降の処理で扱う。
【００４３】
次に図２のステップ２１６における文字行判定処理フローの一例を図６に示す。画像中から文字行候補の１つの中から文字候補を切り出し、個々の文字候補を文字認識処理にかけて評価値を得る（ステップ６０２）。次に行内の全文字候補の平均評価値Ｓを求める（ステップ６０３）。平均評価値Ｓをあらかじめ設定したしきい値と比較し（ステップ６０４）、しきい値より大きければ文字行であると判断し（ステップ６０５）、そうでない場合は文字行でないと判定する（ステップ６０６）。以上で文字行判定処理が完了する（ステップ６０７）。
【００４４】
図６の文字行判定処理フローに従って文字行判定を行う例を図７に示す。しきい値が９０点であったとして、行候補７０１は平均評価値が９５点なので文字行であると判定され、行候補７０２の方は平均評価値が５０点なので文字行でないと判定される。
【００４５】
次に図２のステップ２１６における撮影可否判定処理フローの一例を図８に示す。画像中から検出した文字行数ｎを求め（ステップ８０２）、ｎをあらかじめ設定したしきい値と比較し（ステップ８０３）、しきい値より大きければ撮影を不許可とし撮影可否判定フラグの値を１とする（ステップ８０４）。そうでない場合は撮影を許可し撮影可否判定フラグの値を０とする（ステップ８０５）。以上で撮影可否判定処理が完了する（ステップ８０６）。
【００４６】
図８の撮影可否判定処理フローに従って文字行判定を行う例を図９に示す。文字行数のしきい値が４であったとして、画像９０１の場合は文字行が３行しか検出されないので撮影を許可するが、画像９０２の場合は文字行が５行検出されているので撮影を許可しない。
【００４７】
このように第１の実施形態によれば、検出した文字行数で撮影を制御することにより、例えば書店で本の表紙写真を撮影するのは許可するが、価値の高い本文を撮影できなくするといったカメラ制御を容易に実現することが可能となる。
【００４８】
（第２の実施形態）
次に本発明に係わる第２の実施形態について説明する。
【００４９】
図１０は、この発明の一実施形態に係わる、撮影制御信号を受信している状態で画像中から文字列情報を検出した時に撮影制御を行う撮影装置の構成図である。
【００５０】
この装置は、大きく分けてカメラ制御部１００１、レンズ部１００２、イメージセンサ１００３、画像取得部（画像取得手段）１００４、プレビュー画像作成部１００５、画像プレビュー部１００６、文字行抽出部（文字行抽出手段）１００７、文字切り出し部（文字切り出し手段）１００８、文字認識部（文字認識手段）１００９、撮影可否判定部（撮影可否判定手段）１０１０、画像保存部１０１１、および撮影制御信号受信部（撮影制御信号受信手段）１０１２によって構成されている。すなわち、第１の実施形態に撮影制御信号受信部１０１２が付加された構成となっている。
【００５１】
第２の実施形態の基本的な処理の流れを図１１のフローチャートを用いて説明する。イメージセンサ１００３より出力された画像データは、画像取得部１００４に格納される（ステップ１１０１）。カメラ制御部１００１は、格納された画像に対する撮影可否判定フラグを０でクリアする（ステップ１１０２）。プレビュー画像作成部１００５は、画像取得部１００４に格納されている画像に対して縮小処理を施し（ステップ１１０３）、生成した縮小画像を画像プレビュー部１００６に表示する（ステップ１１０４）。画像プレビュー処理は以上で終了する（ステップ１１０５）。
【００５２】
第１の実施形態では画像取得部に格納されている画像は文字行抽出部にも出力されるが、第２の実施形態では撮影制御信号受信部１０１２が撮影制御信号を受信しているか否かチェックし（ステップ１１０６）、受信している場合のみ文字行抽出部１００７に出力される。そうでない場合はそのままステップ１１１８に進む。文字行抽出部１００７では画像中から文字行候補を１つまたは複数検出する（ステップ１１０７）。検出した行数が０の場合はステップ１１１８に進む（ステップ１１０８）。そうでない場合は、カウンタｍの値を０にする（ステップ１１０９）。ｍの値が文字行候補数より小さいか否か判定し、小さい場合はステップ１１１１に進み、そうでない場合はステップ１１１７に進む（ステップ１１１０）。検出された各文字行候補は文字切り出し部１００８に送られ、ｍ番目の文字行領域中から文字候補画像を切り出す（ステップ１１１１）。次にカウンタｎの値を０にする（ステップ１１１２）。ｎの値が文字候補数より小さいか否か判定し、小さい場合はステップ１１１４に進み、そうでない場合はステップ１１１６に進む（ステップ１１１３）。切り出された各文字候補画像は文字認識部１１０９に送られ、そこで文字として読めるか否かを判定する（ステップ１１１４、ステップ１１１５）。１行分の文字認識処理が終了すると、ｍの値を１増やす（ステップ１１１６）。元画像から抽出された行情報および各行に属する文字候補認識結果は撮影可否判定部１１０に送られる。そこで画像中に文字行が含まれているか、含まれている場合は何行検出されたか等の判定処理が行われ、一定数以上の文字行が検出された場合は、撮影可否判定フラグの値を０以外の値にする（ステップ１１１７）。
【００５３】
ステップ１１１８では撮影可否判定フラグの値をチェックし、０であれば画像保存部に画像を保存（ステップ１１１９）し、そうでない場合は画像プレビュー部にエラーメッセージを表示して画像保存を行わない（ステップ１１２０）。以上で１枚の画像に対する一連の撮影処理が完了する（ステップ１１２１）。
【００５４】
第２の実施形態では撮影制御信号を受信していない場合は、普通のデジタルカメラ同様に文字行を検出しても画像を保存することができる。図１２のように、看板がたくさんある横浜中華街のような場所で第１の実施形態で示した装置構成のデジタルカメラで撮影しようとした場合、看板の文字列を大量に検出して撮影が禁止されてしまう。一方第２の実施形態で示した装置構成のデジタルカメラであれば、撮影制御信号を受信していない場合であれば通常通り撮影することが可能である。
【００５５】
（第３の実施形態）
次に本発明に係わる第３の実施形態について説明する。
【００５６】
図１３は、この発明の一実施形態に係わる、撮影対象物までの距離が一定値以内でかつ画像中から文字列情報を検出した時に撮影制御を行う撮影装置の構成図である。
【００５７】
この装置は、大きく分けてカメラ制御部１３０１、レンズ部１３０２、イメージセンサ１３０３、画像取得部（画像取得手段）１３０４、プレビュー画像作成部１３０５、画像プレビュー部１３０６、文字行抽出部（文字行抽出手段）１３０７、文字切り出し部（文字切り出し手段）１３０８、文字認識部（文字認識手段）１３０９、撮影可否判定部（撮影可否判定手段）１３１０、画像保存部１３１１、および焦点距離判定部（距離判定手段）１３１２によって構成されている。すなわち、第１の実施形態に焦点距離判定部１３１２が付加された構成となっている。
【００５８】
第３の実施形態の基本的な処理の流れを図１４のフローチャートを用いて説明する。第３の実施形態の処理の流れは基本的に第２の実施形態と同じである。第２の実施形態では撮影制御信号受信部１０１２が撮影制御信号を受信しているか否かチェックしていたが、第３の実施形態では焦点距離判定部１３１２において撮影対象物からの距離があらかじめ定めたしきい値Ｌより大きいか否かを判定し（ステップ１４０６）、小さい場合のみ文字行抽出部１３０７に出力される。そうでない場合はそのままステップ１４１８に進む。以降の処理は第１の実施形態および第１の実施形態と同様である。
【００５９】
撮影対象物までの距離は、例えばオートフォーカスの場合はオートフォーカスを制御している回路が算出した焦点距離を使用し、マニュアルフォーカスの場合はレンズ部から焦点距離情報を取得する。
【００６０】
第３の実施形態では撮影対象物が一定距離以上離れていれば、普通のデジタルカメラ同様に文字行を検出しても画像を保存することができる。図１２のような看板がたくさんある横浜中華街のような場所でも、通常通り撮影することが可能である。
【００６１】
（第４の実施形態）
次に本発明に係わる第４の実施形態について説明する。
【００６２】
図１５は、この発明の一実施形態に係わる、画像中から文字列情報を検出した時に文脈解析を行い、文章の一部であると判断した場合に撮影制御を行う撮影装置の構成図である。
【００６３】
この装置は、大きく分けてカメラ制御部１５０１、レンズ部１５０２、イメージセンサ１５０３、画像取得部（画像取得手段）１５０４、プレビュー画像作成部１５０５、画像プレビュー部１５０６、文字行抽出部（文字行抽出手段）１５０７、文字切り出し部（文字切り出し手段）１５０８、文字認識部（文字認識手段）１５０９、撮影可否判定部（撮影可否判定手段）１５１０、画像保存部１５１１、および文章解析部（文章解析手段）１５１２によって構成されている。すなわち、第１の実施形態に文章解析部１５１２が付加された構成となっている。
【００６４】
第４の実施形態の基本的な処理の流れを図１６のフローチャートを用いて説明する。イメージセンサ１５０３より出力された画像データは、画像取得部１５０４に格納される（ステップ１６０１）。カメラ制御部１５０１は、格納された画像に対する撮影可否判定フラグを０でクリアする（ステップ１６０２）。プレビュー画像作成部１５０５は、画像取得部１５０４に格納されている画像に対して縮小処理を施し（ステップ１６０３）、生成した縮小画像を画像プレビュー部１５０６に表示する（ステップ１６０４）。画像プレビュー処理は以上で終了する（ステップ１６０５）。画像プレビュー処理の流れは第１の実施形態と全く同じである。
【００６５】
文字行候補検出処理および文字認識処理の流れも第１の実施形態と同様である。第１の実施形態と異なるのは、検出した各文字行候補内に対して文字認識処理を行ったあとに自然言語処理に基づく文章解析（ステップ１６１６）を行う点である。
【００６６】
自然言語処理とは、文章を名詞・動詞・副詞・助詞等の構成単語レベルに分け（形態素解析）、文章構造を抽出する（構文解析）ための一連の処理のことである。本発明で使用する文章解析処理の一例を図１７に示す。まずカウンタｎの値を０とする（ステップ１７０２）。次にｎの値が画像中から検出した文字行数より小さいかどうか比較し（ステップ１７０３）、小さい場合はステップ１７０４に進み、そうでない場合は文章解析処理を終了する（ステップ１７１０）。
【００６７】
ステップ１７０４ではｎ番目の文字行のフラグ情報flg[n]の値に０をセットする。次に文字行の文字認識結果が「である」「した」で終わっている（ステップ１７０５，１７０６）、もしくは主語・述語の文章構造が抽出された（ステップ１７０７）場合はその文字行は文章の一部であると判断し、flg[n]の値を１とする（ステップ１７０８）。ステップ１７０５からステップ１７０７のいずれの条件も満たさなかった場合はflg[n]の値は０のままである。そのあとｎの値を１増やし（ステップ１７０９）、ステップ１７０３に戻る。
【００６８】
第４の実施形態では、撮影可否判定処理（ステップ１６１７）において、文章解析処理（ステップ１６１６）で文章の一部であると判定された行数があらかじめ定めたしきい値を超えた場合に撮影可否判定フラグに１をセットする。以降の処理は第１の実施形態と同様である。
【００６９】
第４の実施形態を用いた処理の一例を図１８に示す。この例では文章として意味を成す行を２行以上検出した場合に撮影制限を行うものとする。図１８上側の例では、検出した３行のうち文章として意味を成すのは１行のみなので撮影制限を行わないが、下側の例では文章として意味を成す行が３行検出されるので撮影が制限される。このように、文章として意味を成す行の数を検出することにより適切な撮影制限を実現することができる。
【００７０】
（第５の実施形態）
次に本発明に係わる第５の実施形態について説明する。
【００７１】
図１９は、この発明の一実施形態に係わる、画像中から文字列情報を検出した時に文字列部分にモザイク処理を行う撮影装置の構成図である。
【００７２】
この装置は、大きく分けてカメラ制御部１９０１、レンズ部１９０２、イメージセンサ１９０３、画像取得部（画像取得手段）１９０４、プレビュー画像作成部１９０５、画像プレビュー部１９０６、文字行抽出部（文字行抽出手段）１９０７、文字切り出し部（文字切り出し手段）１９０８、文字認識部（文字認識手段）１９０９、撮影可否判定部（撮影可否判定手段）１９１０、画像保存部１９１１、およびモザイク処理部（モザイク処理手段）１９１２によって構成されている。すなわち、第１の実施形態にモザイク処理部１９１２が付加された構成となっている。
【００７３】
第５の実施形態の基本的な処理の流れを図２０のフローチャートを用いて説明する。ステップ２０１６の画像可否判定処理までの処理は第１の実施形態と全く同じである。第１の実施形態と大きく異なるのは、画像可否判定フラグが０でない時の処理である。画像可否判定フラグをチェックして（ステップ２０１７）、０でない時は画像プレビュー部にエラーメッセージを表示して（ステップ２０１８）、モザイク処理部１９１２は画像取得部１９０４に格納されている画像の各文字行領域部分にモザイクをかける（ステップ２０１９）。そのあと画像可否判定フラグの値にかかわらず画像保存部１９１１に画像を保存する（ステップ２０２０）。よって画像可否判定フラグの値が０でない場合は部分的にモザイクのかかった画像が保存されることとなる。以上で１枚の画像に対する一連の撮影処理が完了する（ステップ２０２１）。
【００７４】
第５の実施形態を用いた処理の一例を図２１に示す。この例では文字行数が４以上の場合に撮影可否判定フラグが１になるものとする。画像２１０１からは画像中から３行検出されるがしきい値以下なので画像取得部１９０４に格納されている画像２１０２がそのまま画像保存部１９１１で保存される。画像２１０３の場合は画像中から５行検出されるために撮影可否判定フラグが１となり、画像取得部１９０４に格納されている画像の各行領域部分がモザイク処理部１９１２にによってモザイク処理され、モザイク処理後の画像が画像保存部１９１１で保存される。このように、検出された文字行数がしきい値となる場合にはモザイク処理が行われた画像が保存されるため、適切な撮影制限を実現することができる。
【００７５】
（第６の実施形態）
次に本発明に係わる第６の実施形態について説明する。
【００７６】
図２２は、この発明の一実施形態に係わる、画像中から撮影制御マークを検出した時に撮影制御マークおよびその周辺領域にモザイク処理を行う撮影装置の構成図である。
【００７７】
この装置は、大きく分けてカメラ制御部２２０１、レンズ部２２０２、イメージセンサ２２０３、画像取得部（画像取得手段）２２０４、プレビュー画像作成部２２０５、画像プレビュー部２２０６、撮影制御マーク抽出部（撮影制御マーク抽出手段）２２０７、輪郭抽出部（輪郭抽出手段）２２０８、撮影制御領域検出部（撮影制御領域検出手段）２２０９、モザイク処理部（モザイク処理手段）２２１０、および画像保存部２２１１によって構成されている。
【００７８】
第６の実施形態の基本的な処理の流れを図２３のフローチャートを用いて説明する。イメージセンサ２２０３より出力された画像データは、画像取得部２２０４に格納される（ステップ２３０１）。カメラ制御部２２０１は、格納された画像に対する撮影可否判定フラグを０でクリアする（ステップ２３０２）。プレビュー画像作成部２２０５は、画像取得部２２０４に格納されている画像に対して縮小処理を施し（ステップ２３０３）、生成した縮小画像を画像プレビュー部２２０６に表示する（ステップ２３０４）。画像プレビュー処理は以上で終了する（ステップ２３０５）。
【００７９】
また画像取得部２２０４に格納されている画像は撮影制御マーク抽出部２２０７にも出力される。撮影制御マーク抽出部２２０７では画像中から撮影制御マークを検出する処理を行う（ステップ２３０６）。そのあと撮影制御マークの検出数ｍが０の場合はステップ２３１４に進む（ステップ２３０７）。そうでない場合は、カウンタｎの値を０にする（ステップ２３０８）。カウンタｎの値が撮影制御マーク検出数ｍより小さいか否か判定し、小さい場合はステップ２３１０に進み、そうでない場合はステップ２３１４に進む（ステップ２３０９）。輪郭抽出部２２０８はｎ番目の撮影制御マークの周辺領域に対して輪郭抽出処理を行う（ステップ２３１０）。輪郭抽出処理には、例えばラプラシアンやSobelフィルタといった微分フィルタを使用する。撮影制御領域検出部２２０９は、撮影制御マーク周辺の輪郭情報を元に撮影制御マークが貼られている物体の領域を検出し（ステップ２３１１）、撮影可否判定フラグの値を０以外の値とする（ステップ２３１２）。ｎ番目の撮影制御マークに関する領域検出処理が終了すると、ｎの値を１増やす（ステップ２３１３）。検出した全ての撮影制御マークに関する処理が終了すると、ステップ２３１４に進む。
【００８０】
ステップ２３１４では撮影可否判定フラグの値をチェックし、０でない時は画像プレビュー部にエラーメッセージを表示して（ステップ２３１５）、モザイク処理部２２１０はｎ個の撮影制御領域全てにモザイクをかける（ステップ２３１６）。そのあと画像可否判定フラグの値にかかわらず画像保存部２２１１に画像を保存する（ステップ２３１７）。よって画像可否判定フラグの値が０でない場合は部分的にモザイクのかかった画像が保存されることとなる。以上で１枚の画像に対する一連の撮影処理が完了する（ステップ２３１８）。
【００８１】
第６の実施形態を用いた処理の一例を図２４に示す。８冊の本が移っている画像２４０１があって、本１，４，７に撮影制御マークが印刷されている。２４０２は図２２の撮影制御マーク抽出部２２０７は本１，４，７に印刷されている撮影制御マークを検出し、輪郭抽出部２２０８は撮影制御マーク周辺の画像に対して輪郭抽出処理を行った状態を示している。また２４０３は、図２２の撮影御領域検出部２２０９が撮影制御マークが貼られた本の輪郭を抽出して、各撮影制御領域にモザイクをかけた状態を示す。このように撮影制御マークが検出された場合には各撮影制御領域にモザイク処理が行われた画像が保存されるため、適切な撮影制限を実現することができる。
【００８２】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００８３】
【図１】第１の実施形態の構成図。
【図２】第１の実施形態の処理の概略を示したフローチャート。
【図３】第１の実施形態の文字行候補検出処理のフローチャート。
【図４】第１の実施形態の文字行候補検出処理の一例を示す図。
【図５】第１の実施形態の文字切り出し処理の一例を示す図。
【図６】第１の実施形態の文字行判定処理フローの一例を示す図。
【図７】第１の実施形態の文字行判定処理の一例を示す図。
【図８】第１の実施形態の撮影可否判定フローの一例を示す図。
【図９】第１の実施形態の撮影可否判定処理の一例を示す図。
【図１０】第２の実施形態の構成図。
【図１１】第２の実施形態の処理の概略を示したフローチャート。
【図１２】第１の実施形態ではうまく処理できない画像の一例を示す図。
【図１３】第３の実施形態の構成図。
【図１４】第３の実施形態の処理の概略を示したフローチャート。
【図１５】第４の実施形態の構成図。
【図１６】第４の実施形態の処理の概略を示したフローチャート。
【図１７】第４の実施形態の文書解析処理フローの一例を示す図。
【図１８】第４の実施形態の処理の一例を示す図。
【図１９】第５の実施形態の構成図。
【図２０】第５の実施形態の処理の概略を示したフローチャート。
【図２１】第５の実施形態の処理の一例を示す図。
【図２２】第６の実施形態の構成図。
【図２３】第６の実施形態の処理の概略を示したフローチャート。
【図２４】第６の実施形態の処理の一例を示す図。
【符号の説明】
【００８４】
１０１，１００１，１３０１，１５０１，１９０１，２２０１…カメラ制御部、１０２，１００２，１３０２，１５０２，１９０２，２２０２…レンズ部、１０３，１００３，１３０３，１５０３，１９０３，２２０３…イメージセンサ、１０４，１００４，１３０４，１５０４，１９０４，２２０４…画像取得部、１０５，１００５，１３０５，１５０５，１９０５，２２０５…プレビュー画像作成部、１０６，１００６，１３０６，１５０６，１９０６，２２０６…画像プレビュー部、１０７，１００７，１３０７，１５０７，１９０７…文字行抽出部、１０８，１００８，１３０８，１５０８，１９０８…点文字切り出し部、１０９，１００９，１３０９，１５０９，１９０９…文字認識部、１１０，１０１０，１３１０，１５１０，１９１０…撮影可否判定部、１１１，１０１１，１３１１，１５１１，１９１１，２２１１…画像保存部、１０１２…撮影制御信号受信部、１３１２…焦点距離判定部、１５１２…文章解析部、１９１２…モザイク処理部、２２０７…撮影制御マーク抽出部、２２０８…輪郭抽出部、２２０９…撮影制御領域検出部、２２１０…モザイク処理部。
【図１】
2007266873.tif 000003
【図２】
2007266873.tif 000004
【図３】
2007266873.tif 000005
【図４】
2007266873.tif 000006
【図５】
2007266873.tif 000007
【図６】
2007266873.tif 000008
【図７】
2007266873.tif 000009
【図８】
2007266873.tif 000010
【図９】
2007266873.tif 000011
【図１０】
2007266873.tif 000012
【図１１】
2007266873.tif 000013
【図１２】
2007266873.tif 000014
【図１３】
2007266873.tif 000015
【図１４】
2007266873.tif 000016
【図１５】
2007266873.tif 000017
【図１６】
2007266873.tif 000018
【図１７】
2007266873.tif 000019
【図１８】
2007266873.tif 000020
【図１９】
2007266873.tif 000021
【図２０】
2007266873.tif 000022
【図２１】
2007266873.tif 000023
【図２２】
2007266873.tif 000024
【図２３】
2007266873.tif 000025
【図２４】
2007266873.tif 000026