(57)【要約】【課題】本発明は、マークを利用しない方法で板面を把握することができる撮影装置を提供する。【解決手段】撮像画像データを取得する撮像画像データ取得手段と、前記撮像画像データから直線データを検出する直線データ検出手段と、前記直線データをグループに振り分け、直線データのデータ数を減らす直線データ数削減手段と、前記直線データ数削減手段により削減された直線データから四角形を構成する組合せを算出する四角形算出手段と、前記四角形算出手段により算出されたすべての組み合わせの四角形のアスペクト比を算出するアスペクト比算出手段と、前記アスペクト比算出手段により算出されたアスペクト比と、データベースから抽出したアスペクト比と、を比較する比較手段と、を備える。これにより、マークを利用しないで板面を把握することができる。【選択図】図１
2020135776.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像データを取得する撮像画像データ取得手段と、
前記撮像画像データから直線データを検出する直線データ検出手段と、
前記直線データをグループに振り分け、直線データのデータ数を減らす直線データ数削減手段と、
前記直線データ数削減手段により削減された直線データから四角形を構成する組合せを算出する四角形算出手段と、
前記四角形算出手段により算出されたすべての組み合わせの四角形のアスペクト比を算出するアスペクト比算出手段と、
前記アスペクト比算出手段により算出されたアスペクト比と、データベースから抽出したアスペクト比と、を比較する比較手段と、
を備える撮影装置。
【請求項２】
前記四角形算出手段は、直線データを実寸法に変換することを特徴とする請求項１に記載の撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像の中から文字または絵が記載された部分を抽出するための撮影装置に関する。
【背景技術】
【０００２】
従来からホワイトボードおよび黒板に記載された文字または絵を記録するためにカメラ等で撮影されることがある。
【０００３】
しかしながら、ホワイトボード等の板面に対して真正面から撮影できず、斜めから撮影せざるを得ない場合に、撮影された画像が斜めに傾いた状態で記録されることがあった。このため、撮影された画像を補正する手段が従来からあり、例えば、特許文献１には、板面に記載された特定のマークを認識して板面を把握し、板面の部分を画像補正することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−０９８９４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１は、予めホワイトボードにマークが付されていなければ、板面の位置を把握することができないため、マークが付されたホワイトボードしか利用することができなかった。
【０００６】
本発明は、マークを利用しない方法で板面を把握することができる撮影装置を提供する事を目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に記載の発明に係る撮影装置は、撮像画像データを取得する撮像画像データ取得手段と、前記撮像画像データから直線データを検出する直線データ検出手段と、前記直線データをグループに振り分け、直線データのデータ数を減らす直線データ数削減手段と、前記直線データ数削減手段により削減された直線データから四角形を構成する組合せを算出する四角形算出手段と、前記四角形算出手段により算出されたすべての組み合わせの四角形のアスペクト比を算出するアスペクト比算出手段と、前記アスペクト比算出手段により算出されたアスペクト比と、データベースから抽出したアスペクト比と、を比較する比較手段と、を備える。
【０００８】
請求項１に記載の発明に係る撮影装置において、前記四角形算出手段は、直線データを実寸法に変換する。
【発明の効果】
【０００９】
本発明によれば、マークが付されていないホワイトボードでも板面を把握して画像を抽出することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮影装置の構成を示すブロック図である。
【図２】本実施形態に係る撮影装置の画像処理の前段処理を示すフロー図である。
【図３】本実施形態に係る撮影装置の画像処理の後段処理を示すフロー図である。
【図４】本実施形態に係る撮影装置の初期画面を示す図である
【図５】本実施形態に係る撮影装置のボード選択画面を示す図である。
【図６】本実施形態に係る撮影装置のシャッター操作時の画面を示す図である。
【図７】本実施形態に係る撮影装置の画像処理中の画面を示す図である。
【図８】本実施形態に係る撮影装置の画像処理後の画面を示す図である。
【発明を実施するための形態】
【００１１】
［実施形態］
本発明の実施形態に係る撮影装置について、図面を参照して説明する。
【００１２】
図１は、撮影装置ＳＡ１の全体構成を示すブロック図である。図１に示すように撮影装置ＳＡ１は、操作部１１と、操作処理部１２と、ＣＰＵ１３、ＲＡＭ１４、ＲＯＭ１５と、カメラ１６と、撮像処理部１７と、画像処理部１８、タッチパネル部１９、表示部２０、ＬＡＮ通信部２１と、を備える。
【００１３】
操作部１１は、撮影装置ＳＡ１の筐体表面側に物理的ボタンとして、および表示部２０にアイコンとして、備えられる。操作部１１は、電源スイッチと、撮影するためのシャッターボタンと、音量調整ボタンと、各種プログラムを起動するためのアイコンと、を備える。操作部１１は利用者によって操作される。
【００１４】
操作処理部１２は、利用者が操作部１１を操作したときに、操作部１１の操作位置に応じた操作データを生成し、ＣＰＵ１３へ出力する。
【００１５】
ＣＰＵ１３は、ＲＯＭ１５に予め記憶された各種プログラムに基づいてデータを処理する。ＣＰＵ１３は、操作処理部１２から入力された操作データと、撮像処理部１７から入力された撮像画像データと、を各種プログラムに基づき処理し、画像処理部１８に処理を指令する。
【００１６】
ＲＡＭ１４は、ＣＰＵ１３で処理したデータを一時的に記憶する。ＲＡＭ１４は、第１記憶領域と第２記憶領域と第３記憶領域と第４記憶領域と第５記憶領域と第６記憶領域と第７記憶領域と第８記憶領域と第９記憶領域と第１０記憶領域と第１１記憶領域と第１２記憶領域と第１３記憶領域と第１４記憶領域とを備える。
【００１７】
ＲＯＭ１５は、各種プログラムおよびデータベースを記憶する。
【００１８】
各種プログラムは、撮影装置ＳＡ１の電源が投入されると読み出される基本的な処理を行うためのオペレーティングシステムプログラムと、画像処理を行うためのプログラムと、である。
【００１９】
データベースは、複数のボード仕様データを含む。ボード仕様データは、メーカー名、製品名、ボードの縦と横との比率を示すアスペクト比、ボード高さ寸法、および枠の幅寸法を示すデータで構成されている。
【００２０】
カメラ１６は、撮影装置ＳＡ１の筐体表面側に備えられる。
【００２１】
撮像処理部１７は、カメラ１６で撮影された撮像画像に基づいて撮像画像データを生成し、ＣＰＵ１３に出力する。
【００２２】
画像処理部１８は、ＣＰＵ１３の指令に従いＲＡＭ１４の第２記憶領域から撮像画像データを読み出す。また、ＣＰＵ１３の指令に従い、読み出された撮像画像データを表示部２０に出力する。
【００２３】
タッチパネル部１９は、既存の抵抗膜方式を採用しており、利用者の操作に従って、操作位置を示す操作データを生成し、操作データをＣＰＵ１３に出力する。
【００２４】
表示部２０は、画像処理部１８から入力された撮像画像データに基づいて画像を表示する。
【００２５】
図４は、表示部２０が表示する初期画面を示す。図４に示す画面は、基本的な処理を行うためのオペレーティングシステムプログラムのみ起動している状態の画面であり、各種プログラムを起動するための操作部１１が表示される。
【００２６】
ＬＡＮ通信部２１は、ＣＰＵ１３からの指令に基づき、ＲＡＭ１４の第１４記憶領域に記憶された台形補正など既存の補正処理方式により処理された画像データをサーバーなどの外部装置に送信する。
【００２７】
＜本実施形態の動作および作用＞
本実施形態の動作および作用について、図２および図３を参照して説明する。図２および図３において、ステップＳ０１からステップＳ２７までの処理は、ＣＰＵ１３の処理を示す。
【００２８】
利用者が、撮影装置ＳＡ１の電源を起動すると、表示部２０には、図４に示すように各種プログラムを起動するための操作部１１が表示される。利用者が操作部１１のうち、ボードを撮影するための操作部１１をタッチパネル部上で接触操作すると、ＲＯＭ１５から画像処理プログラムが読み出され、ステップＳ０１からステップＳ２７までの処理が開始される。
【００２９】
ボード選択が受付される（ステップＳ０１）。具体的には、ＲＯＭ１５に記憶されているボード仕様データが読み出され、ボード名が表示部２０に表示される。利用者によって、表示部２０に表示されたボード名のうち、利用者が撮影するボードのボード名をタッチパネル部上で接触操作すると、そのボード名に関連付けされたボード仕様データがＲＡＭ１４の第１記憶領域に記憶される。
【００３０】
撮影されたか否かが判断される（ステップＳ０２）。具体的には、シャッターボタンを示す操作部１１が操作され、ボードを含む撮像画像を示す撮像画像データがＲＡＭ１３の第２記憶領域に記憶されたか否かが判断される。撮影されたと判断される場合（ステップＳＡ０２）、処理がステップＳＡ０３に進められる。撮影されていないと判断される場合（ステップＳＡ０２）、ステップＳ０２の処理が繰り返される。
【００３１】
エッジ検出処理がされる（ステップＳ０３）。具体的には、ＲＡＭ１４の第２記憶領域に記憶された撮像画像データが読み出され、既存の探索ベースの手法またはゼロ交差法ベースの手法によりエッジ検出される。
【００３２】
直線が検出される（ステップＳ０４）。具体的には、ステップＳ０３でエッジ検出された撮像画像データから、ハフ変換により直線データが検出され、直線データを構成する両端の座標データがＲＡＭ１４の第３記憶領域に記憶される。
【００３３】
中心線と交わるか否かが判断される（ステップＳ０５）。具体的には、ＲＡＭ１４の第３記憶領域から読み出された直線データが、撮像画像データの縦および横のそれぞれ中点同士を結んだ中心線に交わるか否かが判断される。直線データが中心線に交わると判断される場合（ステップＳ０５：ＹＥＳ）、ＲＡＭ１４の第３記憶領域からその直線データが消去され、ステップＳ０６に進められる。直線データが中心線に交わらないと判断される場合（ステップＳ０５：ＮＯ）ＲＡＭ１４の第３記憶領域からその直線データが消去され、ステップＳ０５の処理が繰り返される。
【００３４】
傾きが１より小さく、−１より大きいか否かが判断される（ステップＳ０６）。具体的には、直線データを構成する座標データが読み出され、座標データから傾きを示す傾きデータが計算される。傾きが１より小さく、−１より大きいか否かが判断される。傾きが１より小さく、−１より大きいと判断される場合（ステップＳ０６：ＹＥＳ）、その直線を示す直線データと傾きデータとが紐づけされてＲＡＭ１４の第４記憶領域に記憶され、ステップＳ０７に進められる。傾きが１より大きく、−１より小さいと判断される場合（ステップＳ０６：ＮＯ）、その直線を示す直線データと傾きデータとが紐づけされてＲＡＭ１４の第５記憶領域に記憶され、処理がステップＳ０８に進められる。
【００３５】
画像の上半分にあるか否かが判断される（ステップＳ０７）。具体的には、ＲＡＭ１４の第４領域に記憶された直線データが読み出され、画像の縦方向の中点同士を結ぶ中心線よりも上にあるか否かが判断される。直線データが中心線よりも上にあると判断される場合（ステップＳ０７：ＹＥＳ）、処理がステップＳ０９に進められる。直線データが中心線よりも下にあると判断される場合（ステップＳ０７：ＮＯ）、処理がステップＳ１０に進められる。
【００３６】
画像の左半分にあるか否かが判断される（ステップＳ０８）。具体的には、ＲＡＭ１４の第５記憶領域に記憶された直線データが読み出され、画像の横方向の中点同士を結ぶ中心線よりも左にあるか否かが判断される。直線データが中心線よりも左にあると判断される場合（ステップＳ０８：ＹＥＳ）、処理がステップＳ１１に進められる。直線データが中心線よりも左にないと判断される場合（ステップＳ０８：ＮＯ）、処理がステップＳ１２に進められる。
【００３７】
直線データが上辺集合に分類される（ステップＳ０９）。具体的には、直線データがボードの枠のうち上辺枠のグループに分類され、上辺集合の記憶領域であるＲＡＭ１１４の第６記憶領域に記憶される
【００３８】
直線データが下辺集合に分類される（ステップＳ１０）。具体的には、直線データがボードの枠のうち下辺枠のグループに分類され、下辺集合の記憶領域である第７記憶領域に記憶される。
【００３９】
直線データが左辺集合に分類される（ステップＳ１１）。具体的には、直線データがボードの枠のうち左辺枠のグループに分類され、左辺集合の記憶領域である第８記憶領域に記憶される。
【００４０】
直線データが右辺集合に分類される（ステップＳ１２）。具体的には、直線データがボードの枠のうち右辺枠のグループに分類され、右辺集合の記憶領域である第９記憶領域に記憶される。
【００４１】
直線データのすべてに対して処理が終わったか否かが判断される（ステップＳ１３）。具体的には、ＲＡＭ１４の第３記憶領域に記憶された直線データが残っているか否かが判断される。処理が終わったと判断される場合（ステップＳ１３：ＹＥＳ）、処理がステップＳ１４に進められる。処理が終わっていないと判断される場合（ステップＳ１３：ＮＯ）、ステップＳ０５の処理が繰り返される。
【００４２】
閾値が算出される（ステップＳ１４）。具体的には、ＲＡＭ１４の第１記憶領域に記憶されたボード仕様データのうち、ボードの高さ寸法データおよび枠の幅寸法データが読み出される。ＲＡＭ１４の第２記憶領域に記憶された撮像画像データの高さ寸法のピクセル値が抽出され、幅寸法×ピクセル値÷高さ寸法によって、幅寸法が撮像画像上での寸法に変換され、閾値とされる。
【００４３】
直線データがグループに振り分けられる（ステップＳ１５）。具体的には、ＲＡＭ１４の第Ｎ記憶領域（Ｎ＝６から開始しＮ＝９で終了）に記憶された複数の直線データが読み出され、直線データ間の距離が閾値に収まる直線データを一つのグループとして、直線データとグループ番号データとが紐づけされてＲＡＭ１４の第N記憶領域に記憶される。
【００４４】
直線データが複数あるか否かが判断される（ステップＳ１６）。具体期には、ＲＡＭ１４の第Ｎ記憶領域に記憶された同じグループ番号データに紐づけされた直線データが複数あるか否かが判断される。直線データが複数あると判断される場合（ステップＳ１６：ＹＥＳ）、処理がステップＳ１７に進められる。直線データが複数ないと判断される場合（ステップＳ１６：ＮＯ）、処理がステップ２０に進められる。
【００４５】
直線データが２つ選択される（ステップＳ１７）。具体的には、ＲＡＭ１４の第Ｎ記憶領域に記憶された同じグループ番号データに紐づけされた直線データのうち、記憶されている順番に２つが選択される。
【００４６】
２つの直線データのそれぞれの中点からの距離が算出される（ステップＳ１８）。具体的には、直線データを構成する両端の座標データと、中心線の両端の座標データとから、直線データ及び中心線とが交差する点の座標データが算出される。交差する点の座標データと中心点の座標データとから距離を示す距離データが算出される。
【００４７】
距離が短い直線データが抽出される（ステップＳ１９）。具体的には、ステップＳ１８の処理で算出された距離データが示す距離のうち、小さい距離を示す距離データと、その距離データに紐づけされた直線データと、が抽出され、再びＲＡＭ１４の第Ｎ記憶領域に記憶される。また、大きい距離を示す距離データと、その距離データに紐づけされた直線データとが、消去され、ステップＳ１６の処理が繰り返される。
【００４８】
全辺の処理が終わったか否かが判断される（ステップＳ２０）。具体的には、ＲＡＭ１４の第６記憶領域から処理を開始し、第６記憶領域の処理がステップＳ１６により直線データが複数ないと判断された場合に、第Ｎ記憶領域のNをN+1にカウントアップし、Nが９になるまで、ステップS１５からステップＳ１９までの処理が繰り返される。Ｎが９になりステップＳ１５からステップＳ１９までの処理が終わったか否かにより全辺の処理が終わったか否かが判断される。上辺、下辺、左辺および右辺の全辺の処理が終わったと判断される場合（ステップＳ２０：ＹＥＳ）、処理がステップＳ２１に進められる。全辺の処理が終わっていないと判断される場合（ステップＳ２０：ＮＯ）、ＮをＮ＋１にカウントアップし、ステップＳ１５の処理が繰り返される。
【００４９】
四角形が生成される（ステップＳ２１）。具体的には、ＲＡＭ１４の第６記憶領域から第９記憶領域までに記憶された直線データが読み出され、全ての組み合わせによる四角形データが作成される。例として、上辺集合に分類され第６記憶領域に記憶されたそれぞれ異なるグループ番号を示すグループ番号データが３つ、下辺集合に分類され第７記憶領域に記憶されたそれぞれ異なるグループ番号を示すグループ番号データが２つ、左辺集合に分類され第８記憶領域に記憶されたそれぞれ異なるグループ番号を示すグループ番号データが２つ、および右辺集合に分類され第９記憶領域に記憶されたそれぞれ異なるグループ番号を示すグループ番号データが３つある場合について説明する。第６記憶領域に記憶された３つのうち１つと、第７記憶領域に記憶された２つのうち１つと、第８記憶領域に記憶された２つのうち１つと、第９記憶領域に記録された３つのうち１つと、から生成される四角形は、３６通りの組み合わせがあり、その組み合わせ全ての３６個の四角形データが生成され、ＲＡＭ１４の第１０記憶領域に記憶される。
【００５０】
実寸法が計算される（ステップＳ２２）。具体的には、ＲＡＭ１４の第１０記憶領域に記憶された四角形データが読み出され、四角形データを構成する上辺、下辺、左辺、および右辺の各データを実際のボードの大きさに拡大した場合の実寸法データが計算され、各辺の実寸法データが四角形データに紐づけされてＲＡＭ１４の第１１記憶領域に記憶される。
【００５１】
アスペクト比が計算される（ステップＳ２３）。具体的には、ＲＡＭ１４の第１１記憶領域に記憶された四角形データに紐付けされた各辺の実寸法データが読み出され、アスペクト比が計算される。
【００５２】
アスペクト比の差分が計算される（ステップＳ２４）。具体的には、ＲＡＭ１４の第１記憶領域に記憶されたボード仕様データのうち、ボードの縦と横との比率を示すアスペクト比を示すアスペクト比データが読み出される。ボードのアスペクト比とステップＳ２３で計算されたアスペクト比との差分が計算され、四角形データと差分を示す差分データとが紐づけされてＲＡＭ１４の第１２記憶領域に記憶される。
【００５３】
全組合せの四角形データを処理したか否かが判断される（ステップＳ２５）。具体的には、ＲＡＭ１４の第１１記憶領域に記憶された四角形データに紐付けされた各辺の実寸法データがあるか否かにより処理したか否かが判断される。全組合せの四角形データを処理したと判断される場合（ステップＳ２５：ＹＥＳ）、処理がステップＳ２６に進められる。全組合せの四角形データを処理していないと判断される場合（ステップＳ２５：ＮＯ）、ステップＳ２１の処理が繰り返される。
【００５４】
小さい差分データの四角形データが抽出される（ステップＳ２６）。ＲＡＭ１４の第１２記憶領域に記憶された差分データのうち、一番小さい差分データが抽出される。その差分データに紐づけされた四角形データが抽出され、四角形データを構成する上辺の直線データ、下辺の直線データ、左辺の直線データ、および右辺の直線データが抽出され、ＲＡＭ１４の第１３記憶領域に記憶される。
【００５５】
画像が補正処理される（ステップＳ２７）。ＲＡＭ１４の第１３記憶領域に記憶された上辺の直線データ、下辺の直線データ、左辺の直線データ、および右辺の直線データのそれぞれ両端の座標データが読み出される。その座標データに基づいて、ＲＡＭ１４の第２記憶領域に記憶された撮像画像データ上における位置が特定され、座標データが示す座標で囲われた位置をボードの板面として画像が抽出される。抽出された画像が、台形補正など既存の補正処理方式により処理され、ＲＡＭ１４の第１４記憶領域に記憶される。
【００５６】
＜本実施形態の使用形態＞
次に、本実施形態の使用形態について、図４、図５、図６、図７および図８を参照して説明する。本使用形態は、利用者が、ボードを撮影する操作が受付されてから画像補正がされるまでの使用形態である。
【００５７】
図４に示すように、表示部２０の画面には、操作部１１としてアイコンが複数表示されている。図４に示す画面に表示された操作部１１のうち、利用者によってボードを撮影するための操作部１１が操作されると、図５に示すように表示部２０の画面には、撮影対象となるボードを選択するため操作部１１が表示される。
【００５８】
利用者によって、ボードを選択するための操作部１１が操作されると、図５に示すようにカメラで撮像された画像が表示される。利用者によってシャッターボタンを示す操作部１１が操作されると、図７に示すようにカメラ部１８で撮像された撮像画像が、画像処理プログラムに従って処理されている事を示す、砂時計マーク３１が画面中央に表示される。
【００５９】
画像処理プログラムの処理が終わると、図８に示すように、台形補正された画像が表示部２０の画面に表示される。
【００６０】
＜本実施形態の効果＞
本実施形態によれば、グループに振り分けして、直線データを減らすことにより画像処理スピードを速めることができる。
【００６１】
撮影装置ＳＡ１におけるＣＰＵ１３と、図２のステップＳ０２と、の組み合わせは、本発明の撮像画像データ取得手段の一例である。撮影装置ＳＡ１におけるＣＰＵ１３と、図２のステップＳ０３およびステップＳ０４と、の組み合わせは、直線データ検出手段の一例である。  撮影装置ＳＡ１におけるＣＰＵ１３と、図２のステップＳ１５から図３のステップＳ２０までと、の組み合わせは、本発明の直線データ削減手段の一例である。撮影装置ＳＡ１におけるＣＰＵ１３と、図３のステップＳ２１と、の組み合わせは、本発明の四角形算出手段の一例である。撮影装置ＳＡ１におけるＣＰＵ１３と、図３のステップＳ２３と、の組み合わせは、本発明のアスペクト比算出手段の一例である。撮影装置ＳＡ１におけるＣＰＵ１３と、図３のステップＳ２４と、の組み合わせは、本発明の比較手段の一例である。
【００６２】
本発明の実施形態について以上説明したが、本発明の趣旨を逸脱しない範囲において、当業者であれば種々の変更を加える事ができる。
【００６３】
（変形例１）
本実施形態において、ＲＡＭ１４の第１記憶領域に記憶されたボード仕様データのうち、ボードの高さ寸法データおよび枠の幅寸法データが読み出される。ＲＡＭ１４の第２記憶領域に記憶された撮像画像データの高さ寸法のピクセル値を抽出し、幅寸法×ピクセル値÷高さ寸法によって、幅寸法が撮像画像上での寸法に変換され、閾値とされる。この実施形態に代えて、幅寸法を撮影画像上での寸法に変換せず、ステップS０９からステップS１２の上辺集合、下辺集合、左辺集合、右辺集合のいずれかに分類する際に、直線データを実寸法に変換してもよい。
【符号の説明】
【００６４】
SＡ１・・・撮影装置
１１・・・操作部
１２・・・操作処理部
１３・・・ＣＰＵ
１４・・・ＲＡＭ
１５・・・ＲＯＭ
１６・・・カメラ
１７・・・撮像処理部
１８・・・画像処理部
１９・・・タッチパネル部
２０・・・表示部
２１・・・ＬＡＮ通信部
【図１】
2020135776.tif 000003
【図２】
2020135776.tif 000004
【図３】
2020135776.tif 000005
【図４】
2020135776.tif 000006
【図５】
2020135776.tif 000007
【図６】
2020135776.tif 000008
【図７】
2020135776.tif 000009
【図８】
2020135776.tif 000010