(57)【要約】【課題】外出先においても撮像画像の所定の領域をトリミングして保存することができる携帯端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体を提供する。【解決手段】撮像部３と制御部７とを備え、撮像部３から取得した撮像画像の所定の領域をトリミング処理する携帯型の情報端末装置１であって、撮像画像の所定の領域が、所定の色を有する線で囲まれており、制御部７が、撮像部３から、撮像対象物Ｎの所定の領域Ｒｎを撮像した撮像画像を取得（Ｓ１）し、撮像画像から、トリミング対象とする所定の色のみを抽出した抽出画像を生成（Ｓ２）し、抽出画像において、撮像画像の所定の領域Ｒｎに対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域Ｒｔと決定（Ｓ４）し、撮像画像の、トリミングＲｔ領域で指定される領域をトリミング（Ｓ１２）する。【選択図】図３
2013131801.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と制御部とを備え、前記撮像部から取得した撮像画像の所定の領域をトリミング処理する携帯型の情報端末装置であって、
前記撮像画像の前記所定の領域が、所定の色を有する線で囲まれており、
前記制御部が、
前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得し、
前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成し、
前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定し、
前記撮像画像の、前記トリミング領域で指定される領域をトリミングする、携帯端末装置。
【請求項２】
前記制御部が、さらに、
前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定し、
４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定し、
前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成し、
前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成し、
正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングする、請求項１に記載の携帯端末装置。
【請求項３】
前記制御部がさらに、
トリミングされた正面視の前記撮像画像に対して、色温度の調整、ヒストグラムの均一化、およびガンマ補正からなる群から選択される何れかの画質調整を適用する、請求項１または２に記載の携帯端末装置。
【請求項４】
前記撮像画像の前記所定の領域が、所定の模様で囲まれており、
前記制御部がさらに、
前記撮像画像内において前記所定の模様の存在を検出し、
前記所定の模様の存在を前記撮像画像内に検出した場合に、トリミングされた正面視の前記撮像画像を記録する、請求項１〜３のいずれかに記載の携帯端末装置。
【請求項５】
前記所定の模様が、先端の着色部が複数の突起部に分割された筆記具を用いて作成された、請求項４に記載の携帯端末装置。
【請求項６】
撮像部および制御部を有する携帯型の情報端末装置と、筆記具とを備え、前記撮像部から取得した撮像画像の所定の領域を前記情報端末装置がトリミング処理する撮影画像処理システムであって、
前記撮像画像の前記所定の領域が、前記筆記具を用いて、所定の色を有する線で囲まれており、
前記制御部が、
前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得し、
前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成し、
前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定し、
前記撮像画像の、前記トリミング領域で指定される領域をトリミングする、撮像画像処理システム。
【請求項７】
前記制御部が、さらに、
前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定し、
４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定し、
前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成し、
前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成し、
正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングする、請求項６に記載の撮像画像処理システム。
【請求項８】
撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理する方法であって、
前記撮像画像の前記所定の領域が、所定の色を有する線で囲まれており、
前記制御部が、
前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得するステップと、
前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成するステップと、
前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定するステップと、
前記撮像画像の、前記トリミング領域で指定される領域をトリミングするステップとを含む撮像画像処理方法。
【請求項９】
前記制御部が、
前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定するステップと、
４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定するステップと、
前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成するステップと、
前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成するステップと、
正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングするステップとをさらに含む、請求項８に記載の撮像画像処理方法。
【請求項１０】
撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理するプログラムであって、
前記制御部に、
前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得する機能と、
前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成する機能と、
前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定する機能と、
前記撮像画像の、前記トリミング領域で指定される領域をトリミングする機能とを実現させるための撮像画像処理プログラム。
【請求項１１】
前記制御部に、さらに、
前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定する機能と、
４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定する機能と、
前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成する機能と、
前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成する機能と、
正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングする機能とを実現させるための、請求項１０に記載の撮像画像処理プログラム。
【請求項１２】
請求項１０または１１に記載の撮像画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像画像の処理方法に関し、より詳細には、外出先においても撮像画像の所定の領域をトリミングして保存することができる携帯端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
新聞記事や雑誌の切り抜き等を画像データとして取り込む場合、従来は一般的なスキャナーを使用していた。しかしながら、スキャナーの設置箇所は、例えばオフィスやコンビニエンス・ストア等の特定の場所に限られているので、興味が引かれる記事等を外出先において見かけた場合であっても、手軽に画像データ化して保存することができなかった。
【０００３】
一方、近年の情報処理技術の発達により、例えば、携帯電話やスマートフォンなどの携帯端末装置が備える撮像装置により撮像した画像データを、ネットワークを介して保存する技術がある（例えば、特許文献１参照）。この特許文献１に記載の技術では、カメラ付きＰＤＡや携帯パソコン等の携帯型の情報機器で収集したデジタル形式の画像データを、ネットワークを介してサーバに送信し、サーバ側で、受信したデジタル画像データに対して、明るさや色、サイズの調整などの画像処理を行っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−４１５０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、外出先において収集した画像データをネットワークを介して保存できるという利便性はあるものの、画像データ化した後に、必要な部分のみをトリミングする処理が非常に面倒であった。また、画像データをトリミングしようとしても、外出中のユーザが手にしている携帯電話等では、操作性が不十分であるという問題があり、携帯電話等のコンパクトな情報機器であっても、手軽に画像データをトリミングすることができる簡便な手法の開発が望まれていた。
【０００６】
また、携帯端末装置のカメラ機能を使用して、新聞記事や雑誌の切り抜き等を撮像すると、撮像画像に歪み（パースペクティブ）が生じるという問題もある。文書の保存を目的として、一般的なスキャナーを使用する場合には、撮像対象物（文書ページ）を含む平面がフラットベッドのガラス面の位置に固定されるので、このような撮像画像の歪みは生じない。しかしながら、携帯端末装置のカメラ機能を使用する場合には、撮像部が、撮像対象物を含む平面の法線方向とは一致しない方向から撮像することになるので、撮像方向を正確に合わせるのが困難となり、撮像画像に歪みが生じてしまい、ユーザが撮像画像の内容を確認しようとして閲覧しても、記事の内容が読みにくいという問題があった。
【０００７】
本発明は、上記課題を解決するためになされたものであり、その目的は、外出先においても撮像画像の所定の領域をトリミングして保存することができる携帯端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体を提供することにある。
【０００８】
さらに、本発明の目的は、撮像部を有する携帯型の情報端末装置にて撮像対象物を撮像する際に、歪みを補正したうえで撮像画像を保存することができる携帯端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的の達成のために、本発明に係る携帯端末装置は、撮像部と制御部とを備え、前記撮像部から取得した撮像画像の所定の領域をトリミング処理する携帯型の情報端末装置であって、前記撮像画像の前記所定の領域が、所定の色を有する線で囲まれており、前記制御部が、前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得し、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成し、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定し、前記撮像画像の、前記トリミング領域で指定される領域をトリミングする、携帯端末装置である。
【００１０】
また、本発明に係る携帯端末装置は、本発明に係る携帯端末装置において、前記制御部が、さらに、前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定し、４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定し、前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成し、前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成し、正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングすることが好ましい。
【００１１】
また、本発明に係る撮像画像処理システムは、撮像部および制御部を有する携帯型の情報端末装置と、筆記具とを備え、前記撮像部から取得した撮像画像の所定の領域を前記情報端末装置がトリミング処理する撮影画像処理システムであって、前記撮像画像の前記所定の領域が、前記筆記具を用いて、所定の色を有する線で囲まれており、前記制御部が、前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得し、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成し、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定し、前記撮像画像の、前記トリミング領域で指定される領域をトリミングする、撮像画像処理システムである。
【００１２】
また、本発明に係る撮像画像処理システムは、本発明に係る撮像画像処理システムにおいて、前記制御部が、さらに、前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定し、４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定し、前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成し、前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成し、正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングすることが好ましい。
【００１３】
また、本発明に係る撮像画像処理方法は、撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理する方法であって、前記撮像画像の前記所定の領域が、所定の色を有する線で囲まれており、前記制御部が、前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得するステップと、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成するステップと、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定するステップと、前記撮像画像の、前記トリミング領域で指定される領域をトリミングするステップとを含む撮像画像処理方法である。
【００１４】
また、本発明に係る撮像画像処理方法は、本発明に係る撮像画像処理方法において、前記制御部が、前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定するステップと、４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定するステップと、前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成するステップと、前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成するステップと、正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングするステップとをさらに含むことが好ましい。
【００１５】
また、本発明に係る撮像画像処理プログラムは、撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理するプログラムであって、前記制御部に、前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得する機能と、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成する機能と、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定する機能と、前記撮像画像の、前記トリミング領域で指定される領域をトリミングする機能とを実現させるための撮像画像処理プログラムである。
【００１６】
また、本発明に係る撮像画像処理プログラムは、本発明に係る撮像画像処理プログラムにおいて、前記制御部に、さらに、前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定する機能と、４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定する機能と、前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成する機能と、前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成する機能と、正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングする機能とを実現させることが好ましい。
【発明の効果】
【００１７】
本発明によると、外出先においても撮像画像の所定の領域をトリミングして保存することができる。また、撮像部を有する携帯型の情報端末装置にて撮像対象物を撮像する際に、歪みを補正したうえで撮像画像を保存することができる。取り込んで画像情報化した新聞記事や雑誌の切り抜き等に歪みは無く、ユーザは記事の内容を正確に読み取ることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る携帯端末装置の概略構成図であり、（ａ）は正面図であり、（ｂ）は裏面図である。
【図２】携帯端末装置のブロック図である。
【図３】本発明の一実施形態に係る携帯端末装置が行う画像処理方法の処理順序を示すフローチャートである。
【図４】撮像対象物のパースペクティブを説明するための模式図である。
【図５】台形補正用の頂点座標の決定方法を説明するための模式図である。
【図６】台形補正後の頂点座標の決定方法を説明するための模式図である。
【図７】取り込み対象の領域Ｒの特定に用いるマーカーペンの一例である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態を、添付の図面を参照して詳細に説明する。尚、以下の説明及び図面において、同じ符号は同じ又は類似の構成要素を示すこととし、よって、同じ又は類似の構成要素に関する説明を省略する。
【００２０】
図１は、本発明の一実施形態に係る携帯端末装置の概略構成図である。（ａ）は正面図であり、（ｂ）は裏面図である。図２は、携帯端末装置のブロック図である。
【００２１】
図１および図２に示すように、携帯端末装置１は、装置本体２、撮像部３、表示部４、タッチパネル５、記憶部６および制御部７を備えている。またその他に、携帯端末装置１は、無線通信のためのアンテナ、音声通話のためのマイクやスピーカーなどを備えている（いずれも図示せず）。このような携帯端末装置１としては、特に限定されるものではなく、例えば、スマートフォン、携帯電話機、ＰＤＡなどが挙げられる。
【００２２】
装置本体２としては、公知のスマートフォンの本体を用いることができ、電源スイッチや各種のボタンを備えている。また、撮像部３は、レンズを通して入射する被写体像を撮像する公知の構成であり、取り込み対象である新聞記事や雑誌の切り抜き等を撮像することができる。このような撮像部３としては、例えば、アナログ電気信号を出力するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を含み、レンズを通して入射する被写体像を光電変換し、撮像素子からのアナログ電気信号をデジタル電気信号に変換して画像データを出力するものを用いることができる。
【００２３】
表示部４としては、液晶ディスプレイや有機ＥＬディスプレイ等の公知の表示デバイスを用いることができ、その表示画面上に画像情報等を表示することができる。また、タッチパネル５は、ユーザーが表面をタッチしたときにそのタッチ位置を認識可能な公知のタッチパネルであり、表示部４の上に重ねて配置されている。このタッチパネル５としては、抵抗膜方式、表面弾性波方式、電磁誘導方式、静電容量方式等、公知の方式のものを用いることができる。また、このタッチパネル５をユーザーがタッチすることにより、各種の入力をすることができる。例えば、タッチパネル５のタッチにより、撮像部３による撮像、表示部４における表示の指示を入力することができる。
【００２４】
記憶部６は、情報処理のためのプログラム及びデータを記憶する公知のハードディスク又は半導体メモリなどの記憶媒体により構成されている。この記憶部６は、撮像部３により撮像された画像情報（以下、単に「撮像画像」とも記す）を記憶することができる。撮像画像は、例えば、ｊｐｅｇ及びｇｉｆなどの種々の画像フォーマットにより記憶される。
【００２５】
制御部７は、プログラム及びデータに基づいて情報処理をする公知のＣＰＵなどのプロセッサにより構成されている。この制御部７は、記憶部６に記憶されたプログラムを実行することにより、上記の各構成要素を制御することができる。
【００２６】
以下の説明においては、特に断らない限り携帯端末装置１が行う画像処理方法として説明する。携帯端末装置１が行う処理は、実際には携帯端末装置１の制御部７が行う処理を意味する。制御部７は、記憶部６を作業領域として必要なデータ（処理途中の中間データ等）を一時記憶し、演算結果等の長期保存するデータを記憶部６に適宜記録する。また、携帯端末装置１は、以下で説明するステップＳ１〜Ｓ１５の処理を行うために使用するプログラムを、例えば実行形式（例えば、Ｃ言語等のプログラミング言語からコンパイラにより変換されて生成される）で記憶部６に予め記録しており、携帯端末装置１は、記憶部６に記録したプログラムを使用して処理を行う。
【００２７】
図３は、本発明の一実施形態に係る携帯端末装置が行う画像処理方法の処理順序を示すフローチャートである。以下、本発明の一実施形態に係る画像処理方法の処理順序について、図３に示すフローチャートに基づいて詳細に説明する。
【００２８】
なお、本実施形態では、図４に示すように、撮像画像に図中のＹ軸方向にパース（パースペクティブ、以下単にパースと記載する）がついている場合について説明する。また、以下の説明において、台形補正とは、撮像対象物を含む平面の法線方向と撮像方向とが一致せずパースがついた撮像画像を、撮像方向を法線方向に一致させて、パースの無い正面視の画像に変換することを意味する。
【００２９】
ステップＳ１において、取り込み対象とする新聞記事の所定の領域を撮像する。ユーザが、マーカーペンＭを用いて新聞記事Ｎの所定の領域Ｒｎを所定の色（例えば、赤色）で囲んでマークし、ユーザが、撮像部３を用いて、マーカで囲まれた所定の領域Ｒｎを含む領域を撮像する。携帯端末装置１は撮像画像を記録する。本実施形態では、図４に示すように、撮像画像には図中のＹ軸方向にパースがついている。取り込み対象の領域Ｒｎにも、図中のＹ軸方向にパースがついている。マーカーペンＭは、先端の着色部が２つの突起部に分割された、例えばＶ字またはＵ字の形状を有するものを用いる。このようなマーカーペンＭを用いてマークすると、取り込み対象の領域Ｒｎは、二重線のパターンで囲まれる領域となる。
【００３０】
パースがついた撮像画像を取り込んだ後、ステップＳ２において、撮像画像から、トリミング対象とする色のみを抽出した画像（抽出画像）を生成する。抽出画像は、後述するトリミング領域Ｒｔを認識するために利用する画像データである。抽出画像の縦横の画像サイズと、撮像画像の縦横の画像サイズとは一致するので、抽出画像は、撮像画像に対するいわゆる「レイヤー」として機能する。抽出画像の生成は、例えば閾値を用いて抽出する公知の処理方法により行う。新聞記事Ｎの取り込み対象とする領域Ｒｎは、所定の色で囲んでマークされているので、撮像画像中の所定の色のみを抽出すると、抽出画像中の抽出した色で囲まれる最大の領域が、後述するトリミング領域Ｒｔとなる。ここで、撮像画像にはパースがついているので、抽出画像にもパースがついている。また、取り込み対象の領域Ｒｎは二重線のパターンで囲まれていたので、抽出画像中の抽出した色で囲まれる領域も、二重線のパターンで囲まれている。なお、以後の処理では、抽出画像のレイヤーを座標に変換することで、レイヤーに代えて座標を用いて抽出画像を特定する。
【００３１】
ステップＳ３において、抽出した二重線の画像を単線に変換する。すなわち、抽出した二重線の幅を拡大および収縮させて、一本の線（単線）に変換する。二重線の検出は、例えば閾値を用いて境界を検出する公知の処理方法により行う。
【００３２】
ステップＳ４において、トリミングを行う座標を検出する。抽出画像は所定の色（赤色）のみの画像データであるので、まずこれを二値化（白黒データ化）する。次に、二値化した画像データ内において全ての輪郭線を抽出し、抽出した輪郭線を直線近似する。さらに、直線化された輪郭線を組み合わせて、輪郭線で囲まれる領域の面積が最大となる領域を決定し、この面積が最大となる領域をトリミング領域Ｒｔとする。輪郭線の抽出および直線近似の方法は、公知の処理方法により行う。なお、抽出画像の座標にはパースがついているので、トリミング領域Ｒｔの形状もパースがついた形状となる。
【００３３】
ステップＳ５において、トリミング領域Ｒｔの面積が所定の面積よりも大きいか否かを判定し、大きければステップＳ６の処理を行い、小さい場合には処理を終了する。
【００３４】
ステップＳ６において、台形補正用の頂点座標を計算する。台形補正用の頂点座標は、ステップＳ４にて求めたトリミング領域Ｒｔを構成する頂点座標から求める。図５は、台形補正用の頂点座標の決定方法を説明するための模式図である。図５に示すように、トリミング領域Ｒｔは、頂点ｒ１〜ｒ１０を順に結ぶ複数の線分で構成されている。この複数の線分のうち、２つの線分同士が成す角度を求める。求めた角度が所定の角度（例えば、７０度）以上であれば、その２本の線分をそれぞれ延長した２本の直線が成す交点の座標を求め、交点の候補とする。求めた交点候補の座標が撮像画像の領域からはみ出る場合には、その交点候補は除外する。このような交点候補を求める処理を、２つの線分の組み合わせを変えた全ての組み合わせ（総当たり）で行う。そして、求めた複数の交点候補のうち、座標が最も外側に位置する４つの交点を、台形補正用の頂点座標Ｐ１〜Ｐ４とする。
【００３５】
ステップＳ７において、ユーザが表示画面上で頂点座標Ｐ１〜Ｐ４の座標位置を微調整する。携帯端末装置１は、ステップＳ６にて求めた台形補正用の頂点座標Ｐ１〜Ｐ４と、トリミング領域Ｒｔを示す座標と、取り込み対象の領域Ｒｎを示す撮像画像とを重ねて表示部４に表示し、タッチパネル５からのユーザの入力に基づいて、微調整された頂点座標Ｐ１〜Ｐ４の座標位置を記録する。
【００３６】
ステップＳ８において、台形補正後の頂点座標を計算する。台形補正後の頂点座標は、ステップＳ６またはＳ７にて決定された台形補正用の頂点座標Ｐ１〜Ｐ４から求める。図６は、台形補正後の頂点座標の決定方法を説明するための模式図である。まず、頂点座標Ｐ１〜Ｐ４で画定される台形の、向かい合う二辺（二直線）が織り成す角度をそれぞれ求め、傾きが小さい方の二辺を選択する。これはパースの方向を判別する処理であり、本実施形態では、図４に示すＹ軸方向にパースがついているので、傾きが小さい方の二辺として、辺Ｐ１−Ｐ４と辺Ｐ２−Ｐ３との組が選択される。次に、この二辺のうち長い方の辺（辺Ｐ２−Ｐ３）について、両隣の辺との傾きα１、α２をそれぞれ求める。次に、求めた２つの傾きα１、α２の平均値を求め、これを台形の傾きαａｖとする。この求めた台形の傾きαａｖは、撮像画像のパースの程度を表す指標となる。
【００３７】
次に、求めた台形の傾きαａｖと、予め作成しておいた台形補正用の縦横比率対応表とから、台形補正後の画像の縦横比率を取得する。縦横比率対応表は、台形の傾きαａｖと、台形補正後の画像の縦横比率との対応表であり、携帯端末装置１の撮像部３を用いた実測により予め作成しておいた表である。表１に、縦横比率対応表の一例を示す。表１中、定数ｋは、台形の長辺（本実施形態では、辺Ｐ２−Ｐ３）を１とした場合の短辺（Ｐ１−Ｐ４）の横辺倍率である。
【表１】
2013131801.tif 000003
頂点座標Ｐ１〜Ｐ４の座標位置と、対応表から取得した横辺倍率ｋの値とから、台形補正後の４つの頂点Ｐ１ｘ〜Ｐ４ｘの座標位置を計算し記録する。本実施形態の場合、辺Ｐ２−Ｐ３が台形の長辺であり、辺Ｐ１−Ｐ４が短辺であるので、短辺である辺Ｐ１−Ｐ４の点Ｐ１，Ｐ４の座標位置と、横辺倍率ｋとに基づいて、台形補正後の座標位置Ｐ１ｘ，Ｐ４ｘを計算する。
【００３８】
ステップＳ９において、撮像画像の台形補正を行い、パースが付いて歪んだ撮像画像から、歪みの無い正面視の撮像画像を作成する。台形補正前の頂点座標Ｐ１〜Ｐ４および台形補正後の頂点座標Ｐ１ｘ〜Ｐ４ｘは、抽出画像上にて既に求められているので、これら補正前および補正後の頂点座標Ｐ１〜Ｐ４、Ｐ１ｘ〜Ｐ４ｘの情報を用いて透視投影変換を行い、パースが付いた撮像画像の台形補正を行う。台形補正後の撮像画像は、パースの無い正面視の撮像画像となる。透視投影変換については公知であるので、本明細書においては詳細な説明を省略する。
【００３９】
ステップＳ１０において、トリミング領域の台形補正を行い、パースが付いて歪んだトリミング領域Ｒｔから、歪みの無い正面視のトリミング領域を作成する。補正前および補正後の頂点座標Ｐ１〜Ｐ４、Ｐ１ｘ〜Ｐ４ｘの情報を用いて透視投影変換を行い、パースが付いたトリミング領域Ｒｔの座標の台形補正を行う。台形補正後のトリミング領域は、パースの無い正面視のトリミング領域となる。
【００４０】
ステップＳ１１において、ユーザが表示画面上でトリミング領域の頂点座標の座標位置を微調整する。携帯端末装置１は、ステップＳ１０にて求めた正面視のトリミング領域を示す座標と、ステップＳ９にて求めた正面視の撮像画像とを重ねて表示部４に表示し、タッチパネル５からのユーザの入力に基づいて、正面視のトリミング領域の、微調整された頂点座標の座標位置を記録する。
【００４１】
ステップＳ１２において、撮像画像のトリミング処理を行う。まず、ステップＳ１０またはステップＳ１１にて作成した正面視のトリミング領域の座標から、トリミング処理用のマスク画像を作成する。次に、作成したマスク画像を用いて、ステップＳ９にて作成した正面視の撮像画像のトリミング処理を行う。頂点座標の座標位置および撮像画像はいずれも正面視のものを用いているので、トリミング後の撮像画像は、パースの無い正面視の画像である。マスク画像を用いた画像のトリミング処理には公知の方法を用いる。トリミング処理により、撮像画像内のトリミング領域の外側の領域は、例えば所定の色（例えば、白色）で塗り潰される。
【００４２】
ステップＳ１３において、トリミング処理した撮像画像の画質を調整する。例えば、撮像画像の撮影環境に応じて、トリミング画像のホワイトバランス（色温度）を調整し、ヒストグラムを均一化し、ガンマ補正をする。
【００４３】
ステップＳ１４において、撮像画像に二重線が存在したか否かを判定する。ステップＳ１にて取り込んだパース付きの撮像画像に対して二重線の検出処理を行い、二重線が存在した場合にはステップＳ１５の処理を行い、二重線が存在しなかった場合には処理を終了する。二重線の検出は、例えば閾値を用いて境界を検出する公知の処理方法により行う。
【００４４】
ステップＳ１５において、画質調整済のトリミング画像を記憶部６に保存し、処理を終了する。
【００４５】
このように、ユーザが、マーカーペンＭを用いて取り込み対象とする記事の領域を所定の色で囲んでマークすれば、携帯端末装置１は、この囲んでマークされた領域をトリミングして、画像情報として保存することができる。記事のトリミングしたい領域をマーカーペンＭを用いて囲んでマークするという簡便な手法であるので、外出先においても手軽に画像データをトリミングすることが可能となる。また、保存したトリミング画像はパースの無い正面視画像であるので、画像情報化した新聞記事や雑誌の切り抜き等に歪みは無く、ユーザは記事の内容を正確に読み取ることが可能となる。
【００４６】
以上、本発明を特定の実施の形態によって説明したが、本発明は上記した実施の形態に限定されるものではない。
【００４７】
上記実施の形態では、携帯端末装置１は撮像画像のトリミング処理および台形補正の両方を適用したが、撮影画像の歪みが強くなく、撮像画像を台形補正する必要が無いとユーザが判断した場合は、携帯端末装置１は撮像画像のトリミング処理だけを適用してもよい。すなわち、撮像画像の台形補正はユーザの希望に応じた任意の処理である。
【００４８】
また、上記実施の形態では、ステップＳ４において全ての輪郭線を抽出してトリミング領域を決定していたが、トリミング領域の求め方はこれに限定されず、例えば、ユーザがマーカーペンＭを用いてフリーハンドで囲んで示す領域をそのままトリミング領域としてもよい。
【００４９】
また、上記実施の形態では、先端の着色部が２つの突起部に分割されたマーカーペンＭを用いて、取り込み対象の領域Ｒを二重線のパターンで囲んでマークしているが、領域Ｒを囲む線のパターンはこれに限定されない。例えば、図７に示すように、先端の着色部が３つの突起部に分割されたマーカーペンを用いて、取り込み対象の領域Ｒを三重線のパターンで囲んでマークしても良い。さらに、３つの突起部のそれぞれの幅がそれぞれ異なるマーカーペンを用いて、３本の線の線幅がそれぞれ異なるパターンで、取り込み対象の領域Ｒを囲んでもよい。このように、取り込み対象の領域Ｒを囲む線のパターンを特定のパターンとし、撮像画像に対して特定のパターンの存在を検出することで、特定のマーカーペン以外の使用を排除することができる。なお、ステップＳ３における二重線の画像を単線に変換する処理およびステップＳ１４における二重線の存在の判定処理は任意の処理であり、例えば取り込み対象の領域Ｒを囲む線が単線の場合には、これらの処理を省略することができる。この場合、単線で囲まれる領域をトリミング領域として撮像画像のトリミング処理を行うことができる。
【００５０】
また、上記実施の形態では、マーカーペンには通常の染料系または顔料系のインクを使用しているが、これに代えて、赤外線を反射または吸収する赤外線インクを用いてもよい。赤外線反射インクを用いて、取り込み対象の領域Ｒを囲んでマークすれば、マーク部分において赤外線が反射または吸収されるので、携帯端末装置１側でこれを検知して、取り込み対象の領域Ｒｎを特定してもよい。
【００５１】
また、上記実施の形態では、ステップＳ７において、携帯端末装置１が、微調整された頂点座標Ｐ１〜Ｐ４の座標位置を記録し、ステップＳ１１において、携帯端末装置１が、正面視のトリミング領域の、微調整された頂点座標の座標位置を記録しているが、これら座標位置またはトリミング領域を微調整する処理は任意の処理であり、処理を省略してもよい。
【００５２】
また、上記実施の形態では、ステップＳ１４において、撮像画像に二重線が存在したか否かを判定しているが、ステップＳ３において、撮像画像に対して二重線を検出した結果を、例えばブーリアン型のフラグとして記憶しておき、ステップＳ１４において、記憶しておいたこのフラグの情報に基づいて、撮像画像に二重線が存在したか否かを判定してもよい。
【００５３】
また、上記実施の形態では、トリミング処理した撮像画像の画質を調整する例として、ホワイトバランスの調整、ヒストグラムの均一化、およびガンマ補正を例示しているが、これらに限定されない。携帯端末装置１でのトリミング画像の閲覧に適した画質の調整方法であれば適宜適用することができる。
【００５４】
また、上記実施形態では、トリミング処理後に、撮像画像内のトリミング領域の外側の領域を所定の色で塗りつぶしているが、この領域は、例えば透過ＧＩＦの形式で透明化されてもよい。
【符号の説明】
【００５５】
１    携帯端末装置
２    装置本体
３    撮像部
４    表示部
５    タッチパネル
６    記憶部
７    制御部
Ｎ    新聞記事
Ｍ    マーカーペン
Ｒｎ  取り込み対象の領域
Ｒｔ  トリミング領域
【図１】
2013131801.tif 000004
【図２】
2013131801.tif 000005
【図３】
2013131801.tif 000006
【図４】
2013131801.tif 000007
【図５】
2013131801.tif 000008
【図６】
2013131801.tif 000009
【図７】
2013131801.tif 000010
【手続補正書】
【提出日】平成24年1月23日(2012.1.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１０
【補正方法】変更
【補正の内容】
【請求項１０】
撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理するプログラムであって、
前記撮像画像の前記所定の領域が、所定の色を有する線で囲まれており、
前記制御部に、
前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得する機能と、
前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成する機能と、
前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定する機能と、
前記撮像画像の、前記トリミング領域で指定される領域をトリミングする機能とを実現させるための撮像画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、本発明に係る撮像画像処理プログラムは、撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理するプログラムであって、前記撮像画像の前記所定の領域が、所定の色を有する線で囲まれており、前記制御部に、前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得する機能と、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成する機能と、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定する機能と、前記撮像画像の、前記トリミング領域で指定される領域をトリミングする機能とを実現させるための撮像画像処理プログラムである。
【手続補正書】
【提出日】平成24年2月6日(2012.2.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像部および制御部を有する情報端末装置と、筆記具とを備える撮像画像処理システムであって、
撮像対象物の所定の領域が、前記筆記具を用いて、所定の色を有する線で囲まれており、
前記制御部が、
前記撮像部から、前記撮像対象物の前記所定の領域を撮像した撮像画像を取得し、
前記撮像画像の、前記所定の色で囲まれる領域をトリミングする、撮像画像処理システム。
【請求項２】
撮像部と制御部とを備え、前記撮像部から取得した撮像画像の所定の領域をトリミング処理する情報端末装置であって、
撮像対象物の所定の領域が、所定の色を有する線で囲まれており、
前記制御部が、
前記撮像部から、前記撮像対象物の前記所定の領域を撮像した撮像画像を取得し、
前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成し、
前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定し、
前記撮像画像の、前記トリミング領域で指定される領域をトリミングする、情報端末装置。
【請求項３】
前記制御部が、さらに、
前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定し、
４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定し、
前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成し、
前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成し、
正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングする、請求項２に記載の情報端末装置。
【請求項４】
前記制御部がさらに、
トリミングされた正面視の前記撮像画像に対して、色温度の調整、ヒストグラムの均一化、およびガンマ補正からなる群から選択される何れかの画質調整を適用する、請求項２または３に記載の情報端末装置。
【請求項５】
前記撮像画像の前記所定の領域が、所定の模様で囲まれており、
前記制御部がさらに、
前記撮像画像内において前記所定の模様の存在を検出し、
前記所定の模様の存在を前記撮像画像内に検出した場合に、トリミングされた正面視の前記撮像画像を記録する、請求項２〜４のいずれかに記載の情報端末装置。
【請求項６】
前記所定の模様が、先端の着色部が複数の突起部に分割された筆記具を用いて作成された、請求項５に記載の情報端末装置。
【請求項７】
撮像部および制御部を有する情報端末装置と、筆記具とを備え、前記撮像部から取得した撮像画像の所定の領域を前記情報端末装置がトリミング処理する撮像画像処理システムであって、
撮像対象物の所定の領域が、前記筆記具を用いて、所定の色を有する線で囲まれており、
前記制御部が、
前記撮像部から、前記撮像対象物の前記所定の領域を撮像した撮像画像を取得し、
前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成し、
前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定し、
前記撮像画像の、前記トリミング領域で指定される領域をトリミングする、撮像画像処理システム。
【請求項８】
前記制御部が、さらに、
前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定し、
４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定し、
前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成し、
前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成し、
正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングする、請求項７に記載の撮像画像処理システム。
【請求項９】
撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理する方法であって、
撮像対象物の所定の領域が、所定の色を有する線で囲まれており、
前記制御部が、
前記撮像部から、前記撮像対象物の前記所定の領域を撮像した撮像画像を取得するステップと、
前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成するステップと、
前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定するステップと、
前記撮像画像の、前記トリミング領域で指定される領域をトリミングするステップとを含む撮像画像処理方法。
【請求項１０】
前記制御部が、
前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定するステップと、
４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定するステップと、
前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成するステップと、
前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成するステップと、
正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングするステップとをさらに含む、請求項９に記載の撮像画像処理方法。
【請求項１１】
撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理するプログラムであって、
撮像対象物の所定の領域が、所定の色を有する線で囲まれており、
前記制御部に、
前記撮像部から、前記撮像対象物の前記所定の領域を撮像した撮像画像を取得する機能と、
前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成する機能と、
前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定する機能と、
前記撮像画像の、前記トリミング領域で指定される領域をトリミングする機能とを実現させるための撮像画像処理プログラム。
【請求項１２】
前記制御部に、さらに、
前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定する機能と、
４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定する機能と、
前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成する機能と、
前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成する機能と、
正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングする機能とを実現させるための、請求項１１に記載の撮像画像処理プログラム。
【請求項１３】
請求項１１または１２に記載の撮像画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は撮像画像の処理方法に関し、より詳細には、外出先においても撮像画像の所定
の領域をトリミングして保存することができる情報端末装置、撮像画像処理システム、方
法、プログラムおよび記録媒体に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明は、上記課題を解決するためになされたものであり、その目的は、外出先においても撮像画像の所定の領域をトリミングして保存することができる情報端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体を提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
さらに、本発明の目的は、撮像部を有する携帯型の情報端末装置にて撮像対象物を撮像する際に、歪みを補正したうえで撮像画像を保存することができる情報端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体を提供することにある。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記目的の達成のために、本発明に係る撮像画像処理システムは、撮像部および制御部を有する情報端末装置と、筆記具とを備える撮像画像処理システムであって、撮像対象物の所定の領域が、前記筆記具を用いて、所定の色を有する線で囲まれており、前記制御部が、前記撮像部から、前記撮像対象物の前記所定の領域を撮像した撮像画像を取得し、前記撮像画像の、前記所定の色で囲まれる領域をトリミングする、撮像画像処理システムである。また、本発明に係る情報端末装置は、撮像部と制御部とを備え、前記撮像部から取得した撮像画像の所定の領域をトリミング処理する情報端末装置であって、撮像対象物の所定の領域が、所定の色を有する線で囲まれており、前記制御部が、前記撮像部から、前記撮像対象物の前記所定の領域を撮像した撮像画像を取得し、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成し、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定し、前記撮像画像の、前記トリミング領域で指定される領域をトリミングする、情報端末装置である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、本発明に係る情報端末装置は、本発明に係る情報端末装置において、前記制御部が、さらに、前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定し、４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定し、前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成し、前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成し、正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングすることが好ましい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、本発明に係る撮像画像処理システムは、撮像部および制御部を有する情報端末装置と、筆記具とを備え、前記撮像部から取得した撮像画像の所定の領域を前記情報端末装置がトリミング処理する撮像画像処理システムであって、撮像対象物の所定の領域が、前記筆記具を用いて、所定の色を有する線で囲まれており、前記制御部が、前記撮像部から、前記撮像対象物の前記所定の領域を撮像した撮像画像を取得し、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成し、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定し、前記撮像画像の、前記トリミング領域で指定される領域をトリミングする、撮像画像処理システムである。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
また、本発明に係る撮像画像処理方法は、撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理する方法であって、撮像対象物の所定の領域が、所定の色を有する線で囲まれており、前記制御部が、前記撮像部から、前記撮像対象物の前記所定の領域を撮像した撮像画像を取得するステップと、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成するステップと、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定するステップと、前記撮像画像の、前記トリミング領域で指定される領域をトリミングするステップとを含む撮像画像処理方法である。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、本発明に係る撮像画像処理プログラムは、撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理するプログラムであって、撮像対象物の所定の領域が、所定の色を有する線で囲まれており、前記制御部に、前記撮像部から、前記撮像対象物の前記所定の領域を撮像した撮像画像を取得する機能と、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成する機能と、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定する機能と、前記撮像画像の、前記トリミング領域で指定される領域をトリミングする機能とを実現させるための撮像画像処理プログラムである。