(57)【要約】【課題】手書きコメントを抽出する情報処理装置を提供する。【解決手段】  コメント取得手段１００は、スキャンされた原稿の画像データ２００から手書きコメントを検索し、原稿のどの箇所に対するコメントであるのかを示す位置情報と対応付けて取得する。ファイル化手段１２０は、コメント取得手段により取得されたコメントをファイルに変換する。ＯＣＲ手段１１０は、光学文字認識（ＯＣＲ）を行う。ファイル化手段１２０は、ＯＣＲ手段１１０によりコメントをＯＣＲさせ、文字として認識可能であった場合には、コメントを文字データとしてコメントファイル２２０に変換する。ファイル化手段１２０は、文字として認識不可能であった場合には、コメントを原稿の画像データ２００から取得してコメントファイル２２０に変換する。【選択図】図２
2020182211.tif 000002
【特許請求の範囲】
【請求項１】
スキャンされた原稿の画像データから手書きコメントを検索し、前記原稿のどの箇所に対する前記手書きコメントであるのかを示す位置情報と対応付けて取得するコメント取得手段と、
前記コメント取得手段により取得された前記手書きコメントをファイルに変換するファイル化手段と、
光学文字認識（ＯＣＲ）を行うＯＣＲ手段とを備え、
前記ファイル化手段は、
前記ＯＣＲ手段により前記手書きコメントをＯＣＲさせ、前記手書きコメントが文字として認識可能であった場合には、前記手書きコメントの文字データを前記ファイルに変換し、
前記手書きコメントが文字として認識不可能であった場合には、前記手書きコメントの箇所を前記原稿の画像データから取得して前記ファイルに変換し、
前記手書きコメントのない前記原稿の元データを取得可能であった場合、前記手書きコメントが変換された前記ファイルを前記元データに付加した電子文書データに変換し、
前記元データを取得不可能であった場合、前記原稿の画像データも前記ＯＣＲ手段によりＯＣＲさせ、前記手書きコメントの箇所の画像は消去して、前記ファイルを付加した電子文書データに変換する
ことを特徴とする情報処理装置。
【請求項２】
前記ファイル化手段は、
前記手書きコメントが変換された前記ファイルを、メタデータとして前記電子文書データに付加し、
前記電子文書データは、前記原稿のレイヤーと、前記手書きコメントのレイヤーとを備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記ファイル化手段は、
複数の前記手書きコメントが変換された前記ファイルを、前記電子文書データに付加する
ことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記ファイル化手段は、
前記元データを取得不可能であった場合、複数のスキャンされた前記原稿から、最もコメントの少ない、又は、汚れの少ない前記原稿を選択して、前記手書きコメントの箇所を削除し、前記手書きコメントを削除した前記原稿の画像データを選択して、前記ＯＣＲ手段によりＯＣＲさせる
ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記ファイル化手段は、
前記手書きコメントの箇所のＯＣＲにより、特定の閾値よりも高い確度で文字が認識されるか否かを判定することにより、前記手書きコメントの箇所が文字データか画像かを判定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記ファイル化手段は、
前記手書きコメントの箇所の画像を消去して、前記ファイルを付加した前記電子文書データに変換する際、
前記手書きコメントの箇所を、前記原稿の画像データの文字以外の箇所でもっとも多いカラーコードにより算出されるバックグラウンドの色で埋める
ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記原稿は、ＯＣＲによって認識される文字列、数値、及びバーコードのいずれかを含む識別情報を含み、
前記ファイル化手段は、
前記ＯＣＲ手段により認識された前記識別情報に基づいて前記原稿の前記元データを取得可能か否かを判定する
ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記ＯＣＲ手段は、
前記手書きコメントが複数ある場合、前記手書きコメントの数だけＯＣＲを行い、前記手書きコメントの抽出箇所を検出済み領域とし、次の前記ＯＣＲの除外対象とする
ことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記コメント取得手段は、
印刷された文字や表や図形以外と判定された箇所を検出することにより、前記手書きコメントを検索する
ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記コメント取得手段は、
ユーザーが設定可能な指定色を含む領域を検出することにより、前記手書きコメントを検出する
ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記コメント取得手段は、
検出された前記手書きコメントの箇所に対して、取り消し線、下線、及び手書きの棒線のいずれかを検出し、前記原稿中のどの箇所に対する前記手書きコメントであるのかを示す位置の情報も算出する
ことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
【請求項１２】
原稿をスキャンして画像データを取得する読取部と、
前記読取部によりスキャンされた原稿の画像データから手書きコメントを検索し、前記原稿のどの箇所に対する前記手書きコメントであるのかを示す位置情報と対応付けて取得するコメント取得手段と、
前記コメント取得手段により取得された前記手書きコメントをファイルに変換するファイル化手段と、
光学文字認識（ＯＣＲ）を行うＯＣＲ手段とを備え、
前記ファイル化手段は、
前記ＯＣＲ手段により前記手書きコメントをＯＣＲさせ、前記手書きコメントが文字として認識可能であった場合には、前記手書きコメントの文字データを前記ファイルに変換し、
前記手書きコメントが文字として認識不可能であった場合には、前記手書きコメントの箇所を前記原稿の画像データから取得して前記ファイルに変換し、
前記手書きコメントのない前記原稿の元データを取得可能であった場合、前記手書きコメントが変換された前記ファイルを前記元データに付加した電子文書データに変換し、
前記元データを取得不可能であった場合、前記原稿の画像データも前記ＯＣＲ手段によりＯＣＲさせ、前記手書きコメントの箇所の画像は消去して、前記ファイルを付加した電子文書データに変換する
ことを特徴とする画像形成装置。
【請求項１３】
情報処理装置により実行されるコメント抽出方法であって、前記情報処理装置は、
スキャンされた原稿の画像データから手書きコメントを検索し、前記原稿のどの箇所に対する前記手書きコメントであるのかを示す位置情報と対応付けて取得し、
前記手書きコメントの箇所の光学文字認識（ＯＣＲ）を行い、
前記手書きコメントが文字として認識可能であった場合には、前記手書きコメントの文字データをファイルに変換し、前記手書きコメントが文字として認識不可能であった場合には、前記手書きコメントの箇所を前記原稿の画像データから取得して前記ファイルに変換し、
前記手書きコメントのない前記原稿の元データを取得可能であった場合、前記手書きコメントが変換された前記ファイルを前記元データに付加した電子文書データに変換し、
前記元データを取得不可能であった場合、前記原稿の画像データもＯＣＲさせ、前記手書きコメントの箇所の画像は消去して、前記ファイルを付加した電子文書データに変換する
ことを特徴とするコメント抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像形成装置及び画像形成方法に係り、特に、原稿をスキャンして加工する情報処理装置、画像形成装置、及びコメント抽出方法に関する。
【背景技術】
【０００２】
文書や画像を印刷可能な複合機（Multifunctional Peripheral, MFP）等の画像形成装置のような情報処理装置が存在する。
特許文献１を参照すると、典型的な情報処理装置では、印刷された原稿にユーザーが手書きで書き込みをしたものをスキャナーで読み取って、原稿の元データを修正するものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１９３００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術は、ユーザーの手書きコメント自体を抽出することは想定されていなかった。
【０００５】
本発明は、このような状況に鑑みてなされたものであって、上述の問題点を解消する画像形成装置のような情報処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の情報処理装置は、スキャンされた原稿の画像データから手書きコメントを検索し、前記原稿のどの箇所に対する前記手書きコメントであるのかを示す位置情報と対応付けて取得するコメント取得手段と、前記コメント取得手段により取得された前記手書きコメントをファイルに変換するファイル化手段と、光学文字認識（ＯＣＲ）を行うＯＣＲ手段とを備え、前記ファイル化手段は、前記ＯＣＲ手段により前記手書きコメントをＯＣＲさせ、前記手書きコメントが文字として認識可能であった場合には、前記手書きコメントの文字データを前記ファイルに変換し、前記手書きコメントが文字として認識不可能であった場合には、前記手書きコメントの箇所を前記原稿の画像データから取得して前記ファイルに変換し、前記手書きコメントのない前記原稿の元データを取得可能であった場合、前記手書きコメントが変換された前記ファイルを前記元データに付加した電子文書データに変換し、前記元データを取得不可能であった場合、前記原稿の画像データも前記ＯＣＲ手段によりＯＣＲさせ、前記手書きコメントの箇所の画像は消去して、前記ファイルを付加した電子文書データに変換することを特徴とする。
本発明の画像形成装置は、原稿をスキャンして画像データを取得する読取部と、前記読取部によりスキャンされた原稿の画像データから手書きコメントを検索し、前記原稿のどの箇所に対する前記手書きコメントであるのかを示す位置情報と対応付けて取得するコメント取得手段と、前記コメント取得手段により取得された前記手書きコメントをファイルに変換するファイル化手段と、光学文字認識（ＯＣＲ）を行うＯＣＲ手段とを備え、前記ファイル化手段は、前記ＯＣＲ手段により前記手書きコメントをＯＣＲさせ、前記手書きコメントが文字として認識可能であった場合には、前記手書きコメントの文字データを前記ファイルに変換し、前記手書きコメントが文字として認識不可能であった場合には、前記手書きコメントの箇所を前記原稿の画像データから取得して前記ファイルに変換し、前記手書きコメントのない前記原稿の元データを取得可能であった場合、前記手書きコメントが変換された前記ファイルを前記元データに付加した電子文書データに変換し、前記元データを取得不可能であった場合、前記原稿の画像データも前記ＯＣＲ手段によりＯＣＲさせ、前記手書きコメントの箇所の画像は消去して、前記ファイルを付加した電子文書データに変換することを特徴とする。
本発明のコメント抽出方法は、情報処理装置により実行されるコメント抽出方法であって、前記情報処理装置は、スキャンされた原稿の画像データから手書きコメントを検索し、前記原稿のどの箇所に対する前記手書きコメントであるのかを示す位置情報と対応付けて取得し、前記手書きコメントの箇所の光学文字認識（ＯＣＲ）を行い、前記手書きコメントが文字として認識可能であった場合には、前記手書きコメントの文字データをファイルに変換し、前記手書きコメントが文字として認識不可能であった場合には、前記手書きコメントの箇所を前記原稿の画像データから取得して前記ファイルに変換し、前記手書きコメントのない前記原稿の元データを取得可能であった場合、前記手書きコメントが変換された前記ファイルを前記元データに付加した電子文書データに変換し、前記元データを取得不可能であった場合、前記原稿の画像データもＯＣＲさせ、前記手書きコメントの箇所の画像は消去して、前記ファイルを付加した電子文書データに変換することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザーの手書きコメント自体を抽出してファイル化可能な情報処理装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態に係る画像形成装置の制御構成を示すブロック図である。
【図２】本発明の実施の形態に係る画像形成装置の機能構成を示すブロック図である。
【図３】本発明の実施の形態に係る手書きコメント抽出処理のフローチャートである。
【図４】本発明の実施の形態に係る元データの例である。
【図５】本発明の実施の形態に係る画像データの例である。
【図６】本発明の実施の形態に係る画像データの例である。
【図７】本発明の実施の形態に係る画像データの例である。
【図８】本発明の実施の形態に係る電子文書データの例である。
【発明を実施するための形態】
【０００９】
＜実施の形態＞
〔画像形成装置１の制御構成〕
まず、図１を参照して、画像形成装置１の制御構成について説明する。
【００１０】
画像形成装置１は、ＭＦＰ、ネットワークスキャナー、ドキュメントスキャナー、ネットワークＦＡＸ等の情報処理装置である。本実施形態においては、画像形成装置１は、後述するようにスキャナーである原稿読取部１２を備えている。
【００１１】
具体的には、画像形成装置１は、画像処理部１１、原稿読取部１２、原稿給送部１３、給紙部１４、ネットワーク送受信部１５、操作パネル部１６、画像形成部１７（画像形成手段）、ＦＡＸ送受信部１８、及び記憶部１９等を含む。各部は、制御部１０に接続され、制御部１０によって動作制御される。
【００１２】
制御部１０は、ＧＰＰ（General Purpose Processor）、ＣＰＵ（Central Processing Unit、中央処理装置）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Processor、特定用途向けプロセッサー）等の情報処理部である。
制御部１０は、記憶部１９のＲＯＭやＨＤＤに記憶されている制御プログラムを読み出して、この制御プログラムをＲＡＭに展開させて実行することで、後述する機能ブロックの各部として動作させられる。また、制御部１０は、図示しない外部の端末や操作パネル部１６から入力された所定の指示情報に応じて、装置全体の制御を行う。
【００１３】
画像処理部１１は、ＤＳＰ（Digital Signal Processor）やＧＰＵ（Graphics Processing Unit）等の情報処理部である。画像処理部１１は、画像データ２００（図２）に対して所定の画像処理を行う。この所定の画像処理は、例えば、拡大縮小、濃度調整、階調調整、画像改善等の処理であってもよい。
また、画像処理部１１は、原稿読取部１２で読み取られた画像データ２００を、電子文書データ２４０に変換することが可能である。この際、画像処理部１１は、画像データ２００を、ＰＤＦ（Portable Document Format）等の電子文書やＴＩＦＦ等のファイルに変換することも可能である。また、画像処理部１１は、ＯＣＲ（Optical Character Recognition）の少なくとも一部の処理を実行可能であってもよい。このＯＣＲは、例えば、線分の算出、手書き文字の書き順の算出、その他の特徴量の抽出等を行い、畳み込みニューラルネット等で文字かイメージかを判別し、文字の場合は文字コード及び確度を出力してもよい。なお、このＯＣＲでは、一次元又は二次元バーコード、ドット等でエンコードされた情報を取得可能であってもよい。
【００１４】
原稿読取部１２は、セットされた原稿をスキャンして画像データ２００（図２）を取得するフォトスキャナーユニットである。
原稿読取部１２は、画像形成装置１の本体部の上部に配設される。原稿読取部１２は、スキャナーと、プラテンガラスと、原稿読取スリットとを備えている。原稿読取部１２は、プラテンガラスに載置された原稿を読み取る場合には、スキャナーをプラテンガラスに対向する位置に移動させ、プラテンガラスに載置された原稿を走査しながら読み取って画像データ２００を取得し、取得した画像データ２００を制御部１０に出力する。
【００１５】
また、原稿読取部１２は、原稿給送部１３から給送された原稿を読み取る場合には、スキャナーを、原稿読取スリットと対向する位置に移動させる。そして、原稿読取部１２は、原稿読取スリットを介し、原稿給送部１３による原稿の搬送動作と同期して原稿を読み取って、画像データ２００を取得する。原稿読取部１２は、取得した画像データ２００を、制御部１０に出力する。
【００１６】
原稿給送部１３は、原稿読取部１２で読み取られる原稿を搬送する。原稿給送部１３は、原稿読取部１２の上部に配設されている。
原稿給送部１３は、原稿載置部と、原稿搬送機構とを備えている。原稿給送部１３は、原稿載置部に載置された原稿を、原稿搬送機構によって１枚ずつ順に繰り出して、原稿読取部１２に給送する。
【００１７】
給紙部１４は、記録紙を１枚ずつ画像形成部１７に向けて繰り出す。給紙部１４は、本体部に備えられている。
【００１８】
ネットワーク送受信部１５は、ＬＡＮ、無線ＬＡＮ、ＷＡＮ、携帯電話網等の外部ネットワークに接続するためのＬＡＮボードや無線送受信機等を含むネットワーク接続部である。
ネットワーク送受信部１５は、データ通信用の回線ではデータを送受信し、音声電話回線では音声信号を送受信する。
【００１９】
操作パネル部１６は、ボタンやタッチパネル等の入力部と、ＬＣＤ(Liquid Crystal Display)や有機ＥＬディスプレイ等の表示部とを備えている。また、操作パネル部１６は、画像形成装置１のフロント側に配設されている。
操作パネル部１６の入力部のボタンは、テンキー、スタート、キャンセル、動作モードの切り換え、ジョブの実行に係る指示を行うボタン等である。この動作モードは、複写、ＦＡＸ送信、スキャナー、ネットワークスキャナー等の種類のモードを備えていてもよい。また、ジョブは、選択された文書の印刷、送信、保存、及び記録等を含んでいる。操作パネル部１６の入力部は、ユーザーによる画像形成装置１の各種ジョブの指示を取得する。本実施形態においては、手書きコメントが記載された原稿の読み取り、原稿の元データ２３０（図２）の場所の指定等も可能である。なお、操作パネル部１６から取得したユーザーの指示により、各ユーザーの情報を入力、変更することも可能である。
【００２０】
画像形成部１７は、ユーザーの出力指示により、記憶部１９に記憶され、原稿読取部１２で読み取られ、又は外部の端末から取得されたデータから記録紙への画像形成を行わせる。
画像形成部１７は、感光体ドラム、露光部、現像部、転写部、及び定着部等を備えている。画像形成部１７は、帯電、露光、現像、転写、定着からなる画像形成プロセスを実行することで記録紙にトナー像を記録する。
【００２１】
ＦＡＸ送受信部１８は、ファクシミリの送受信を行う。ＦＡＸ送受信部１８は、音声回線により、他のＦＡＸ装置（図示せず）からファクシミリ受信して、記憶部１９に保存し、画像形成部１７で画像形成させることが可能である。また、ＦＡＸ送受信部１８は、原稿読取部１２で読み取られた原稿や外部の端末から送信されたネットワークＦＡＸのデータを画像データ２００に変換して、他のＦＡＸ装置へ音声回線でファクシミリ送信することが可能である。
【００２２】
記憶部１９は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリーやＨＤＤ（Hard Disk Drive）等の一時的でない記録媒体である。
記憶部１９のＲＡＭは、省電力状態であっても、セルフリフレッシュ等の機能により、記憶内容が保持される。
記憶部１９のＲＯＭやＨＤＤには画像形成装置１の動作制御を行うための制御プログラムが記憶されている。これに加えて、記憶部１９は、ユーザーのアカウント設定も記憶している。また、記憶部１９には、ユーザー毎の保存フォルダーの領域が含まれていてもよい。
【００２３】
なお、画像形成装置１において、制御部１０及び画像処理部１１は、ＧＰＵ内蔵ＣＰＵ、チップ・オン・モジュールパッケージ、ＳＯＣ（System On a Chip）等のように、一体的に形成されていてもよい。
また、制御部１０及び画像処理部１１は、ＲＡＭやＲＯＭやフラッシュメモリー等を内蔵していてもよい。
【００２４】
〔画像形成装置１の機能構成〕
ここで、図２を参照し、画像形成装置１の機能構成について説明する。
画像形成装置１の制御部１０及び画像処理部１１は、コメント取得手段１００、ＯＣＲ手段１１０、及びファイル化手段１２０を備えている。
記憶部１９は、画像データ２００、コメントデータ２１０、コメントファイル２２０、元データ２３０、及び電子文書データ２４０を格納することが可能である。なお、処理の進行により、いずれかのデータを取得したりしなかったりすることもあり得る。
【００２５】
コメント取得手段１００は、スキャンされた原稿の画像データ２００から手書きコメントを検索する。コメント取得手段１００は、手書きコメントが検索できた場合、原稿のどの箇所に対するコメントであるのかを示す位置情報３００と対応付けて取得する。
【００２６】
ＯＣＲ手段１１０は、光学文字認識（ＯＣＲ）を行う。本実施形態においては、ＯＣＲ手段１１０は、手書き文字のＯＣＲ等も可能である。
【００２７】
ファイル化手段１２０は、コメント取得手段１００により取得された手書きコメントをファイルに変換する。
本実施形態において、ファイル化手段１２０は、ＯＣＲ手段１１０によりコメントをＯＣＲさせ、文字として認識可能であった場合には、手書きコメントの文字データを含むコメントファイル２２０に変換する。ファイル化手段１２０は、文字として認識不可能であった場合には、手書きコメントの箇所の画像データを原稿の画像データ２００から切り出し等で取得して、この箇所の画像データを含むコメントファイル２２０に変換する。
加えて、ファイル化手段１２０は、原稿の元データ２３０を取得不可能であった場合、原稿の画像データ２００もＯＣＲ手段１１０によりＯＣＲさせ、手書きコメントの箇所は消去して、電子文書データ２４０に変換することが可能である。
さらに、ファイル化手段１２０は、手書きコメントが変換されたファイルを、原稿の元データ２３０又は画像データ２００にメタデータとして付加して電子文書データ２４０に変換することが可能である。
本実施形態においては、ファイル化手段１２０は、複数の手書きコメントが変換されたファイルを、電子文書データ２４０に付加することも可能である。
【００２８】
画像データ２００は、ユーザーにより手書きコメントが記載された原稿から取得された画像のデータである。本実施形態においては、同一の原稿について、複数のユーザーの画像データ２００を取得する例について説明する。なお、以下において、異なる画像データ２００の例について、符号に「−ｎ」（ｎは、任意の数）のような数値をつけて記載する。
【００２９】
コメントデータ２１０は、コメント取得手段１００により手書きコメントと判断された箇所を示すデータである。コメントデータ２１０は、数値データである位置情報３００、及び画像データ２００から切り出された画像のデータを含んでいても良い。コメントデータ２１０は、例えば、下記で示すコメントファイル２２０として、他のプログラム等からアクセス可能なデータではないテンポラリーなデータであってもよい。
【００３０】
コメントファイル２２０は、抽出された手書きコメントのファイルである。コメントファイル２２０は、例えば、ＯＣＲ手段１１０により光学文字認識された文字データ、画像データ２００から取得された手書きコメントの箇所の画像データ２００、位置情報３００等を含んでいる。さらに、コメントファイル２２０は、ユーザーやグループ等を示す情報も含んでいてもよい。本実施形態においては、このコメントファイル２２０は、ユーザー単位で、複数作成される。
【００３１】
元データ２３０は、手書きコメントを記載する元となった原稿のファイルである。このファイルは、各種アプリ（Application Software）により作成された、ＰＤＦファイル、ワードプロセッサーやスプレッドシート等の各種アプリのファイル等である。本実施形態においては、元データ２３０には、文字の情報が含まれている。この文字の情報は、ページ内で描画される位置の情報を含む。
【００３２】
電子文書データ２４０は、例えば、透明文字付きＰＤＦファイル、各種アプリのファイル、ＨＴＭＬ（Hyper-Text Markup Language）のファイル等である。電子文書データ２４０は、コメントファイル２２０から変換された手書きコメントの箇所のデータをメタデータ等で含んでいる。この手書きコメントの箇所のデータは、ユーザー、コメントの位置の情報、コメント本体の文字データ、画像データ２００等である。
【００３３】
位置情報３００は、画像データ２００内のポリゴン（多角形オブジェクト）の座標データである。さらに、位置情報３００は、原稿のどの箇所に対するコメントであるのかを示す文字コード及びページ単位の画像データ２００上の位置の情報も含んでいる。この位置の情報は、画像データ２００の座標情報を含む。また、この位置の情報は、元データ２３０が取得できた場合は、元データ２３０内の座標情報を含む。また、位置情報３００は、画像データ２００のＯＣＲで取得された又は元データ２３０から取得された、文字の位置や文字自体やタグ等を示すデータも含んでいてもよい。
【００３４】
ここで、画像形成装置１の制御部１０は、記憶部１９に記憶された制御プログラムを実行することで、コメント取得手段１００、ＯＣＲ手段１１０、及びファイル化手段１２０として機能させられる。
また、上述の画像形成装置１の各部は、本発明の画像形成方法を実行するハードウェア資源となる。
なお、上述の機能構成の一部又は任意の組み合わせをＩＣやプログラマブルロジックやＦＰＧＡ（Field-Programmable Gate Array）等でハードウェア的に構成してもよい。
【００３５】
〔画像形成装置１による手書きコメント抽出処理〕
次に、図３〜図８を参照して、本発明の実施の形態に係る画像形成装置１による手書きコメント抽出処理の説明を行う。
本実施形態の手書きコメント抽出処理においては、まず、ユーザーの手書きコメントが記載された原稿をスキャンする。そして、スキャンされた原稿の画像データ２００から手書きコメントを検索する。手書きコメントが検索できたら、原稿のどの箇所に対するコメントであるのかを示す位置情報３００と対応付けてコメントデータ２１０として取得する。そして、取得されたコメントデータ２１０をファイルに変換する。
本実施形態の手書きコメント抽出処理は、主に制御部１０が、記憶部１９に記憶されたプログラムを、各部と協働し、ハードウェア資源を用いて実行する。
以下で、図３のフローチャートを参照して、手書きコメント抽出処理の詳細をステップ毎に説明する。
【００３６】
（ステップＳ１０１）
まず、コメント取得手段１００が、原稿スキャン処理を行う。
まず、ユーザーは、原稿の元データ２３０について、画像形成装置１で取得可能なように、いわゆるクラウド上のサーバーやＮＡＳ（Network Attached Storage）等、ネットワークを介してアクセス可能な遠隔の場所や、記憶部１９内の文書ボックス等のローカルな場所に、元データ２３０を格納しておく。
【００３７】
図４に、この元データ２３０が印刷された状態の例を示す。
【００３８】
そして、ユーザーは、操作パネル部１６により、文書ボックス等に格納された元データ２３０を指定して、更に、現在レビュー中であることを示すステータスにした上で、スキャンを選択する。すなわち、ユーザーは、スキャンするコメント付き原稿が、元データ２３０をレビューした原稿であることを指示する。なお、後述するように、元データ２３０がない場合でも、コメント抽出は可能である。
コメント取得手段１００は、原稿読取部１２により、ユーザーにセットされた手書きコメントが記載された原稿を読み取らせる。本実施形態においては、コメント取得手段１００は、「レビュー」として、複数のユーザーの手書きコメントを読み込んでまとめることが可能である。このため、複数の原稿がスキャンされ、それぞれ、画像データ２００として記憶部１９に格納される。
【００３９】
図５、図６、図７に、ユーザーＡ、Ｂ、Ｃによりそれぞれ手書きコメントが記載された画像データ２００−１、画像データ２００−２、画像データ２００−３の例を示す。
【００４０】
（ステップＳ１０２）
次に、コメント取得手段１００が、コメント検索取得処理を行う。
コメント取得手段１００は、記憶部１９に格納された画像データ２００から手書きコメントを検索する。
具体的には、コメント取得手段１００は、例えば、画像データ２００から特徴量を算出し、印刷された文字や表や図形等以外の箇所を検出する。または、コメント取得手段１００は、例えば、赤や青等の黒以外のコメント用に指定された色の箇所を検出してもよい。この色の指定は、ユーザーにより、操作パネル部１６により設定可能である。
この上で、コメント取得手段１００は、検出された箇所について、取り消し線、下線、手書きの棒線等を検出する。これは、画像データ２００中の印刷された文字や表や図形等に対するコメントであるのかを分類するためである。すなわち、コメント取得手段１００は、原稿中のどの箇所に対するコメントなのかを示す位置の情報も算出する。コメント取得手段１００は、例えば、取り消し線の上下、下線の上下、棒線の先に記載された手書きの箇所の画像をコメントと判断する。
【００４１】
図５、図６、図７に、手書きコメントの位置として検索された位置情報３００−１〜位置情報３００−８の例を示す。
【００４２】
（ステップＳ１０３）
次に、ファイル化手段１２０が、手書きコメントがあったか否かを判定する。ファイル化手段１２０は、一つでも読み取られた画像データ２００内に手書きコメントの箇所があった場合には、Ｙｅｓと判定する。ファイル化手段１２０は、それ以外の場合には、Ｎｏと判定する。
Ｙｅｓの場合、ファイル化手段１２０は、処理をステップＳ１０４に進める。
Ｎｏの場合、ファイル化手段１２０は、処理をステップＳ１０８に進める。
【００４３】
（ステップＳ１０４）
手書きコメントがあった場合、ＯＣＲ手段１１０が、ＯＣＲ処理を行う。
ファイル化手段１２０の指示により、ＯＣＲ手段１１０は、取得したコメントの箇所をＯＣＲする。すなわち、ＯＣＲ手段１１０は、コメントのＯＣＲを行う。この際、ＯＣＲ手段１１０は、文字を読み取った場合、文字データに加え、字認識の確からしさの値を「確度」として出力する。
なお、手書きコメントが複数ある場合、このＯＣＲ処理は、手書きコメントの数だけ行われる。また、手書きコメントの抽出箇所を検出済み領域とし、次のＯＣＲ処理の除外対象とする。これにより、後述するように、元データ２３０を取得不可能であった場合、容易に手書きコメントがあった箇所を削除可能となる。
【００４４】
（ステップＳ１０５）
次に、ファイル化手段１２０が、ＯＣＲが成功したか否かを判定する。具体的に、ファイル化手段１２０は、コメントの箇所が文字として認識可能であった場合に、Ｙｅｓと判定する。具体的には、例えば、ファイル化手段１２０は、ＯＣＲ手段１１０によるコメントの箇所のＯＣＲにより、特定の閾値よりも高い確度で文字が認識された場合、ＯＣＲが成功として、Ｙｅｓと判定する。ファイル化手段１２０は、確度が閾値より低い場合、ＯＣＲが成功していないとして、Ｎｏと判定する。
Ｙｅｓの場合、ファイル化手段１２０は、処理をステップＳ１０６に進める。
Ｎｏの場合、ファイル化手段１２０は、処理をステップＳ１０７に進める。
【００４５】
（ステップＳ１０６）
ＯＣＲが成功した場合、ファイル化手段１２０が、位置文字保存処理を行う。
ファイル化手段１２０は、コメント取得手段１００により取得された手書きコメントの箇所について、文字データを含むコメントファイル２２０に変換する。このコメントファイル２２０への変換において、ファイル化手段１２０は、ＯＣＲで出力された文字データと、原稿のどの箇所に対するコメントなのかの位置情報３００を含める。
【００４６】
（ステップＳ１０７）
ＯＣＲが成功しなかった場合、ファイル化手段１２０が、位置イメージ保存処理を行う。
ファイル化手段１２０は、コメント取得手段１００により取得された手書きコメントの箇所について、イメージとして含むコメントファイル２２０に変換する。ファイル化手段１２０は、このコメントファイル２２０への変換には、コメントデータ２１０の位置データに対応して、原稿のどの箇所に対するコメントなのかの位置情報３００も含める。すなわち、手書きコメントとして、図形や波形等の絵があった場合は、その箇所の画像データ２００をコメントとしてそのまま使用する。
このように、ＯＣＲで読み取れない箇所については、手書きコメントとして画像のデータをファイル化可能である。
【００４７】
（ステップＳ１０８）
ここで、ファイル化手段１２０が、元データ２３０にアクセス可能であるか否かを判定する。
ファイル化手段１２０は、ユーザーにより指定された場所から元データ２３０が読み出せた場合には、アクセス可能である、すなわち、Ｙｅｓと判定する。ファイル化手段１２０は、それ以外の場合、すなわち、元データ２３０がアクセス不可能であった場合、Ｎｏと判定する。
Ｙｅｓの場合、ファイル化手段１２０は、処理をステップＳ１１１に進める。
Ｎｏの場合、ファイル化手段１２０は、処理をステップＳ１０９に進める。
【００４８】
（ステップＳ１０９）
元データ２３０がアクセス不可能であった場合、ファイル化手段１２０が、コメント以外ＯＣＲ処理を行う。すなわち、原稿の元データ２３０を取得不可能であった場合、ファイル化手段１２０は、原稿の画像データ２００もＯＣＲ手段１１０によりＯＣＲさせる。この際、ファイル化手段１２０は、複数の原稿がある場合は、最もコメントの少ない、又は、汚れ等の少ない原稿の画像データ２００を選択して、ＯＣＲを実行する。これにより、ＯＣＲの精度を上げることが可能となる。
たとえば、ファイル化手段１２０は、電子文書データ２４０のファイルを作成し、画像データ２００を格納する。この上で、ファイル化手段１２０は、ＯＣＲ手段１１０により、画像データ２００において手書きコメントの位置情報３００以外の箇所についてもＯＣＲさせ、文字データとして電子文書データ２４０に格納する。
【００４９】
（ステップＳ１１０）
次に、ファイル化手段１２０が、コメント箇所削除処理を行う。
ファイル化手段１２０は、電子文書データ２４０において、画像データ２００でコメントとして抽出された箇所を削除する。具体的には、例えば、ファイル化手段１２０は、手書きコメントの箇所を、画像データ２００のバックグラウンドの色で埋める。このバックグラウンドの色は、文字以外の箇所でもっとも多いカラーコード等により算出可能である。または、ファイル化手段１２０は、手書きコメントが記載されていない他のユーザーの画像データ２００の同一の箇所をコピーアンドペーストして貼り付けることで削除してもよい。
【００５０】
（ステップＳ１１１）
ここで、ファイル化手段１２０が、全ての原稿の処理を完了したか否かを判定する。ファイル化手段１２０は、全てのページにおいて、全てのユーザーの手書きコメントの記載済み原稿の画像データ２００の処理を完了した場合に、Ｙｅｓと判定する。ファイル化手段１２０は、まだ完了していない場合には、Ｎｏと判定する。
Ｙｅｓの場合、ファイル化手段１２０は、処理をステップＳ１１２に進める。
Ｎｏの場合、ファイル化手段１２０は、処理をステップＳ１０２に戻して、手書きコメントの検索を続ける。
【００５１】
（ステップＳ１１２）
全ての原稿の処理を完了した場合、ファイル化手段１２０が、コメント統合ファイル化処理を行う。
ファイル化手段１２０は、元データ２３０がアクセス可能である場合、その元データ２３０を電子文書データ２４０に変換する。ファイル化手段１２０は、元データ２３０がアクセス不可能であった場合は、上述のステップＳ１０９で既に作成された電子文書データ２４０を用いる。
ファイル化手段１２０は、コメントファイル２２０を読み出して解釈し、電子文書データ２４０に付加する。この際、ファイル化手段１２０は、例えば、電子文書データ２４０に、手書きコメントを、メタデータとして付加してもよい。このメタデータには、コメントの内容、原稿のどの箇所に対するコメントなのか等を示す情報が含まれる。さらに、ファイル化手段１２０は、複数のユーザーのコメントについて、それぞれ区別可能なように電子文書データ２４０へ付加する。
このようにすることで、変換後の電子文書データ２４０では、手書きコメントの箇所が直接には見えなくなり、表示するか否かを設定可能となる。これは、元データ２３０には手書きコメントが含まれておらず、スキャンされた画像データ２００の手書きコメントの記載してあった箇所は削除されているからである。
【００５２】
図８に、コメント付きのワードプロセッサーのファイルに変換された電子文書データ２４０の例を示す。このように、各ユーザーのコメントをまとめて把握することが可能となる。
なお、この電子文書データ２４０は、ユーザーの端末等へ電子メールやメッセンジャー等で送信したり、クラウドやＮＡＳ等へ送信したり、ファクシミリ送信したり、記憶部１９のユーザーの文書ボックスに格納したり、再度、画像形成部１７で印刷したりすることが可能である。ユーザーは、この電子文書データ２４０をＰＣやスマートフォン等の端末で閲覧することも可能である。
以上により、本発明の実施の形態に係る手書きコメント抽出処理を終了する。
【００５３】
以上のように構成することで、以下のような効果を得ることができる。
仕様書等の文書をレビューする際、どこでも作業ができることの容易さから紙に印刷をしてそこに赤ペン等で手書きコメントを書き込むことがある。各レビューアーは、手書きコメント記入後、画像形成装置に備えられたスキャナーで文書をスキャンする。
典型的な技術では、手書きの加筆修正がされている画像をスキャンして、修正の内容を反映して電子データ化することが可能であった。しかし、ユーザーの手書きコメント自体を抽出することは想定されていなかった。
これに対して、本発明の実施の形態に係る画像形成装置１は、スキャンされた原稿の画像データ２００から手書きコメントを検索し、原稿のどの箇所に対する手書きコメントであるのかを示す位置情報３００と対応付けて取得するコメント取得手段１００と、コメント取得手段１００により取得された手書きコメントをファイルに変換するファイル化手段１２０とを備える情報処理装置であることを特徴とする。
このように構成することで、文書のレビュー等において、手書きコメントを抽出することが可能となる。すなわち、手書きコメントが記載された原稿を読み込み、手書きコメントを位置情報３００と共に抽出することができる。これにより、抽出された手書きコメントのコメントファイル２２０と、元の文書と対比して把握することが可能となる。
【００５４】
また、本発明の実施の形態に係る画像形成装置１は、ＯＣＲを行うＯＣＲ手段１１０を更に備え、ファイル化手段１２０は、ＯＣＲ手段１１０により手書きコメントをＯＣＲさせ、文字として認識可能であった場合には、手書きコメントの文字データをコメントファイル２２０に変換し、文字として認識不可能であった場合には、手書きコメントの箇所を原稿の画像データ２００から取得してコメントファイル２２０に変換することを特徴とする。
このように構成し、手書きコメントもＯＣＲで文字データにできれば文字データとしてファイルに格納する。そして、文字データにできないときは手書きコメントを画像としてそのまま格納する。これにより、同一箇所に対するコメントをまとめることができ、ドキュメントを複数並べて確認する手間が省け、コメントの見落とし等を防ぐことができる。
加えて、コメントファイル２２０を別途作成することで、後で、原稿の元データ２３０や電子文書データ２４０にコメントを付加しようとした場合、容易に実現できる。
【００５５】
また、本発明の実施の形態に係る画像形成装置１は、ファイル化手段１２０は、原稿の元データ２３０を取得不可能であった場合、原稿の画像データ２００もＯＣＲ手段１１０によりＯＣＲさせ、手書きコメントの箇所は消去して、電子文書データ２４０に変換することを特徴とする。
このように構成することで、元データ２３０にアクセス不可能であった場合でも、手書きコメントの箇所を削除して、文字データや画像のコメントを付加した状態の電子文書データ２４０を作成可能となる。結果として、見やすいレビュー用の電子文書データ２４０により、ユーザーのレビュー効率を向上させられる。
【００５６】
また、本発明の実施の形態に係る画像形成装置１は、ファイル化手段１２０は、手書きコメントが変換されたコメントファイル２２０を、元データ２３０又は原稿の画像データ２００にメタデータとして付加して電子文書データ２４０に変換することを特徴とする。
このように構成することで、原稿レイヤーと手書きコメントレイヤーの二つのフィールドを持った原稿を再構成することができる。これにより、再構成された文書を参照するユーザーは、原稿のみの表示と、原稿及びコメントの表示とを切り換えることが可能となる。このため、レビュー効率を向上させられる。
【００５７】
また、本発明の実施の形態に係る画像形成装置１は、ファイル化手段１２０は、複数のコメントが変換されたコメントファイル２２０を、電子文書データ２４０に付加することを特徴とする。
このように構成することで、複数の手書きコメント部分、複数のユーザーの手書きコメントを抽出し、電子文書データ２４０にまとめたコメント付きの文書データの生成が可能となる。結果として、図８の例で示したように、複数人のレビューを一度に把握することができ、レビュー効率が高まる。
【００５８】
〔他の実施の形態〕
なお、上述の実施形態においては、原稿の元データ２３０を予めユーザーが指定するように記載した。
しかしながら、ファイル化手段１２０は、手書きコメントが記載された原稿のスキャン時に、タイトルページをＯＣＲにかけ、タイトルやバージョン等から、記憶部１９やアクセス可能なクラウドやＮＡＳ等を検索し、元データ２３０を取得してもよい。この場合、元データ２３０が取得できれば、元原稿ありとして処理を実行することが可能である。
さらに、元データ２３０の出力の際に、「レビューモード」を指定して出力すると、識別情報を余白等に印刷してもよい。この識別情報は、文字列や数値、一次元又は二次元バーコードやドット等であってもよい。加えて、識別情報は、元データ２３０の場所を含んでいてもよい。この場合、ＯＣＲ手段１１０で、この識別情報を認識して、元データ２３０にアクセス可能としてもよい。
このように構成することで、レビュー用の原稿を読み込ませるだけで、コメント付きの電子文書データ２４０に容易に変換できる。よって、ユーザーの手間を減らすことができる。
【００５９】
さらに、上述の実施の形態においては、スキャンされた原稿の画像データ２００から、直接、手書きコメントの箇所を検索するように記載した。
しかしながら、スキャンの際に、元データ２３０を指定して、手書きコメントの箇所の検索を高速化することも可能である。すなわち、画像データ２００から元データ２３０をレンダリングした画像の差分を算出し、この差分データから手書きコメントの箇所を検索可能となる。これにより、手書きコメントがないページや箇所をスキップすることが容易となる。加えて、ＯＣＲを大幅に省略することができる。
【００６０】
さらに、上述の実施の形態においては、原稿を複数のレビューアーのユーザーでレビューする例について説明した。
しかしながら、画像形成装置１を他の用途にも用いることが可能である。たとえば、別の用途として、セミナーや会議等の資料が当日その場で配られる場合、この参加者は、重要な発言等の手書きコメント（メモ）を配布された資料に記入する。参加者は、オフィス等に戻って、資料をスキャンしＯＣＲで電子文書データ２４０に変換することがある。このような用途において、参加者の手書きコメントを抽出し、メモとして本文とは別に保存することが可能となる。また、この資料の電子文書データ２４０を、ワードプロセッサー等のアプリのファイルに変換することもある。この際に、コメントファイル２２０を基に再合成を行うことも可能である。そして、同僚等に、資料をそのまま渡したいときには、コメントを非表示にすることや、コメント付きで渡すこと等が可能になる。すなわち、様々なシーンで活用できる。
【００６１】
また、本発明は、画像形成装置以外の情報処理装置にも適用できる。つまり、ネットワークスキャナー、スキャナーをＵＳＢ等で別途接続したサーバー等を用いる構成であってもよい。
【００６２】
また、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【符号の説明】
【００６３】
１  画像形成装置
１０  制御部
１１  画像処理部
１２  原稿読取部
１３  原稿給送部
１４  給紙部
１５  ネットワーク送受信部
１６  操作パネル部
１７  画像形成部
１８  ＦＡＸ送受信部
１９  記憶部
１００  コメント取得手段
１１０  ＯＣＲ手段
１２０  ファイル化手段
２００  画像データ
２１０  コメントデータ
２２０  コメントファイル
２３０  元データ
２４０  電子文書データ
３００  位置情報
【図１】
2020182211.tif 000003
【図２】
2020182211.tif 000004
【図３】
2020182211.tif 000005
【図４】
2020182211.tif 000006
【図５】
2020182211.tif 000007
【図６】
2020182211.tif 000008
【図７】
2020182211.tif 000009
【図８】
2020182211.tif 000010