(57)【特許請求の範囲】
【請求項１】
原稿を読み取り、画像データを出力する原稿読取手段と、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定手段と、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識手段と、
前記画像データ中で前記文字領域の部分から文字の形状が他の部分と異なりかつ文字数が最小の部分を特徴領域に決定する特徴領域決定手段と、
前記文字認識手段により文字認識して得られる文字列のうちで、前記画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御手段と、を備えた原稿読取装置。
【請求項２】
前記関連表示制御手段は、前記翻訳文字列を、前記表示手段に表示されたページの前記画像データが表示される位置に対して所定の相対位置に、前記表示手段に表示されたページの前記画像データが表示されるサイズに対して相対的に定まるサイズで表示する、請求項１に記載の原稿読取装置。
【請求項３】
原稿を読み取り、画像データを出力する原稿読取手段と、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定手段と、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識手段と、
前記画像データ中で前記文字領域の部分から文字の形状または背景が他の部分と異なる部分を特徴領域に決定する特徴領域決定手段と、
前記文字認識手段により文字認識して得られる文字列のうちで、前記画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御手段と、を備え、
前記関連表示制御手段は、前記画像データを前記表示手段に表示した原稿画像中に前記特徴領域を示す識別画像を前記表示手段に表示する、原稿読取装置。
【請求項４】
原稿を読み取り、画像データを出力する原稿読取手段と、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定手段と、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識手段と、
前記画像データ中で前記文字領域の部分から文字の形状または背景が他の部分と異なる部分を特徴領域に決定する特徴領域決定手段と、
前記文字認識手段により文字認識して得られる文字列のうちで、前記画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御手段と、を備え、
前記関連表示制御手段は、前記画像データを前記表示手段に表示した原稿画像の前記特徴領域に対応する部分に前記翻訳文字列の画像を重畳して前記表示手段に表示する、原稿読取装置。
【請求項５】
前記関連表示制御手段は、前記画像データを前記表示手段に表示した原稿画像の前記特徴領域に対応する部分のサイズで、前記翻訳文字列の画像を生成する、請求項４に記載の原稿読取装置。
【請求項６】
原稿を読み取り、画像データを出力する原稿読取手段と、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定手段と、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識手段と、
前記画像データ中で前記文字領域の部分から文字の形状または背景が他の部分と異なる部分を特徴領域に決定する特徴領域決定手段と、
前記文字認識手段により文字認識して得られる文字列のうちで、前記画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御手段と、
前記翻訳手段が翻訳に要する翻訳時間を、前記複数のページごとに計時する計時手段と、を備え、
前記特徴領域決定手段は、前記計時された翻訳時間に応じて、前記特徴領域を決定する精度を変更する、原稿読取装置。
【請求項７】
原稿を読み取り、画像データを出力する原稿読取手段と、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定手段と、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識手段と、
前記画像データ中で前記文字領域の部分から文字の形状または背景が他の部分と異なる部分を特徴領域に決定する特徴領域決定手段と、
前記文字認識手段により文字認識して得られる文字列のうちで、前記画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御手段と、を備え、
前記翻訳手段は、前記決定された文字列部分が、それが含まれる前記画像データのページ以前のページの前記画像データに基づいて翻訳された文字列と同じ場合は翻訳しない、原稿読取装置。
【請求項８】
原稿を読み取り、画像データを出力する原稿読取手段と、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定手段と、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識手段と、
前記画像データ中で前記文字領域の部分から文字の形状または背景が他の部分と異なる部分を特徴領域に決定する特徴領域決定手段と、
前記文字認識手段により文字認識して得られる文字列のうちで、前記画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御手段と、を備え、
前記画像表示制御手段は、前記関連表示制御手段により前記翻訳文字列が前記表示手段に表示されてから第２の期間が経過する前に、前記翻訳文字列に対応するページの画像データが前記表示手段に表示されてから前記第１の期間が経過する場合、前記第２の期間が経過するまで前記翻訳文字列に対応するページの画像データを前記表示手段に表示する、原稿読取装置。
【請求項９】
前記翻訳手段が翻訳に要する翻訳時間を、前記複数のページごとに計時する計時手段を、さらに備え、
前記対象文字列決定手段は、前記計時された翻訳時間に応じて、１ページ当たりで決定する前記文字列部分の数を変更する、請求項８に記載の原稿読取装置。
【請求項１０】
原稿を読み取り、画像データを出力する原稿読取手段と、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定手段と、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識手段と、
前記画像データ中で前記文字領域の部分から文字の形状または背景が他の部分と異なりかつ文字数が最小の部分を特徴領域に決定する特徴領域決定手段と、
前記文字認識手段により文字認識して得られる文字列のうちで、前記画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御手段と、を備え、
前記翻訳手段は、前記文字列部分に加えて前記文字列部分の前後の文字列を用いて前記文字列部分を翻訳する、原稿読取装置。
【請求項１１】
原稿を読み取り、画像データを出力する原稿読取手段と、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定手段と、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識手段と、
前記画像データ中で前記文字領域の部分から文字の形状または背景が他の部分と異なる部分を特徴領域に決定する特徴領域決定手段と、
前記文字認識手段により文字認識して得られる文字列のうちで、前記画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御手段と、を備え、
前記対象文字列決定手段は、前記特徴領域に含まれる文字列であっても前記翻訳手段により翻訳の対象とされた文字列と同じ文字列は前記文字列部分に決定しない、原稿読取装置。
【請求項１２】
原稿を読み取り、画像データを出力する原稿読取手段と、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定手段と、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識手段と、
前記画像データ中で前記文字領域の部分から文字の形状または背景が他の部分と異なる部分を特徴領域に決定する特徴領域決定手段と、
前記文字認識手段により文字認識して得られる文字列のうちで、前記画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御手段と、を備え、
前記関連表示制御手段は、前記翻訳文字列の文法が正常でない場合、前記翻訳文字列を前記表示手段に表示しない、原稿読取装置。
【請求項１３】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状が他の部分と異なりかつ文字数が最小の特徴領域を決定する特徴領域決定ステップと、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、を含む表示制御方法。
【請求項１４】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、を含み、
前記関連表示制御ステップは、前記画像データを前記表示手段に表示した原稿画像中に前記特徴領域決定ステップにおいて決定された前記特徴領域を示す識別画像を前記表示手段に表示するステップを含む、表示制御方法。
【請求項１５】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、を含み、
前記関連表示制御ステップは、前記画像データを前記表示手段に表示した原稿画像の前記特徴領域に対応する部分に前記翻訳文字列の画像を重畳して前記表示手段に表示するステップを含む、表示制御方法。
【請求項１６】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、
前記翻訳ステップにおいて翻訳に要する翻訳時間を、前記複数のページごとに計時する計時ステップと、を含み、
前記特徴領域決定ステップは、前記計時された翻訳時間に応じて、前記特徴領域を決定する精度を変更するステップを含む、表示制御方法。
【請求項１７】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、を含み、
前記翻訳ステップは、前記決定された文字列部分が、それが含まれる前記画像データのページ以前のページの前記画像データに基づいて翻訳された文字列と同じ場合は翻訳しないステップを含む、表示制御方法。
【請求項１８】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
表示されたページの前記画像データ中で決定された前記文字領域の部分を文字認識する文字認識ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域の部分から文字の形状または背景が他の部分と異なる部分を特徴領域に決定する特徴領域決定ステップと、
前記文字認識して得られる文字列のうちで前記特徴領域に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳ステップにおいて翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、を含み、
前記画像表示制御ステップは、前記関連表示制御ステップにおいて前記翻訳文字列が前記表示手段に表示されてから第２の期間が経過する前に、前記翻訳文字列に対応するページの前記画像データが前記表示手段に表示されてから前記第１の期間が経過する場合、前記第２の期間が経過するまで前記翻訳文字列に対応するページの前記画像データを前記表示手段に表示するステップを含む、表示制御方法。
【請求項１９】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状または背景が他の部分と異なりかつ文字数が最小の特徴領域を決定する特徴領域決定ステップと、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、を含み、
前記翻訳ステップは、前記文字列部分に加えて前記文字列部分の前後の文字列を用いて前記文字列部分を翻訳するステップを含む、表示制御方法。
【請求項２０】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、を含み、
前記対象文字列決定ステップは、前記特徴領域に含まれる文字列であっても前記翻訳ステップにおいて翻訳の対象とされた文字列と同じ文字列は文字列部分に決定しないステップを含む、表示制御方法。
【請求項２１】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、を含み、
前記関連表示制御ステップは、前記翻訳文字列の文法が正常でない場合、前記翻訳文字列を前記表示手段に表示しないステップを含む、表示制御方法。
【請求項２２】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
表示されたページの前記画像データ中で決定された前記文字領域の部分を文字認識する文字認識ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状が他の部分と異なりかつ文字数が最小の特徴領域を決定する特徴領域決定ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、を前記コンピューターに実行させる表示制御プログラム。
【請求項２３】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、を前記コンピューターに実行させ、
前記関連表示制御ステップは、前記画像データを前記表示手段に表示した原稿画像中に前記特徴領域決定ステップにおいて決定された前記特徴領域を示す識別画像を前記表示手段に表示するステップを含む、表示制御プログラム。
【請求項２４】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、を前記コンピューターに実行させ、
前記関連表示制御ステップは、前記画像データを前記表示手段に表示した原稿画像の前記特徴領域に対応する部分に前記翻訳文字列の画像を重畳して前記表示手段に表示するステップを含む、表示制御プログラム。
【請求項２５】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、
前記翻訳ステップにおいて翻訳に要する翻訳時間を、前記複数のページごとに計時する計時ステップと、を前記コンピューターに実行させ、
前記特徴領域決定ステップは、前記計時された翻訳時間に応じて、前記特徴領域を決定する精度を変更するステップを含む、表示制御プログラム。
【請求項２６】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、を前記コンピューターに実行させ、
前記翻訳ステップは、前記決定された文字列部分が、それが含まれる前記画像データのページ以前のページの前記画像データに基づいて翻訳された文字列と同じ場合は翻訳しないステップを含む、表示制御プログラム。
【請求項２７】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、を前記コンピューターに実行させ、
前記画像表示制御ステップは、前記関連表示制御ステップにおいて前記翻訳文字列が前記表示手段に表示されてから第２の期間が経過する前に、前記翻訳文字列に対応するページの前記画像データが前記表示手段に表示されてから前記第１の期間が経過する場合、前記第２の期間が経過するまで前記翻訳文字列に対応するページの前記画像データを前記表示手段に表示するステップを含む、表示制御プログラム。
【請求項２８】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状または背景が他の部分と異なりかつ文字数が最小の特徴領域を決定する特徴領域決定ステップと、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、を前記コンピューターに実行させ、
前記翻訳ステップは、前記文字列部分に加えて前記文字列部分の前後の文字列を用いて前記文字列部分を翻訳するステップを含む、表示制御プログラム。
【請求項２９】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、を前記コンピューターに実行させ、
前記対象文字列決定ステップは、前記特徴領域に含まれる文字列であっても前記翻訳ステップにおいて翻訳の対象とされた文字列と同じ文字列は前記文字列部分に決定しないステップを含む、表示制御プログラム。
【請求項３０】
原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、
前記原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの前記画像データそれぞれを、前記原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、
前記表示手段に表示されたページの前記画像データから文字が表された文字領域を決定する文字領域決定ステップと、
前記文字領域決定ステップにおいて決定された前記文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、
前記表示手段に表示されたページの前記画像データ中で前記文字領域の部分を文字認識する文字認識ステップと、
前記文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で前記特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、
前記文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、
前記翻訳して得られる翻訳文字列を、前記表示手段に表示されたページの前記画像データと関連付けて前記表示手段に表示する関連表示制御ステップと、を前記コンピューターに実行させ、
前記関連表示制御ステップは、前記翻訳文字列の文法が正常でない場合、前記翻訳文字列を前記表示手段に表示しないステップを含む、表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、原稿読取装置、表示制御方法および表示制御プログラムに関し、特に、翻訳機能を備えた原稿読取装置、その原稿読取装置で実行される表示制御方法および表示制御プログラムに関する。
【背景技術】
【０００２】
複合機（以下「ＭＦＰ」という）で代表される原稿読取装置は、自動原稿搬送装置を備えており、原稿を読み取った結果を確認するために、原稿を読み取って得られる画像を表示するプレビュー機能を有する画像形成装置が知られている。例えば、特開２０１１−０７７６６９号公報には、原稿の傾きやはみ出しをユーザーに知らせるための原稿読取装置として、原稿画像を読み取る原稿読取部と、読み取られた原稿画像を加工し出力用画像を生成する画像処理部と、前記出力用画像を外部へ出力する出力部と、原稿画像をユーザーがプレビューするための表示部とを備え、前記画像処理部は、原稿画像の端部領域または原稿画像の文字領域に相当する一部領域からプレビュー用画像データを生成し、前記プレビュー用画像データを表示部に提供するプレビュー機能付き原稿読取装置が記載されている。
【０００３】
一方、画像に含まれる文字を認識して文字情報に変換する文字認識処理と、文字情報を別の言語に翻訳する翻訳処理とが知られている。このため、原稿を読み取って得られる画像に含まれる文字を翻訳することが可能である。
【０００４】
しかしながら、文字認識処理および翻訳処理する時間は、原稿読取装置で原稿を読み取ってから読み取って得られる画像を表示するまでの時間に比較して長いため、原稿に対応してプレビュー表示される画像に代えて、原稿に対応する画像に含まれる文字を翻訳した結果を表示するのが困難であるといった問題がある。特に、複数の原稿を連続して読み取る場合に、複数の原稿にそれぞれ対応する複数の画像に文字認識処理および翻訳処理をして、翻訳結果を表示するためには長時間を要するといった問題があった。
【特許文献１】特開２０１１−０７７６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の一つは、複数枚の原稿の画像を順に表示しつつ、原稿の一部を翻訳して表示することが可能な原稿読取装置を提供することである。
【０００７】
この発明のさらに他の目的は、複数枚の原稿の画像を順に表示しつつ、原稿の一部を翻訳して表示することが可能な表示制御方法および表示制御プログラムを提供することである。
【０００８】
この発明のさらに他の目的は、原稿中の文字列を効率的に翻訳することが可能な表示制御方法および表示制御プログラムを提供することである。
【課題を解決するための手段】
【００１３】
この発明のある局面によれば、原稿読取装置は、原稿を読み取り、画像データを出力する原稿読取手段と、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定手段と、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識手段と、画像データ中で文字領域の部分から文字の形状が他の部分と異なりかつ文字数が最小の部分を特徴領域に決定する特徴領域決定手段と、文字認識手段により文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御手段と、を備える。
【００１４】
この局面に従えば、複数ページの原稿を連続して読み取った複数ページの画像データそれぞれを第１の期間ずつ表示し、原稿を読み取って得られる画像データから文字領域を決定し、画像データ中の文字領域の部分を文字認識し、認識された文字列のうちで、画像データ中で文字領域の部分から文字の形状が他の部分と異なりかつ文字数が最小の部分を特徴領域に決定し、特徴領域の部分に含まれる文字列部分を決定し、文字列部分の文字列を翻訳し、翻訳して得られる翻訳文字列を、画像データと関連付けて表示する。このため、原稿中の特徴的な部分を翻訳して表示するので、原稿中の文字列の全部を翻訳する場合に比較して翻訳対象となる文字数が少なくなるので、処理時間を短くすることができる。その結果、複数枚の原稿の画像を順に表示しつつ、原稿の一部を翻訳して表示することが可能な原稿読取装置を提供することができる。
【００２２】
この発明の他の局面によれば、原稿読取装置は、原稿を読み取り、画像データを出力する原稿読取手段と、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定手段と、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識手段と、画像データ中で文字領域の部分から文字の形状または背景が他の部分と異なる部分を特徴領域に決定する特徴領域決定手段と、文字認識手段により文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御手段と、を備え、関連表示制御手段は、画像データを表示手段に表示した原稿画像中に決定された特徴領域を示す識別画像を表示手段に表示する。
【００２３】
この局面に従えば、複数枚の原稿の画像を順に表示しつつ、原稿の一部を翻訳して表示することが可能な原稿読取装置を提供することができる。また、画像データを表示した原稿画像中に特徴領域を示す識別画像を表示するので、特徴領域をユーザーに通知することができる。
【００２４】
この発明の他の局面によれば、原稿読取装置は、原稿を読み取り、画像データを出力する原稿読取手段と、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定手段と、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識手段と、画像データ中で文字領域の部分から文字の形状または背景が他の部分と異なる部分を特徴領域に決定する特徴領域決定手段と、文字認識手段により文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御手段と、を備え、関連表示制御手段は、画像データを表示手段に表示した原稿画像の特徴領域に対応する部分に翻訳文字列の画像を重畳して表示手段に表示する。
【００２５】
この局面に従えば、複数枚の原稿の画像を順に表示しつつ、原稿の一部を翻訳して表示することが可能な原稿読取装置を提供することができる。また、画像データを表示した原稿画像の特徴領域に対応する部分に翻訳文字列の画像が重畳して表示されるので、特徴領域のみが翻訳された文字列で表示される。このため、翻訳された部分をユーザーに通知することができる。
【００２６】
好ましくは、関連表示制御手段は、画像データを表示手段に表示した原稿画像の特徴領域に対応する部分のサイズで、翻訳文字列の画像を生成する。
【００２７】
この局面に従えば、原稿画像中で特徴領域に対応する部分以外の部分を変更することなく、翻訳文字列の画像を表示することができる。
【００２８】
この発明の他の局面によれば、原稿読取装置は、原稿を読み取り、画像データを出力する原稿読取手段と、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定手段と、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識手段と、画像データ中で文字領域の部分から文字の形状または背景が他の部分と異なる部分を特徴領域に決定する特徴領域決定手段と、文字認識手段により文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御手段と、を備え、翻訳手段が翻訳に要する翻訳時間を、複数のページごとに計時する計時手段と、を備え、特徴領域決定手段は、計時された翻訳時間に応じて、特徴領域を決定する精度を変更する。
【００２９】
この局面に従えば、複数枚の原稿の画像を順に表示しつつ、原稿の一部を翻訳して表示することが可能な原稿読取装置を提供することができる。また、翻訳時間に応じて、特徴領域を決定する精度を変更するので、翻訳時間が長くなれば精度を低くして特徴領域を決定するための処理時間を短くすることができる。このため、複数ページの画像を表示してから表示が終了するまでの期間の変動を少なくすることができる。
【００３２】
この発明の他の局面によれば、原稿読取装置は、原稿を読み取り、画像データを出力する原稿読取手段と、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定手段と、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識手段と、画像データ中で文字領域の部分から文字の形状または背景が他の部分と異なる部分を特徴領域に決定する特徴領域決定手段と、文字認識手段により文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御手段と、を備え、翻訳手段は、決定された文字列部分が、それが含まれる画像データのページ以前のページの画像データに基づいて翻訳された文字列と同じ場合は翻訳しない。
【００３３】
この局面に従えば、複数枚の原稿の画像を順に表示しつつ、原稿の一部を翻訳して表示することが可能な原稿読取装置を提供することができる。また、翻訳する文字列を少なくして、１ページ当たりの翻訳時間を短くすることができる。
【００３４】
この発明の他の局面によれば、原稿読取装置は、原稿を読み取り、画像データを出力する原稿読取手段と、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定手段と、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識手段と、画像データ中で文字領域の部分から文字の形状または背景が他の部分と異なる部分を特徴領域に決定する特徴領域決定手段と、文字認識手段により文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御手段と、を備え、画像表示制御手段は、関連表示制御手段により翻訳文字列が表示手段に表示されてから第２の期間が経過する前に、翻訳文字列に対応するページの画像データが表示手段に表示されてから第１の期間が経過する場合、第２の期間が経過するまで翻訳文字列に対応するページの画像データを表示手段に表示する。
【００３５】
この局面に従えば、複数枚の原稿の画像を順に表示しつつ、原稿の一部を翻訳して表示することが可能な原稿読取装置を提供することができる。また、翻訳文字列が表示されてから第２の期間が経過するまで翻訳文字列に対応するページの画像データを表示するので、翻訳文字列の画像を少なくとも第２の期間表示することができる。
【００３６】
好ましくは、翻訳手段が翻訳に要する翻訳時間を、複数のページごとに計時する計時手段を、さらに備え、対象文字列決定手段は、計時された翻訳時間に応じて、１ページ当たりで決定する文字列部分の数を変更する。
【００３７】
この局面に従えば、前のページの翻訳時間に応じて、文字列部分の数を変更するので、複数ページの画像データの表示を開始してから終了するまでの期間の変動を少なくすることができる。
【００３８】
この発明の他の局面によれば、原稿読取装置は、原稿を読み取り、画像データを出力する原稿読取手段と、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定手段と、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識手段と、画像データ中で文字領域の部分から文字の形状または背景が他の部分と異なりかつ文字数が最小の部分を特徴領域に決定する特徴領域決定手段と、文字認識手段により文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御手段と、を備え、翻訳手段は、文字列部分に加えて文字列部分の前後の文字列を用いて文字列部分を翻訳する。
【００３９】
この局面に従えば、複数枚の原稿の画像を順に表示しつつ、原稿の一部を翻訳して表示することが可能な原稿読取装置を提供することができる。また、文字列部分に加えて文字列部分の前後の文字列を用いて文字列部分を翻訳するので、文字列部分を翻訳する精度を高めることができる。
【００４０】
この発明の他の局面によれば、原稿読取装置は、原稿を読み取り、画像データを出力する原稿読取手段と、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定手段と、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識手段と、画像データ中で文字領域の部分から文字の形状または背景が他の部分と異なる部分を特徴領域に決定する特徴領域決定手段と、文字認識手段により文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御手段と、を備え、対象文字列決定手段は、特徴領域に含まれる文字列であっても翻訳手段により翻訳の対象とされた文字列と同じ文字列は文字列部分に決定しない。
【００４１】
この局面に従えば、複数枚の原稿の画像を順に表示しつつ、原稿の一部を翻訳して表示することが可能な原稿読取装置を提供することができる。また、以前のページで翻訳された文字列を翻訳しないので、翻訳時間を短くすることができる。
【００４２】
この発明の他の局面によれば、原稿読取装置は、原稿を読み取り、画像データを出力する原稿読取手段と、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御手段と、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定手段と、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識手段と、画像データ中で文字領域の部分から文字の形状または背景が他の部分と異なる部分を特徴領域に決定する特徴領域決定手段と、文字認識手段により文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定手段と、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳手段と、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御手段と、を備え、関連表示制御手段は、翻訳文字列の文法が正常でない場合、翻訳文字列を表示手段に表示しない。
【００４３】
この局面に従えば、複数枚の原稿の画像を順に表示しつつ、原稿の一部を翻訳して表示することが可能な原稿読取装置を提供することができる。また、誤って翻訳された文字列の画像を表示しないので、誤った情報を通知するのを防止することができる。
【００４６】
この発明のさらに他の局面によれば表示制御方法は、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状が他の部分と異なりかつ文字数が最小の特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、画像データ中で文字領域の部分から文字の形状が他の部分と異なる部分を特徴領域に決定する特徴領域決定ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、を含む。
【００４７】
この局面に従えば、複数枚の原稿の画像を順に表示しつつ、原稿の一部を翻訳して表示することが可能な表示制御方法を提供することができる。
【００４８】
この発明のさらに他の局面によれば表示制御方法は、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、を含み、関連表示制御ステップは、画像データを表示手段に表示した原稿画像中に特徴領域決定ステップにおいて決定された特徴領域を示す識別画像を表示手段に表示するステップを含む。
この発明のさらに他の局面によれば表示制御方法は、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、を含み、関連表示制御ステップは、画像データを表示手段に表示した原稿画像の特徴領域に対応する部分に翻訳文字列の画像を重畳して表示手段に表示するステップを含む。
この発明のさらに他の局面によれば表示制御方法は、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、翻訳ステップにおいて翻訳に要する翻訳時間を、複数のページごとに計時する計時ステップと、を含み、特徴領域決定ステップは、計時された翻訳時間に応じて、特徴領域を決定する精度を変更するステップを含む。
この発明のさらに他の局面によれば表示制御方法は、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、を含み、翻訳ステップは、決定された文字列部分が、それが含まれる画像データのページ以前のページの画像データに基づいて翻訳された文字列と同じ場合は翻訳しないステップを含む。
【００４９】
この発明のさらに他の局面によれば表示制御方法は、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、表示されたページの画像データ中で決定された文字領域の部分を文字認識する文字認識ステップと、文字領域決定ステップにおいて決定された文字領域の部分から文字の形状または背景が他の部分と異なる部分を特徴領域に決定する特徴領域決定ステップと、文字認識して得られる文字列のうちで特徴領域に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳ステップにおいて翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、を含み、画像表示制御ステップは、関連表示制御ステップにおいて翻訳文字列が表示手段に表示されてから第２の期間が経過する前に、翻訳文字列に対応するページの画像データが表示手段に表示されてから第１の期間が経過する場合、第２の期間が経過するまで翻訳文字列に対応するページの画像データを表示手段に表示するステップを含む。
この発明のさらに他の局面によれば表示制御方法は、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状または背景が他の部分と異なりかつ文字数が最小特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、を含み、翻訳ステップは、文字列部分に加えて文字列部分の前後の文字列を用いて文字列部分を翻訳するステップを含む。
この発明のさらに他の局面によれば表示制御方法は、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、を含み、対象文字列決定ステップは、特徴領域に含まれる文字列であっても翻訳ステップにおいて翻訳の対象とされた文字列と同じ文字列は文字列部分に決定しないステップを含む。
この発明のさらに他の局面によれば表示制御方法は、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置で実行される表示制御方法であって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、を含み、関連表示制御ステップは、翻訳文字列の文法が正常でない場合、翻訳文字列を表示手段に表示しないステップを含む。
【００５０】
この発明のさらに他の局面によれば表示制御プログラムは、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状が他の文字の形状と異なる特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、画像データ中で文字領域の部分から文字の形状が他の部分と異なりかつ文字数が最小の部分を特徴領域に決定する特徴領域決定ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、決定された文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、をコンピューターに実行させる。
【００５１】
この局面に従えば、原稿中の文字列を効率的に翻訳することが可能な表示制御プログラムを提供することができる。
この発明のさらに他の局面によれば表示制御プログラムは、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、をコンピューターに実行させ、関連表示制御ステップは、画像データを表示手段に表示した原稿画像中に特徴領域決定ステップにおいて決定された特徴領域を示す識別画像を表示手段に表示するステップを含む。
この発明のさらに他の局面によれば表示制御プログラムは、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、をコンピューターに実行させ、関連表示制御ステップは、画像データを表示手段に表示した原稿画像の特徴領域に対応する部分に翻訳文字列の画像を重畳して表示手段に表示するステップを含む。
この発明のさらに他の局面によれば表示制御プログラムは、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、翻訳ステップにおいて翻訳に要する翻訳時間を、複数のページごとに計時する計時ステップと、をコンピューターに実行させ、特徴領域決定ステップは、計時された翻訳時間に応じて、特徴領域を決定する精度を変更するステップを含む。
この発明のさらに他の局面によれば表示制御プログラムは、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、をコンピューターに実行させ、翻訳ステップは、決定された文字列部分が、それが含まれる画像データのページ以前のページの画像データに基づいて翻訳された文字列と同じ場合は翻訳しないステップを含む。
この発明のさらに他の局面によれば表示制御プログラムは、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、をコンピューターに実行させ、画像表示制御ステップは、関連表示制御ステップにおいて翻訳文字列が表示手段に表示されてから第２の期間が経過する前に、翻訳文字列に対応するページの画像データが表示手段に表示されてから第１の期間が経過する場合、第２の期間が経過するまで翻訳文字列に対応するページの画像データを表示手段に表示するステップを含む。
この発明のさらに他の局面によれば表示制御プログラムは、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状または背景が他の部分と異なりかつ文字数が最小の特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、をコンピューターに実行させ、翻訳ステップは、文字列部分に加えて文字列部分の前後の文字列を用いて文字列部分を翻訳するステップを含む。
この発明のさらに他の局面によれば表示制御プログラムは、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、をコンピューターに実行させ、対象文字列決定ステップは、特徴領域に含まれる文字列であっても翻訳ステップにおいて翻訳の対象とされた文字列と同じ文字列は文字列部分に決定しないステップを含む。
この発明のさらに他の局面によれば表示制御プログラムは、原稿を読み取り、画像データを出力する原稿読取手段を備えた原稿読取装置を制御するコンピューターで実行される表示制御プログラムであって、原稿読取手段が複数ページの原稿を連続して読み取って出力する複数ページの画像データそれぞれを、原稿読取手段が出力する順に、第１の期間ずつ表示手段に表示する画像表示制御ステップと、表示手段に表示されたページの画像データから文字が表された文字領域を決定する文字領域決定ステップと、文字領域決定ステップにおいて決定された文字領域中で文字の形状または背景が他の部分と異なる特徴領域を決定する特徴領域決定ステップと、表示手段に表示されたページの画像データ中で文字領域の部分を文字認識する文字認識ステップと、文字認識ステップにおいて文字認識して得られる文字列のうちで、画像データ中で特徴領域の部分に含まれる文字列部分を決定する対象文字列決定ステップと、文字列部分に含まれる文字列を所定の言語に翻訳する翻訳ステップと、翻訳して得られる翻訳文字列を、表示手段に表示されたページの画像データと関連付けて表示手段に表示する関連表示制御ステップと、をコンピューターに実行させ、関連表示制御ステップは、翻訳文字列の文法が正常でない場合、翻訳文字列を表示手段に表示しないステップを含む。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施の形態の１つにおけるＭＦＰの外観を示す斜視図である。
【図２】本発明の実施の形態の１つにおけるＭＦＰのハードウェア構成の概要を示すブロック図である。
【図３】操作パネルの一例を示す平面図である。
【図４】第１の実施の形態におけるＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。
【図５】表示制御処理の流れの一例を示すフローチャートである。
【図６】第１の実施の形態におけるプレビュー表示制御処理の流れの一例を示すフローチャートである。
【図７】第１の実施の形態における関連情報表示処理の流れの一例を示すフローチャートである。
【図８】第１の実施の形態における並列表示処理の流れの一部を示すフローチャートである。
【図９】第１の実施の形態における重畳表示処理の流れの一部を示すフローチャートである。
【図１０】原稿画像を含むプレビュー画面の一例を示す第１の図である。
【図１１】並列表示モードにおいて原稿画像に文字列画像を追加したプレビュー画面の一例を示す第１の図である。
【図１２】重畳モードにおいて原稿画像に文字列画像を追加したプレビュー画面の一例を示す第１の図である。
【図１３】第２の実施の形態におけるＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。
【図１４】第２の実施の形態におけるプレビュー表示制御処理の流れの一例を示すフローチャートである。
【図１５】第２の実施の形態における関連情報表示処理の流れの一例を示す第１のフローチャートである。
【図１６】第２の実施の形態における関連情報表示処理の流れの一例を示す第２のフローチャートである。
【図１７】第２の実施の形態における並列表示処理の流れの一部を示すフローチャートである。
【図１８】第２の実施の形態における重畳表示処理の流れの一部を示すフローチャートである。
【図１９】原稿画像を含むプレビュー画面の一例を示す第２の図である。
【図２０】並列表示モードにおいて原稿画像に文字列画像を追加したプレビュー画面の一例を示す第２の図である。
【図２１】重畳モードにおいて原稿画像に文字列画像を追加したプレビュー画面の一例を示す第２の図である。
【発明を実施するための形態】
【００５３】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００５４】
図１は、本発明の実施の形態の１つにおけるＭＦＰの外観を示す斜視図である。図２は、本発明の実施の形態の１つにおけるＭＦＰのハードウェア構成の概要を示すブロック図である。図１および図２を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、画像が形成された用紙を処理する後処理部１５５と、ユーザーインターフェースとしての操作パネル１６０とを含む。
【００５５】
自動原稿搬送装置１２０は、原稿トレイに載置された原稿を、原稿読取部１３０に供給する。自動原稿搬送装置１２０は、原稿トレイに複数枚の原稿が載置される場合、複数枚の原稿をさばいて、１枚ずつ順に原稿読取部１３０に搬送する。
【００５６】
原稿読取部１３０は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等の光電変換素子を含み、自動原稿搬送装置１２０から搬送される原稿を光学的に読取って電子データとしての画像を出力する。
【００５７】
画像形成部１４０は、レーザプリンタであり、原稿読取部１３０が出力する画像またはＨＤＤ１１５に記憶された画像を、給紙部１５０から供給される紙などの記録媒体に形成することにより、可視化する。画像形成部１４０は、カラープリントの場合には、イエロー、マゼンタ、シアン、ブラックの４色のトナーで画像を形成する。なお、画像形成部１４０は、インクジェットプリンタであってもよい。
【００５８】
後処理部１５５は、画像形成部１４０により画像が形成された１以上の用紙を並び替えて排紙するソート処理、パンチ穴加工するパンチ処理、ステープル針を打ち込むステープル処理を実行する。
【００５９】
メイン回路１１０は、ＣＰＵ１１１と、通信インターフェース（Ｉ／Ｆ）部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１１５と、ファクシミリ部１１６と、ＣＤ−ＲＯＭ１１８が装着される外部記憶装置１１７と、を含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０、後処理部１５５および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。
【００６０】
ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。さらに、ＲＡＭ１１４は，設定値記憶領域と設定画面記憶領域とを含む。設定値記憶領域は、処理を実行するための設定値を記憶する領域である。設定画面記憶領域は、表示部１６１に表示する設定画面の記憶する領域である。また、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる読取データ（画像データ）を一時的に記憶する。
【００６１】
通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をネットワークに接続するためのインターフェースである。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介して、ネットワークに接続されたコンピューターとの間で通信し、データを送受信する。また、通信Ｉ／Ｆ部１１２は、ネットワークを介してインターネットに接続されたコンピューターと通信が可能である。
【００６２】
ファクシミリ部１１６は、公衆交換電話網（ＰＳＴＮ）に接続され、ＰＳＴＮにファクシミリデータを送信する、またはＰＳＴＮからファクシミリデータを受信する。ファクシミリ部１１６は、受信したファクシミリデータを、ＨＤＤ１１５に記憶する、または画像形成部１４０に出力する。画像形成部１４０は、ファクシミリ部１１６により受信されたファクシミリデータを用紙にプリントする。また、ファクシミリ部１１６は、ＨＤＤ１１５に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。
【００６３】
外部記憶装置１１７は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  ＲＯＭ）１１８が装着される。ＣＰＵ１１１は、外部記憶装置１１７を介してＣＤ−ＲＯＭ１１８にアクセス可能である。ＣＰＵ１１１は、外部記憶装置１１７に装着されたＣＤ−ＲＯＭ１１８に記録されたプログラムをＲＡＭ１１４にロードして実行する。なお、ＣＰＵ１１１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ１１８に限られず、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ  Ｏｐｔｉｃａｌ  Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ  Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ）などの半導体メモリであってもよい。
【００６４】
また、ＣＰＵ１１１が実行するプログラムは、ＣＤ−ＲＯＭ１１８に記録されたプログラムに限られず、ＨＤＤ１１５に記憶されたプログラムをＲＡＭ１１４にロードして実行するようにしてもよい。この場合、通信Ｉ／Ｆ部１１２を介してネットワークに接続された他のコンピューターが、ＭＦＰ１００のＨＤＤ１１５に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、ＭＦＰ１００が、通信Ｉ／Ｆ部１１２を介してネットワークに接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをＨＤＤ１１５に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００６５】
操作パネル１６０は、ＭＦＰ１００の上面に設けられる。図３は、操作パネルの一例を示す平面図である。なお、図３中の点線は、操作パネル１６０中でハードキー部１６７が配置される領域を示すために付したもので、実際には存在しない。図３を参照して、操作パネル１６０は、表示部１６１と操作部１６３とを含む。表示部１６１は、例えば、液晶表示装置（ＬＣＤ）であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。
【００６６】
操作部１６３は、タッチパネル１６５と、ハードキー部１６７とを含む。タッチパネル１６５は、表示部１６１の上面または下面に表示部１６１に重畳して設けられる。ハードキー部１６７は、複数のハードキーを含む。ハードキーは、例えば接点スイッチである。タッチパネル１６５は、表示部１６１の表示面中でユーザーにより指示された位置を検出する。ユーザーがＭＦＰ１００を操作する場合は直立した姿勢となる場合が多いので、表示部１６１の表示面、タッチパネル１６５の操作面およびハードキー部１６７は、上方を向いて配置される。ユーザーが表示部１６１の表示面を容易に視認することができ、ユーザーが指で操作部１６３を容易に指示することができるようにするためである。
【００６７】
図４は、第１の実施の形態におけるＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。図４に示す機能は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶された表示制御プログラムを実行することにより、ＣＰＵ１１１に形成される機能である。図４を参照して、ＣＰＵ１１１は、原稿読取制御部１１と、画像表示制御部１３と、文字領域決定部１５と、文字認識部１７と、翻訳部２３と、チェック部２５と、関連表示制御部２７と、位置検出部７１と、を含む。
【００６８】
原稿読取制御部１１は、自動原稿搬送装置１２０および原稿読取部１３０を制御し、原稿読取部１３０に原稿を読み取らせ、原稿読取部１３０が原稿を読み取って出力する画像データを、画像表示制御部１３および文字領域決定部１５に出力する。原稿読取制御部１１は、原稿読取部１３０に複数枚の原稿を読み取らせる場合、原稿読取部１３０は複数枚の原稿を１枚ずつ順に読み取る。原稿読取部１３０は、複数枚の原稿を１枚ずつ読み取った順に複数ページの画像データを出力する。原稿読取制御部１１は、原稿読取部１３０が１枚の原稿に対応する１ページの画像データを出力するごとに、１ページの画像データを画像表示制御部１３および文字領域決定部１５に出力する。
【００６９】
画像表示制御部１３は、原稿読取制御部１１から画像データが入力され、表示部１６１を制御し、原稿読取制御部１１から入力された画像データに基づいて、表示部１６１に表示するための原稿画像を生成し、原稿画像を表示部１６１に表示する。また、画像表示制御部１３は、原稿画像の表示部１６１の表示面中の位置を、関連表示制御部２７に出力する。画像表示制御部１３は、原稿読取制御部１１から入力される画像データに基づいて、表示部１６１に表示可能なサイズの原稿画像を生成し、原稿画像を表示部１６１に表示する。また、画像表示制御部１３は、原稿読取制御部１１から複数ページの画像データが順に入力される場合、複数ページの画像データにそれぞれ対応する複数ページの原稿画像をそれぞれ第１の時間だけ表示する。第１の時間は、限定するものではないが、原稿読取部１３０が１枚の原稿を読み取る読取時間よりも長くするのが好ましい。これにより、原稿読取部１３０が複数ページの原稿を読み取っている間、表示部１６１に複数ページの原稿にそれぞれ対応する複数ページの原稿画像を順に表示することができる。
【００７０】
位置検出部７１は、タッチパネル１６５を制御し、ユーザーが表示部１６１の表示面を指示した位置を検出し、検出した位置を指示位置として文字領域決定部１５に出力する。
【００７１】
文字領域決定部１５は、原稿読取制御部１１から複数ページの画像データが１つずつ順に入力され、位置検出部７１から指示位置が入力される。文字領域決定部１５は、位置検出部７１から指示位置が入力される直前に原稿読取制御部１１から入力されたページの画像データを、処理対象に設定し、処理対象に設定されたページの画像データ中で文字が表された１以上の文字領域を決定する。
【００７２】
さらに、文字領域決定部１５は、処理対象に設定されたページの画像データ中で位置検出部７１から入力される指示位置で特定される原稿画像中の位置に対応する位置を特定する。文字領域決定部１５は、決定された１以上の文字領域のうちから、特定した位置を含む文字領域を処理対象に決定する。換言すれば、処理対象に設定されたページの画像データに含まれる１以上の文字領域のうち、原稿画像中でユーザーにより指示された位置に対応する文字領域を処理対象に決定する。文字領域決定部１５は、処理対象に決定された文字領域に対応する画像データの部分と、位置情報とを文字認識部１７に出力する。位置情報は、文字領域が、原稿読取制御部１１から入力される画像データ中で占める位置を示す。画像データ中の文字領域を決定する処理は周知である。例えば、限定するものではないが、画像データを２値化し、２値化した画像データの黒画素の数を縦横方向それぞれにカウントした射影ヒストグラムの黒画素の度数が多い山を検出することにより文字領域を決定する。
【００７３】
文字認識部１７は、文字領域決定部１５から入力される画像データ中の文字領域の部分を文字認識し、文字認識して得られる文字列と、文字領域決定部１５から入力される位置情報との組を翻訳部２３に出力する。画像データ中の文字領域の部分から文字を認識する技術は周知である。例えば、限定するものではないが、パターンマッチング技術を用いることができる。
【００７４】
翻訳部２３は、文字認識部１７から文字列と位置情報との組が入力されることに応じて、文字列を、予め定められた言語に翻訳する。翻訳前の言語と翻訳後の言語とを予め定めておき、文字認識部１７から入力される文字列が、翻訳前の言語として予め定められている場合に、その文字列を、翻訳後の言語として予め定められた言語に翻訳する。翻訳部２３は、文字認識部１７から入力される文字列を翻訳した文字列である翻訳文字列と、位置情報との組をチェック部２５に出力する。
【００７５】
チェック部２５は、翻訳部２３から翻訳文字列と、位置情報との組が入力され、翻訳文字列が正しく翻訳されているか否かを判断する。翻訳が正しいか否かを判断する技術は周知なのでここでは説明を繰り返さないが、例えば、翻訳部２３から文字認識部１７から入力される翻訳文字列の文法をチェックし、文法が正しいか否かを判断する。チェック部２５は、翻訳文字列と、位置情報と、チェック結果との組を、関連表示制御部２７に出力する。
【００７６】
関連表示制御部２７は、画像表示制御部１３から原稿画像の表示部１６１の表示面中の位置が入力され、チェック部２５から翻訳文字列と位置情報とチェック結果との組が入力される。関連表示制御部２７は、翻訳文字列の画像を文字列画像として原稿画像に関連付けて表示部１６１に第２の時間表示する。第２の期間は、原稿画像が表示される第１の期間より短くするのが好ましい。文字列画像は、原稿画像が表示されるよりも後に生成されるからである。関連表示制御部２７は、文字列画像を表示してからの経過時間を画像表示制御部１３に出力する。関連表示制御部２７は、複数の文字列画像を表示する場合、複数の文字列画像のうち最後に表示された文字列画像が表示されてからの経過時間を画像表示制御部１３に出力する。
【００７７】
関連表示制御部２７は、誤訳時非表示部５１と、並列表示部５３と、重畳表示部５５と、を含む。関連表示制御部２７は、並列表示部５３と、重畳表示部５５とのいずれか一方を有効に機能させる。並列表示部５３と、重畳表示部５５とのいずれを機能させるかは、ユーザーにより予め定められた設定に従うようにすればよい。
【００７８】
誤訳時非表示部５１は、チェック部２５から入力されるチェック結果が、文法が正しくないと判断されたことを示す場合、文字列画像を表示しない。具体的には、誤訳時非表示部５１は、チェック部２５から入力されるチェック結果が、文法が正しいことを示す場合のみ、並列表示部５３および重畳表示部５５に表示指示を出力し、チェック部２５から入力されるチェック結果が、文法が正しくないことを示す場合は、並列表示部５３および重畳表示部５５に表示指示を出力しない。表示指示は、チェック結果と組になる位置情報を含む。
【００７９】
並列表示部５３は、第１文字列画像生成部６１と、第１サイズ決定部６３と、対応部分指示部６５と、を含む。第１サイズ決定部６３は、文字列画像のサイズを、原稿画像のサイズを基準にして決定する。例えば、表示部１６１に１つの原稿画像を表示する場合、表示部１６１の表示面中で原稿画像以外の余白領域を決定し、文字列画像のサイズを、余白領域以下のサイズに決定する。
【００８０】
第１文字列画像生成部６１は、サイズ決定部６３によって決定されたサイズで、チェック部２５から入力される翻訳文字列の画像を、文字列画像として生成する。第１文字列画像生成部６１は、文字列画像と原稿画像とを同時に表示する。第１文字列画像生成部６１は、文字列画像と原稿画像とを、それらが重ならない位置に、並べて表示する。文字列画像を、原稿画像に並べる方向は、原稿画像の上下左右のいずれの方向であってもよい。また、第１文字列画像生成部６１は、文字列画像が、原稿画像中の位置情報で特定される位置に対応することを示すために、余白領域中で原稿画像中の位置情報で特定される位置から最も近い位置に文字列画像を配置する。
【００８１】
対応部分指示部６５は、原稿画像中で、位置情報により特定される文字領域に対応する領域に識別画像を合成する。識別画像は、原稿画像中の文字領域に対応する領域を囲む線である。また、識別画像は、原稿画像中の文字領域に対応する領域内を単色で表した画像であってもよい。これにより、文字領域に対応する領域に識別画像が合成されるので、原稿画像中で文字列画像に対応する領域をユーザーに通知することができる。また、文字列画像が複数の場合であっても、複数の文字列画像それぞれに対応する領域に識別画像が合成されるので、複数の文字列画像それぞれに対して原稿画像中で対応する部分をユーザーに通知することができる。
【００８２】
重畳表示部５５は、第２文字列画像生成部６７と、第２サイズ決定部６８と、を含む。第２サイズ決定部６８は、文字列画像のサイズを、原稿画像中の特徴領域に対応する部分のサイズに決定する。
【００８３】
第２文字列画像生成部６７は、第２サイズ決定部６８によって決定されたサイズで、チェック部２５から入力される翻訳文字列の画像を、文字列画像として生成する。第２文字列画像生成部６７は、文字列画像を原稿画像に重畳して表示する。このため、原稿画像の特定領域に対応する部分が文字列画像によって置き換えられる。
【００８４】
画像表示制御部１３は、表示期間延長部１４を含む。画像表示制御部１３は、原稿画像を第１の期間表示するが、関連表示制御部２７から入力される経過時間が第２の期間経過する前に第１の時間が経過する場合がある。関連表示制御部２７により文字列画像が表示されるタイミングが、原稿画像が表示されるタイミングよりも後だからである。表示期間延長部１４は、原稿画像を表示してから第１の期間が経過する場合であっても、関連表示制御部２７から入力される経過時間が第２の期間に満たない場合、関連表示制御部２７から入力される経過時間が第２の期間を超えるまで、原稿画像を表示する期間を延長する。これにより、関連表示制御部２７によって表示される文字列画像を、少なくとも第２の期間表示することができる。
【００８５】
図５は、表示制御処理の流れの一例を示すフローチャートである。表示制御処理は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶された制御プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図５を参照して、ＣＰＵ１１１は、スキャン指示を受け付けたか否かを判断する（ステップＳ０１）。ユーザーが操作部１６３に原稿の読み取りを指示する操作を入力すると、スキャン指示を受け付ける。例えば、操作部１６３か備えるハードキー部１６７が有する複数のハードキーのうち、原稿の読み取りを指示する操作が割り当てられたキー、例えばスタートキーが指示されると、スキャン指示を受け付ける。スキャン指示を受け付けるまで待機状態となり（ステップＳ０１でＮＯ）、スキャン指示を受け付けると（ステップＳ０１でＹＥＳ）、処理をステップＳ０２に進める。
【００８６】
ステップＳ０２においては、原稿の読み取りを開始する。自動原稿搬送装置１２０および原稿読取部１３０を制御して、自動原稿搬送装置１２０により搬送される原稿を原稿読取部１３０に読み取らせる。自動原稿搬送装置１２０に複数枚の原稿が置かれる場合、自動原稿搬送装置１２０は、複数枚の原稿を１枚ずつ原稿読取部１３０に搬送するので、原稿読取部１３０は、１枚の原稿を読み取るごとに１つの画像データを出力する。
【００８７】
ステップＳ０３においては、関連情報表示指示を受け付けたか否かを判断する。関連情報表示指示を受け付けたならば処理をステップＳ０４に進めるが、そうでなければ処理をステップＳ０６に進める。ユーザーが操作部１６３に関連情報の表示を指示する操作を入力すると、関連情報表示指示を受け付ける。例えば、操作部１６３か備えるハードキー部１６７が有する複数のハードキーのうち、関連情報の表示を指示する操作が割り当てられたキーが指示されると、関連情報表示指示を受け付ける。
【００８８】
ステップＳ０４においては、翻訳言語を設定する。翻訳前の言語と、翻訳後の言語とを設定する。例えば、英語を日本語に翻訳する場合、翻訳前の言語に英語を設定し、翻訳後の言語に日本語を設定する。翻訳言語は、設定画面を表示部１６１に表示し、ユーザーが操作部１６３に入力する操作に従って設定するようにしても良いし、予めデフォルトの値として設定しておくようにしても良い。
【００８９】
ステップＳ０５においては、関連情報表示モードに設定し、処理をステップＳ０６に進める。ステップＳ０６においては、ステップＳ０２において開始した原稿読み取り処理が完了したか否かを判断する。自働原稿搬送装置１２０に置かれた複数枚の原稿のすべてが原稿読取部１３０によって読み取られた場合に、原稿読み取り処理が終了したと判断する。原稿読取処理が終了していなければ処理をステップＳ０３に戻し、原稿読取処理が終了したならば処理を終了する。
【００９０】
図６は、第１の実施の形態におけるプレビュー表示制御処理の流れの一例を示すフローチャートである。プレビュー表示制御処理は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶された表示制御プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。プレビュー表示制御処理は、図５に示した表示制御処理と並列に実行される。
【００９１】
図６を参照して、ＣＰＵ１１１は、原稿読取部１３０が出力する画像データを取得したか否かを判断する（ステップＳ１１）。原稿読取部１３０が出力する画像データを取得するまで待機状態となり（ステップＳ１１でＮＯ）、画像データを取得すると（ステップＳ１１でＹＥＳ）、処理をステップＳ１２に進める。
【００９２】
ステップＳ１２においては、原稿画像を表示部１６１に表示し、処理をステップＳ１３に進める。ステップＳ１１において原稿読取部１３０から取得された画像データを原稿画像に変換し、原稿画像を表示部１６１に表示する。原稿画像は、原稿読取部１３０が出力する画像データから表示部１６１に表示可能なサイズで生成した画像である。
【００９３】
ステップＳ１３においては、タイマーＥＴ１をリセットする。タイマーＥＴ１は、原稿画像を表示してからの時間を計時する。タイマーＥＴ１の値は、原稿画像を表示してからの経過時間を示す。次のステップＳ１４においては、指示位置を検出したか否かを判断する。タッチパネル１６５を制御し、ユーザーが表示部１６１の表示面を指示した位置を指示位置として検出する。指示位置を検出したならば処理をステップＳ１５に進めるが、そうでなければ処理をステップＳ２３に進める。ステップＳ２３においては、タイマーＥＴ１の値がしきい値ＥＴＨ１以上か否かを判断する。タイマーＥＴ１の値がしきい値ＥＴＨ１以上ならば処理をステップＳ１１に戻すが、そうでなければ処理をステップＳ１４に戻す。
【００９４】
ステップＳ１５においては、関連情報表示処理を実行し、処理をステップＳ１６に進める。関連情報表示処理の詳細は後述するが、原稿画像中でユーザーにより指示された位置の部分を翻訳した翻訳文字列の画像を表示する処理である。ステップＳ１６においては、タイマーＥＴ２をリセットし、処理をステップＳ１７に進める。タイマーＥＴ２は、翻訳文字列の画像を表示してからの時間を計時する。タイマーＥＴ２の値は、翻訳文字列の画像を表示してからの経過時間を示す。
【００９５】
ステップＳ１７においては、タイマーＥＴ１の値がしきい値ＥＴＨ１以上か否かを判断する。タイマーＥＴ１の値がしきい値ＥＴＨ１以上になるまで待機状態となり（ステップＳ１７でＮＯ）、タイマーＥＴ１の値がしきい値ＥＴＨ１以上になると（ステップＳ１７でＹＥＳ）、処理をステップＳ１８に進める。ステップＳ１８においては、タイマーＥＴ２の値がしきい値ＥＴＨ２以上か否かを判断する。タイマーＥＴ２の値がしきい値ＥＴＨ２以上になるまで待機状態となり（ステップＳ１８でＮＯ）、タイマーＥＴ２の値がしきい値ＥＴＨ２以上になると（ステップＳ１８でＹＥＳ）、処理をステップＳ１１に戻す。
【００９６】
図７は、第１の実施の形態における関連情報表示処理の流れの一例を示すフローチャートである。第１の実施の形態における関連情報表示処理は、図６に示した第１の実施の形態におけるプレビュー表示制御処理のステップＳ１５において実行される処理である。プレビュー表示制御処理が実行される前の段階で、原稿読取部１３０が原稿を読み取って出力する画像データが取得されており、原稿画像中でユーザーにより指示された指示位置が検出されている。プレビュー表示制御処理が実行される前の段階で取得される画像データは、原稿読取部１３０が原稿を読み取って出力する画像データであって、対応する原稿画像中の位置がユーザーにより指示された画像である。
【００９７】
図７を参照して、ＣＰＵ１１１は、原稿読取部１３０が出力する画像データ中の文字領域を決定する（ステップＳ３１）。原稿読取部１３０が原稿を読み取って出力する画像データを、処理対象に設定し、処理対象に設定された画像データ中で文字が表された１以上の文字領域を決定する。次のステップＳ３２においては、１以上の文字領域のうちから原稿画像中でユーザーにより指示された位置に対応する文字領域を決定する。具体的には、原稿読取部１３０が原稿を読み取って出力する画像データ中で、原稿画像中でユーザーにより指示された指示位置で特定される原稿画像中の位置に対応する位置を含む文字領域を決定する。
【００９８】
次のステップＳ３３においては、原稿読取部１３０が原稿を読み取って出力する画像データ中で、ステップＳ３２において決定された文字領域の部分を文字認識する。そして、ステップＳ３４においては、文字認識された文字列を翻訳する。文字列を翻訳して得られる文字列を翻訳文字列という。
【００９９】
次のステップＳ３５においては、翻訳文字列の文法をチェックする。そして、文法をチェックした結果が正常か否かを判断する。文法チェックの結果が正常であるならば処理をステップＳ３７に進めるが、そうでなければ処理を、プレビュー表示制御処理に戻す。ステップＳ３７においては、関連表示モードによって処理を分岐させる。関連表示モードが並列表示モードに設定されていれば処理をステップＳ３８に進め、関連表示モードが重畳表示モードに設定されていれば処理をステップＳ３９に進める。ステップＳ３８においては、第１の実施の形態における並列表示処理を実行し、処理をプレビュー表示制御処理に戻す。ステップＳ３９においては、第１の実施の形態における重畳表示処理を実行し、処理をプレビュー表示制御処理に戻す。
【０１００】
図８は、第１の実施の形態における並列表示処理の流れの一部を示すフローチャートである。並列表示処理は、図７のステップＳ３８において実行される処理である。図８を参照して、ＣＰＵ１１１は、文字列画像のサイズを決定する（ステップＳ７１）。文字列画像は、次のステップＳ７２において生成される画像である。文字列画像のサイズを、原稿画像のサイズを基準にして決定する。例えば、表示部１６１に１つの原稿画像を表示する場合、表示部１６１の表示面中で原稿画像以外の余白領域を決定し、翻訳文字列の画像のサイズを、余白領域以下のサイズに決定する。
【０１０１】
次のステップＳ７２においては、文字列画像を生成する。ステップＳ７１において決定されたサイズで、図７に示した関連情報表示処理のステップＳ３４において翻訳して得られる翻訳文字列の画像を文字列画像として生成する。次のステップＳ７３においては、生成された文字列画像を、原稿画像と重ならない位置に並べて表示する。文字列画像が、原稿画像中でユーザーにより指示された指示位置で特定される位置に対応することを示すために、原稿画像中の指示位置で特定される位置から最も近い位置に文字列画像を配置するのが好ましい。
【０１０２】
次のステップＳ７４においては、識別画像を原稿画像に合成し、処理を関連情報表示処理に戻す。原稿画像中の領域であって、図７に示した関連情報表示処理のステップＳ３２において選択された文字領域に対応する領域に識別画像を合成する。識別画像は、原稿画像中で文字領域に対応する領域を囲む線である。また、識別画像は、原稿画像中で文字領域に対応する領域内を単色で表した画像であってもよい。文字領域に対応する領域に識別画像が合成されるので、原稿画像中で文字列画像に対応する領域をユーザーに通知することができる。
【０１０３】
図９は、第１の実施の形態における重畳表示処理の流れの一部を示すフローチャートである。第１の実施の形態における重畳表示処理は、図７のステップＳ３９において実行される処理である。図９を参照して、ＣＰＵ１１１は、文字列画像のサイズを決定する（ステップＳ７１Ａ）。文字列画像は、次のステップＳ７２Ａにおいて生成される画像である。文字列画像のサイズを、表示部１６１に表示されている原稿画像中で、図７に示した関連情報表示処理のステップＳ３２において選択された文字領域に対応する領域と同じサイズに決定する。
【０１０４】
次のステップＳ７２Ａにおいては、文字列画像を生成する。ステップＳ７１Ａにおいて決定されたサイズで、図７に示した関連情報表示処理のステップＳ３４において翻訳して得られる翻訳文字列の画像を文字列画像として生成する。次のステップＳ７３Ａにおいては、原稿画像に文字列画像を合成し、処理を関連情報表示処理に戻す。ステップＳ７２Ａにおいて生成された文字列画像で、表示部１６１に表示されている原稿画像中で文字領域に対応する領域の画像を置き換える。これにより、表示部１６１に表示されている原稿画像の文字領域に対応する領域に文字列画像が合成されるので、原稿画像中に文字列画像が重畳して表示され、文字列画像の領域をユーザーに通知することができる。
【０１０５】
図１０は、原稿画像を含むプレビュー画面の一例を示す第１の図である。図１０を参照して、プレビュー画面３００は、原稿画像３０１を含む。原稿画像３０１は、日本語の文字が表された画像であり、３つの文字列領域３０３，３０５，３０７を含む。なお、図中の点線は、文字列領域３０３，３０５，３０７を示すために付したもので、実際には存在しない。プレビュー画面３００は、原稿画像３０１が表示されてから第１の期間の間表示される。
【０１０６】
図１１は、並列表示モードにおいて原稿画像に文字列画像を追加したプレビュー画面の一例を示す第１の図である。図１１に示すプレビュー画面３１０は、図１０に示したプレビュー画面３００の原稿画像３０１中の文字領域３０３がユーザーにより指示された後に、表示部１６１に表示される。図１１を参照して、プレビュー画面３１０は、原稿画像３０１と、文字列画像３１３と、を含む。文字列画像３１３は、原稿画像３０１の文字領域３０３に含まれる文字列を翻訳した翻訳文字列から生成した画像である。また、原稿画像３０１は、識別画像３０３Ａを含む。識別画像３０３Ａは、文字領域３０３を囲む矩形の画像である。プレビュー画面３１０を見るユーザーは、文字列画像３１３から翻訳文字列を視認することができる。また、識別画像３０３Ａから、文字列画像３１３に含まれる翻訳文字列が、原稿画像３０１内の文字領域３０３内の文字列を翻訳した文字列であることを認識することができる。
【０１０７】
図１２は、重畳モードにおいて原稿画像に文字列画像を追加したプレビュー画面の一例を示す第１の図である。図１２に示すプレビュー画面３１０は、図９に示したプレビュー画面３００の原稿画像３０１中の文字領域３０３がユーザーにより指示された後に、表示部１６１に表示される。図１２を参照して、プレビュー画面３２０は、図９に示したプレビュー画面３００の原稿画像３０１中の文字領域３０３に代えて文字列画像３１３Ａを配置した原稿画像３０１Ａを含む。原稿画像３０１Ａは、文字列画像３１３Ａと、２つの文字領域３０５，３０７を含む。文字列画像３１３Ａは、原稿画像３０１中の文字領域３０３と同じサイズであり、原稿画像３０１の文字領域３０３に含まれる文字列を翻訳した翻訳文字列から生成した画像である。
【０１０８】
プレビュー画面３２０を見るユーザーは、文字列画像３１３Ａから翻訳文字列を視認することができるとともに、文字列画像３１３Ａが原稿画像３０１Ａに配置される位置から文字列画像３１３に含まれる翻訳文字列が、原稿画像３０１内の文字領域３０３内の文字列を翻訳した文字列であることを認識することができる。
【０１０９】
＜第１の変形例＞
第１の実施の形態においては、複数枚の原稿を順に読み取り、読み取って得られる複数の画像データを読み取った順に原稿画像として表示部１６１に第１の期間だけ表示する。そして、画像データに含まれる１以上の文字領域のうち、表示部１６１に表示される原稿画像中でユーザーが指示した位置に対応する文字領域に含まれる文字列を翻訳する。
【０１１０】
複数の原稿画像が１つずつ順に第１の期間表示されている最中に、ユーザーが指示した時点で表示されている原稿画像を、第１の期間より長い時間表示するようにしてもよい。また、表示部１６１に複数の原稿画像を表示する場合、例えば、２つの画像を表示することが可能な場合、複数の原稿画像それぞれを第１の期間表示するようにしてもよい。具体的には、第１ページの原稿画像を表示部１６１に表示し、第１ページの原稿画像を表示してから第１の期間の１／２が経過した時点で、第２ページの原稿画像を表示部１６１に表示する。この段階で、第１ページの原稿画像と第２ページの原稿画像とが表示部１６１に表示される。その後、第１ページの原稿画像を表示してから第１の期間が経過した時点で、第１ページの原稿画像の表示を終了し、第３ページの原稿画像を表示する。このように、第ｎページの原稿画像を表示してから第１の期間の１／２が経過した時点で、第（ｎ＋１）ページの原稿画像を表示し、第ｎページの原稿画像を表示してから第１の期間が経過した時点で、第ｎページの原稿画像の表示を終了し、第（ｎ＋２）ページの原稿画像を表示する。この場合に、第ｎページの原稿画像がユーザーにより指示されると、指示された文字領域に含まれる文字列を翻訳した翻訳文字列を、第ｎページの原稿画像に関連付けて表示する。また、第ｎページの原稿画像を、第１の期間より長い期間、表示するようにしてもよい。
【０１１１】
以上説明したように、第１の実施の形態におけるＭＦＰ１００は、原稿読取装置として機能し、複数ページの原稿を連続して読み取って得られる複数ページの画像データそれぞれの原稿画像を第１の期間ずつ表示し、複数ページのいずれかの画像データが表示されている間に、表示しているページの画像データ中でユーザーにより指示された位置が検出されることに応じて、画像データ中で検出された位置を含む文字領域の部分を文字認識し、文字認識された文字列を所定の言語に翻訳し、翻訳された翻訳文字列を、原稿画像と関連付けて表示する。このため、表示されている原稿画像中でユーザーにより指示された位置を含む文字領域の画像を文字認識し、翻訳するので、文字認識および翻訳の処理量を少なくすることができ、処理時間を短くすることができる。したがって、複数枚の原稿の画像を順に表示しつつ、原稿の一部を翻訳して表示することができる。
【０１１２】
また、ＭＦＰ１００は、翻訳文字列の画像を、原稿画像に対して所定の相対位置に、表示された画像のサイズに対して相対的に定まるサイズで表示する。例えば、並列表示モードの場合には、翻訳文字列の画像を、原稿画像以外の余白領域以下のサイズで、余白領域内に翻訳文字列が対応する文字領域に最も近い位置に配置する。また、重畳表示モードの場合には、翻訳文字列の画像のサイズを翻訳文字列が対応する文字領域のサイズと同じにし、翻訳文字列の画像を文字列領域に重畳して表示する。このため、翻訳された文字列が画像中で対応する部分をユーザーに通知することができる。
【０１１３】
また、ＭＦＰ１００は、複数ページの原稿を連続して読み取って出力される複数ページの画像データを、それらが出力される順に、それぞれを第１の期間ずつ原稿画像として表示する場合に、原稿画像が表示されている間に、その原稿画像中の一部を翻訳した文字列を表示することができる。
【０１１４】
また、ＭＦＰ１００は、翻訳文字列の画像が表示されてから第２の期間が経過する前に、原稿画像が表示されてから第１の期間が経過する場合、第２の期間が経過するまで原稿画像を表示するので、翻訳文字列の画像を少なくとも第２の期間表示することができる。
【０１１５】
＜第２の実施の形態＞
第２の実施の形態におけるＭＦＰ１００の外観およびハードウェア構成は、図１または図２にそれぞれ示した第１の実施の形態におけるＭＦＰ１００の外観およびハードウェア構成と同じである。したがって、ここでは説明を繰り返さない。
【０１１６】
図１３は、第２の実施の形態におけるＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。図１３に示す機能が、図４に示した機能と異なる点は、文字領域決定部１５、文字認識部１７、翻訳部２３および関連表示制御部２７が、文字領域決定部１５Ａ、文字認識部１７Ａ、翻訳部２３Ａおよび関連表示制御部２７Ａにそれぞれ変更された点、特徴領域決定部１９、対象文字列決定部２１、および計時部２９が追加された点である。その他の機能は、図４に示した機能と同じなので、ここでは説明を繰り返さない。
【０１１７】
文字領域決定部１５Ａは、原稿読取制御部１１から画像データが入力され、画像データ中で文字が表された文字領域を決定する。文字領域決定部１５Ａは、画像データの文字領域の部分と、位置情報とを文字認識部１７Ａおよび特徴領域決定部１９に出力する。位置情報は、文字領域が、原稿読取制御部１１から入力される画像データ中で占める位置を示す。画像データ中の文字領域を決定する処理は周知なので、ここでは説明を繰り返さない。文字領域決定部１５は、１ページの画像データから複数の文字領域を決定する場合、１ページごとに文字領域の部分と位置情報との組を文字領域の数だけ文字認識部１７Ａおよび特徴領域決定部１９に出力する。
【０１１８】
文字認識部１７Ａは、文字領域決定部１５Ａから入力される画像データ中の文字領域の部分を文字認識し、文字認識して得られる文字列と、文字領域と組になる位置情報との組を翻訳部２３Ａおよび対象文字列決定部２１に出力する。画像中に存在する文字を認識する技術は周知なので、ここでは説明を繰り返さない。文字認識部１７Ａは、文字領域決定部１５Ａから画像データ中の文字領域の部分と位置情報との組が複数入力される場合、複数の組ごとに、画像データ中の文字領域の部分を文字認識し、文字認識して得られる文字列と、文字領域と組になる位置情報との組を翻訳部２３Ａおよび対象文字列決定部２１に出力する。文字認識部１７Ａは、文字領域決定部１５Ａから画像データ中の文字領域の部分と位置情報との組が複数入力される場合、文字列と位置情報との組を文字領域決定部１５Ａから入力される組の数だけ翻訳部２３Ａおよび対象文字列決定部２１に出力する。
【０１１９】
特徴領域決定部１９は、文字領域決定部１５から画像データ中の文字領域の部分と位置情報との組が入力される。特徴領域決定部１９は、文字領域決定部１５から入力される画像データ中の文字領域の部分に基づいて特徴領域を決定する。特徴領域は、画像データ中の文字領域の部分に含まれる文字または、文字以外の部分である背景が、他の文字または背景と異なる文字または背景の領域である。特徴領域決定部１９は、特徴領域を決定する場合、決定された特徴領域を特定する特徴領域情報と位置情報との組を対象文字列決定部２１および関連表示制御部２７Ａに出力する。特徴領域決定部１９は、特徴領域を決定しない場合、特徴領域を決定しなかったことを示す情報と位置情報との組を対象文字列決定部２１および関連表示制御部２７Ａに出力する。特徴領域情報は、画像データ中の文字領域の部分に含まれる文字列中で、特徴領域に含まれる文字の位置を示す。特徴領域決定部１９は、文字領域ごとに特徴領域を決定し、決定した特徴領域を特定する特徴領域情報と位置情報との組を、対象文字列決定部２１および関連表示制御部２７に出力する。特徴領域決定部１９は、１つの文字領域の画像から複数の特徴領域を決定する場合、複数の特徴領域それぞれの特徴領域情報と位置情報との組を対象文字列決定部２１および関連表示制御部２７に出力する。
【０１２０】
特徴領域決定部１９は、文字基準決定部３１と、背景基準決定部３３と、を含む。文字基準決定部３１は、画像データ中の文字領域の部分で他の文字とフォント、色、サイズおよび線の太さの少なくとも１つが異なる文字を含む領域を特徴領域に決定する。具体的には、文字基準決定部３１は、画像データ中の文字領域の部分に含まれる複数の文字を抽出する。さらに、文字基準決定部３１は、抽出された複数の文字それぞれのフォントを決定する。文字基準決定部３１は、複数の文字それぞれに対して決定されたフォントを用いて、フォントが同じ文字の数が最小の文字を、他の文字とフォントが異なる文字に決定し、文字領域中で他の文字とフォントが異なる文字を含む部分を特徴領域に決定する。なお、文字認識部１７Ａにおいてフォントが決定される場合には、文字認識部１７Ａにおいて決定されたフォントを用いるようにしてもよい。
【０１２１】
また、文字基準決定部３１は、抽出された複数の文字それぞれの色を決定する。文字基準決定部３１は、複数の文字それぞれに対して決定された色が所定の色と異なる色の文字を、他の文字と色が異なる文字に決定し、文字領域中で他の文字と色が異なる文字を含む部分を特徴領域に決定する。所定の色は、予め定められた色であり、例えば黒色である。また、文字基準決定部３１は、複数の文字それぞれに対して決定された色を用いて、色が同じ文字の数が最小の文字を、他の文字と色が異なる文字に決定するようにしてもよい。
【０１２２】
また、文字基準決定部３１は、抽出された複数の文字それぞれのサイズを決定する。文字基準決定部３１は、複数の文字それぞれに対して決定されたサイズを用いて、他の文字よりもサイズの大きな文字を決定し、文字領域中で他の文字よりも大きなサイズに決定された文字を含む部分を特徴領域に決定する。
【０１２３】
また、文字基準決定部３１は、抽出された複数の文字それぞれの線の太さを決定する。文字基準決定部３１は、複数の文字それぞれに対して決定された線の太さを用いて、他の文字よりも線の太い文字を決定し、文字領域中で他の文字よりも線の太い文字を含む部分を特徴領域に決定する。
【０１２４】
背景基準決定部３３は、画像データ中の文字領域の部分のうち背景が他の文字と異なる文字を含む部分を特徴部分に決定する。背景基準決定部３３は、文字の背景に予め定められた形状の画像を含む文字の部分を特徴部分に決定する。予め定められた形状は、例えば下線、矩形の線である。具体的には、背景基準決定部３３は、文字領域の画像中に含まれる複数の文字を抽出する。背景基準決定部３３は、抽出された複数の文字のうち背景部分に線を含む文字を決定し、文字領域中で背景部分に線が付された文字を含む部分を特徴領域に決定する。
【０１２５】
また、背景基準決定部３３は、文字の背景の色が他の文字の背景の色と異なる文字の部分を特徴部分に決定する。背景基準決定部３３は、抽出された複数の文字それぞれの背景部分の色を決定し、複数の文字それぞれの背景の色が所定の色と異なる色の文字を、他の文字と背景の色が異なる文字に決定し、文字領域中で他の文字と背景の色が異なる文字を含む部分を特徴領域に決定する。所定の色は、予め定められ他色であり、例えば、白色である。また、文字基準決定部３１は、複数の文字それぞれに対して決定された背景の色を用いて、背景の色が同じ文字の数が最小の文字を、他の文字と背景の色が異なる文字に決定するようにしてもよい。
【０１２６】
対象文字列決定部２１は、文字認識部１７Ａから文字列と位置情報との組が入力され、特徴領域決定部１９から特徴領域情報と位置情報との組、または特徴領域を決定しなかったことを示す情報と位置情報との組が入力される。位置情報は、文字領域の位置を示し、原稿読取制御部１１が原稿読取部１３０に原稿を読み取らせて得られる画像データ中で文字領域が占める領域を示す。対象文字列決定部２１は、文字認識部１７から入力される文字列と組になる位置情報と同じ位置情報と組になる特徴領域情報を特定し、文字認識部１７から入力される文字列のうち特徴領域情報で特定される文字列を対象文字列に決定する。対象文字列決定部２１は、対象文字列と位置情報との組を翻訳部２３Ａに出力する。対象文字列決定部２１は、文字認識部１７から入力される文字列と組になる位置情報と同じ位置情報と特徴領域を決定しなかったことを示す情報とが組になる場合、その位置情報に対して対象文字列を決定しない。対象文字列決定部２１は、対象文字列を決定しない場合は、対象文字列を決定しなかったことを示す情報と位置情報との組を翻訳部２３Ａに出力する。
【０１２７】
対象文字列決定部２１は、既定文字列除外部４１と、同一文字列除外部４３と、を含む。既定文字列除外部４１は、文字認識部１７から入力される文字列のうち特徴領域情報で特定される文字列が予め定められた文字列の場合は、その文字列を対象文字列に決定しない。対象文字列に決定しないように予め定められた文字列は、例えば、文章の見出しの順番を示すために使用される文字であり、見出しの順番を示す数字と組み合わせて用いられる文字列である。具体的には、「項目」の文字列、「章」の文字である。対象文字列に決定しないように予め定められた文字列は、ユーザーにより予め設定されていてもよい。既定文字列除外部４１は、文字認識部１７から入力される文字列のうち特徴領域情報で特定される文字列が予め定められた文字列の場合には、その文字列を翻訳部２３Ａに出力しない。
【０１２８】
同一文字列除外部４３は、原稿読取制御部１１が出力する複数ページの画像のうち、処理済のページの画像データに基づいて対象文字列に決定された文字列と同一の文字列を、対象文字列に決定しない。同一文字列除外部４３は、対象文字列に決定された文字列の履歴を記憶しておき、文字認識部１７から入力される文字列のうち特徴領域に含まれる文字列を、履歴に含まれる対象文字列と比較し、履歴に含まれる対象文字列と同一の場合には、その文字列を翻訳部２３Ａに出力しない。
【０１２９】
翻訳部２３Ａは、文字認識部１７Ａから文字列と位置情報との組が入力され、対象文字列決定部２１から対象文字列と位置情報との組または、対象文字列を決定しなかったことを示す情報と位置情報との組が入力される。文字認識部１７Ａから入力される文字列は、位置情報で特定される文字領域に含まれる文字列である。翻訳部２３Ａは、対象文字列決定部２１から対象文字列と位置情報との組が入力される場合、対象文字列を、予め定められた言語に翻訳する。翻訳前の言語と翻訳後の言語とを予め定めておき、文字認識部１７Ａから入力される文字列が、翻訳前の言語として予め定められている場合に、その文字列を、翻訳後の言語として予め定められた言語に翻訳する。
【０１３０】
翻訳部２３Ａは、前後参照部４７を含む。前後参照部４７は、対象文字列決定部２１から対象文字列と位置情報との組が入力される場合、その位置情報で特定される文字領域に含まれる文字列を翻訳し、翻訳後の文字列のうちから、同じ位置情報と組になる対象文字列に対応する部分を翻訳文字列に決定する。対象文字列は、文字認識部１７から入力される文字列、換言すれば、位置情報で特定される文字領域に含まれる文字列の一部である。このため、翻訳部２３は、対象文字列の前後の文字列を用いて翻訳するので、対象文字列を翻訳した後の候補が複数ある場合でも正確に翻訳することができる。翻訳部２３Ａは、文字領域に含まれる文字列を翻訳した文字列と、翻訳文字列と、位置情報との組をチェック部２５Ａに出力する。前後参照部４７は、対象文字列決定部２１から対象文字列を決定しなかったことを示す情報と位置情報との組が入力される場合、その位置情報で特定される文字領域に含まれる文字列を翻訳しない。この場合、前後参照部４７は、対象文字列決定部２１から対象文字列を決定しなかったことを示す情報と位置情報との組が入力される場合、チェック部２５Ａに何も出力しない。
【０１３１】
チェック部２５Ａは、翻訳部２３Ａから文字領域に含まれる文字列を翻訳した文字列と、翻訳文字列と、位置情報との組が入力され、翻訳文字列が正しく翻訳されているか否かを判断する。翻訳が正しいか否かを判断する技術は周知なのでここでは説明を繰り返さないが、例えば、翻訳語の文字列の文法をチェックする。チェック部２５Ａは、文字領域に含まれる文字列を翻訳した文字列の文法をチェックすることにより、翻訳文字列が正しく翻訳されているか否かを判断する。チェック部２５Ａは、翻訳文字列と、位置情報と、チェック結果との組を、関連表示制御部２７Ａに出力する。
【０１３２】
関連表示制御部２７Ａは、画像表示制御部１３から原稿画像の表示部１６１の表示面中の位置が入力され、チェック部２５Ａから翻訳文字列と位置情報とチェック結果との組が入力され、特徴領域決定部１９から特徴領域情報と位置情報との組が入力される。関連表示制御部２７Ａは、原稿画像に関連付けて翻訳文字列の画像を文字列画像として表示部１６１に第２の時間表示する。第２の期間は、原稿画像が表示される第１の期間より短くするのが好ましい。文字列画像は、原稿画像が表示されるよりも後に生成されるからである。関連表示制御部２７は、文字列画像を表示してからの経過時間を画像表示制御部１３に出力する。関連表示制御部２７は、複数の文字列画像を表示する場合、複数の文字列画像のうち最後に定義された文字列画像が表示されてからの経過時間を画像表示制御部１３に出力する。
【０１３３】
関連表示制御部２７Ａは、誤訳時非表示部５１と、並列表示部５３と、重畳表示部５５と、を含む。関連表示制御部２７は、並列表示部５３と、重畳表示部５５とのいずれか一方を有効に機能させる。並列表示部５３と、重畳表示部５５とのいずれを機能させるかは、ユーザーにより予め定められた設定に従うようにすればよい。ここでは、関連表示モードを、並列表示モードと重畳表示モードとのいずれかに設定するようにしており、関連表示制御部２７Ａは、関連表示モードが並列表示モードに設定されている場合に並列表示部５３を機能させて重畳表示部５５を機能させず、関連表示モードが重畳表示モードに設定されている場合に重畳表示部５５を機能させ、並列表示部５３を機能させない。
【０１３４】
誤訳時非表示部５１Ａは、チェック部２５から入力されるチェック結果が、翻訳が正しくないことを示す場合、文字列画像を表示しない。具体的には、誤訳時非表示部５１は、チェック部２５から入力されるチェック結果が、翻訳が正しいことを示す場合のみ、並列表示部５３および重畳表示部５５に表示指示を出力し、チェック部２５から入力されるチェック結果が、翻訳が正しくないことを示す場合は、並列表示部５３および重畳表示部５５に表示指示を出力しない。表示指示は、チェック結果と組になる位置情報を含む。
【０１３５】
並列表示部５３Ａは、第１文字列画像生成部６１Ａと、第１サイズ決定部６３Ａと、対応部分指示部６５Ａと、を含む。第１サイズ決定部６３Ａは、文字列画像のサイズを、原稿画像のサイズを基準にして決定する。例えば、表示部１６１に１つの原稿画像を表示する場合、表示部１６１の表示面中で原稿画像以外の余白領域を決定し、文字列画像のサイズを、余白領域以下のサイズに決定する。１ページの画像に対して複数の対象文字列が決定される場合があり、この場合には１つの原稿画像に対して、文字画像を複数配置するので、対象文字列の数に基づいて文字列画像のサイズを決定する。
【０１３６】
第１文字列画像生成部６１Ａは、サイズ決定部６３Ａによって決定されたサイズで、チェック部２５から入力される翻訳文字列から文字列画像を生成する。第１文字列画像生成部６１Ａは、文字列画像と原稿画像とを、同時に表示する。第１文字列画像生成部６１Ａは、文字列画像と原稿画像とを、それらが重ならないように並べて表示する。文字列画像を、原稿画像に並べる方向は、原稿画像の上下左右のいずれの方向であってもよい。また、第１文字列画像生成部６１Ａは、文字列画像が、原稿画像中の位置情報で特定される位置に対応することを示すために、余白領域中で原稿画像中の位置情報で特定される位置から最も近い位置に文字列画像を配置する。
【０１３７】
対応部分指示部６５Ａは、原稿画像中の特徴領域に対応する領域に識別画像を合成する。識別画像は、特徴領域に対応する領域を囲む線である。また、識別画像は、特徴領域に対応する領域内を単色で表した画像であってもよい。これにより、特徴領域に対応する領域に識別画像が合成されるので、原稿画像中で文字列画像に対応する領域をユーザーに通知することができる。また、文字列画像が複数の場合であっても、複数の文字列画像それぞれに対応する領域に識別画像が合成されるので、複数の文字列画像それぞれに対して原稿画像中で対応する領域をユーザーに通知することができる。
【０１３８】
重畳表示部５５Ａは、第２文字列画像生成部６７Ａと、第２サイズ決定部６８Ａと、を含む。第２サイズ決定部６８Ａは、文字列画像のサイズを、原稿画像中の特定領域に対応する領域のサイズに決定する。
【０１３９】
第２文字列画像生成部６７Ａは、第２サイズ決定部６８Ａによって決定されたサイズで、チェック部２５Ａから入力される翻訳文字列から文字列画像を生成する。第２文字列画像生成部６７Ａは、文字列画像を原稿画像の特徴領域に対応する領域に重畳して表示する。このため、原稿画像の特徴領域に対応する領域が文字列画像によって置き換えられる。
【０１４０】
計時部２９は、翻訳部２３Ａが文字認識部１７Ａから入力される文字列を翻訳する時間を１ページの画像データごとに計時する。文字領域決定部１５Ａによって１つの画像データから１以上の文字領域が決定される場合、特徴領域決定部１９によって１以上の特徴領域が決定される。翻訳部２３Ａは、特徴領域決定部１９によって決定された１以上の特徴領域にそれぞれ対応する１以上の対象文字列を翻訳する。この場合、計時部２９は、翻訳部２３が、１ページの画像データにおいて、１以上の文字列を翻訳する時間を計時する。計時部２９は、翻訳部２３Ａが１ページの画像データに対応する１以上の文字列のすべてを翻訳するごとに、計時した翻訳時間を対象文字列決定部２１および特徴領域決定部１９に出力する。
【０１４１】
対象文字列決定部２１は、文字列数制限部４５をさらに含む。文字列数制限部４５は、計時部２９から入力される翻訳時間に応じて、対象文字列の数を制限する。文字列数制限部４５は、計時部２９から入力される翻訳時間が所定の値以上になると、文字認識部１７Ａから入力される複数の文字列の文字数の合計が所定の値を超えるまで、複数の文字列のうちから処理対象となる１以上の文字列を決定する。翻訳時間に対するしきい値を複数設けるようにしてもよい。この場合には、複数のしきい値それぞれに対して文字数のしきい値を予め定めておけばよい。文字列数制限部４５は、文字認識部１７Ａから入力される複数の文字列を、文字認識部１７Ａから入力される順に、文字数の合計が所定の値になるまで処理対象に決定し、文字数の合計が所定以上になると、それ以降に文字認識部１７Ａから入力される文字列を廃棄する。また、文字認識部１７Ａから文字列とともに入力される位置情報に基づき、処理対象となる１以上の文字列を決定するようにしてもよい。文字認識部１７Ａから入力される複数の文字列を、位置情報が原稿の画像の上側のものから順に、文字数の合計が所定の値になるまで処理対象に決定し、文字数の合計が所定以上になると、それより下方の位置情報と組になる文字列を廃棄する。翻訳部２３Ａによって翻訳する文字列を少なくするので、翻訳時間が長くなった後には、翻訳時間を所定の時間以内にすることができる。このため、原稿画像が表示されてから文字列画像が表示されるまでの時間の変動を少なくすることができる。
【０１４２】
特徴領域決定部１９は、検出精度変更部３５を含む。検出精度変更部３５は、計時部２９から入力される翻訳時間に応じて、特徴領域を決定する精度を変更する。検出精度変更部３５は、翻訳時間が長くなると特徴領域を決定する精度を低くし、翻訳時間が短くなると特徴領域を決定する精度を高くする。特徴領域を決定する精度が高い場合は、精度が低い場合に比較して、特徴領域を決定するまでの時間が長い。このため、翻訳時間が長い場合には、特徴領域を決定する時間が短くなり、翻訳時間が短い場合には特徴領域を決定する時間が長くなるので、原稿画像が表示されてから文字列画像が表示されるまでの時間の変動を少なくすることができる。検出精度を変更する方法は限定するものではないが、例えば、文字基準決定部３１および背景基準決定部３３が処理対象とする画像データの文字領域の部分の解像度を変更する。検出精度変更部３５は、翻訳時間が長くなると文字領域の画像の解像度を小さくし、翻訳時間が短くなると文字領域の画像の解像度を高くする。
【０１４３】
第２の実施の形態におけるＭＦＰ１００が備えるＣＰＵ１１１は、図５に示した表示制御処理を実行する。
【０１４４】
図１４は、第２の実施の形態におけるプレビュー表示制御処理の流れの一例を示すフローチャートである。図１４を参照して、図６に示した第２の実施の形態におけるプレビュー表示制御処理と異なる点は、ステップＳ１８の後に、ステップＳ１９〜ステップＳ２１が追加された点である。その他の処理は、図６に示した処理と同じなので、ここでは説明を繰り返さない。
【０１４５】
第２の実施の形態におけるＭＦＰ１００が備えるＣＰＵ１１１は、ステップＳ１８において、タイマーＥＴ２の値がしきい値ＥＴＨ２以上になると判断する場合、処理をステップＳ１９に進める。ステップＳ１９においては、翻訳時間がしきい値ＴＴＴＨ以上か否かを判断する。翻訳時間は、後述する関連情報表示処理において計時される時間であり、１ページの画像に対して対象文字列を翻訳するために要した時間である。翻訳時間がしきい値ＴＴＴＨ以上ならば処理をステップＳ２０に進めるが、そうでなければ処理をステップＳ１１に戻す。ステップＳ２０においては、文字数削減フラグをＯＮに設定し処理をステップＳ２１に進める。ステップＳ２１においては、精度低減フラグをＯＮに設定し、処理をステップＳ１１に戻す。
【０１４６】
図１５および図１６は、第２の実施の形態における関連情報表示処理の流れの一例を示すフローチャートである。第２の実施の形態における関連情報表示処理は、図１４に示した第２の実施の形態におけるプレビュー表示制御処理のステップＳ１５に置いて実行される処理である。プレビュー表示制御処理が実行される前の段階で、原稿読取部１３０が原稿を読み取って出力する画像が取得されている。
【０１４７】
図１５および図１６を参照して、ＣＰＵ１１１は、原稿読取部１３０が出力する画像中の文字領域を決定する（ステップＳ４１）。原稿読取部１３０が原稿を読み取って出力する画像を、処理対象に設定し、処理対象に設定された画像中で文字が表された１以上の文字領域を決定する。次のステップＳ４２においては、１以上の文字領域のうちから１つを処理対象に選択する。そして、画像データ中の処理対象に選択された文字領域の部分を文字認識する（ステップＳ４３）。文字認識して得られる文字列を、処理対象に選択された文字領域の文字列に決定する（ステップＳ４４）。ステップＳ４５においては、精度低減フラグがＯＮに設定されているか否かを判断する。精度低減フラグがＯＮに設定されているならば処理をステップＳ４６に進めるが、そうでなければステップＳ４６をスキップして処理をステップＳ４７に進める。ステップＳ４６においては、画像データ中の文字領域の部分の解像度を低下する。これにより、画像データ中の文字領域の部分の画像が縮小され、画素数が少なくなるので、次のステップＳ４７において実行される特徴領域を決定する処理の検出精度が低下し、特徴領域を決定する処理する速度が速くなる。
【０１４８】
精度低減フラグがＯＮに設定されているのは、１つ前のページを翻訳した時間がしきい値ＴＴＴＨ以上となる場合である。このため、翻訳時間がしきい値ＴＴＴＨを超えたページの次のページで特徴領域を検出する精度を低下させることにより、特徴領域を決定する処理の時間が短くなる。これにより、複数の原稿を読み取って表示するトータルの期間ができるだけ長くならないようにすることができる。
【０１４９】
次のステップＳ４７においては、画像データ中でステップＳ４２において選択された文字領域の部分、ステップＳ４６が実行される場合には解像度を低下した後の文字領域の部分を処理して特徴領域を決定する。画像データ中の文字領域の部分から特徴領域が決定される場合と、決定されない場合とがある。次のステップＳ４８においては、特徴領域が決定されたか否かを判断する。ステップＳ４７において特徴領域が決定されたならば処理をステップＳ４９に進めるが、そうでなければ処理をステップＳ５２に進める。
【０１５０】
ステップＳ４９においては、文字数Ｎをカウントする。文字数Ｎに、ステップＳ４２において選択された文字領域に含まれる文字数を加算する。文字数Ｎは、原稿読取部１３０が出力する画像データ中で、翻訳の対象となる文字数の合計を示す変数である。次のステップＳ５０においては、文字数削減フラグがＯＮに設定されているか否かを判断する。文字数削減フラグがＯＮに設定されているならば処理をステップＳ５１に進めるが、そうでなければ処理をステップＳ５２に進める。ステップＳ５１においては、文字数Ｎがしきい値ＮＴＨ以下か否かを判断する。文字数Ｎがしきい値ＮＴＨ以下ならば処理をステップＳ５２に進めるが、そうでなければ処理をステップＳ５３に進める。
【０１５１】
ステップＳ５２においては、ステップＳ４１において決定された１以上の文字領域のうちにステップＳ４２において処理対象に選択されていない文字領域が存在するか否かを判断する。未処理の文字領域が存在するならば処理をステップＳ４２に戻すが、そうでなければ処理をステップＳ５３に進める。
【０１５２】
文字数削減フラグがＯＮに設定されている場合には、文字数Ｎがしきい値ＮＴＨを超えると、未処理の文字領域を処理対象に選択しない。文字数削減フラグがＯＮに設定されるのは、１つ前のページを翻訳した時間がしきい値ＴＴＴＨ以上となる場合である。文字数Ｎは、１ページ当たりで翻訳対象となる文字数を示す。このため、翻訳時間がしきい値ＴＴＴＨを超えたページの次のページで翻訳する文字数をしきい値ＮＴＨに制限して、翻訳処理の時間が長くならないようする。これにより、複数の原稿を読み取って表示するトータルの期間ができるだけ長くならないようにすることができる。
【０１５３】
ステップＳ５３においては、タイマーＴＴをリセットする。タイマーＴＴは、１ページの画像に対して文字列を翻訳するために要する翻訳時間を計時する。次のステップＳ５４においては、ステップＳ４４において文字領域に対して決定された文字列のうちから１つを処理対象に選択する。次のステップＳ５５においては、選択された文字列に対応する文字領域からステップＳ４７において特徴領域が決定されているか否かを判断する。特徴領域が決定されているならば処理をステップＳ５６に進めるが、そうでなければ処理をステップＳ５４に戻す。
【０１５４】
ステップＳ５６においては、対象文字列を決定する。ステップＳ５３において選択された文字列のうち、その文字列に対応する文字領域からステップＳ４７において決定された特徴領域に含まれる文字列を対象文字列に決定する。そして、対象文字列が翻訳済か否かを判断する（ステップＳ５７）。図５に示した表示制御処理において、ステップＳ０１において複数枚の原稿の読取が開始されてから翻訳の対象となった対象文字列を翻訳済の文字列として記憶しておき、ステップＳ５６において決定された対象文字列と同じ翻訳済の文字列が記憶されていれば、翻訳済と判断する。翻訳済ならば処理をステップＳ５４に戻すが、そうでなければ処理をステップＳ５８に進める。
【０１５５】
ステップＳ５８においては、対象文字列が既定文字か否かを判断する。既定文字列は、予め定められた文字列であり、例えば項目を示す文字である。対象文字列が既定文字ならば、処理をステップＳ５４に戻すが、そうでなければ処理をステップＳ５９に進める。ステップＳ５９においては、ステップＳ５４において処理対象に選択されている文字列を翻訳する。次のステップＳ６０においては、翻訳文字列を決定する。ステップＳ５９において翻訳された翻訳後の文字列のうち、対象文字列に対応する文字列を翻訳文字列に決定する。次のステップＳ６１においては、翻訳が正しいか否かをチェックし、処理をステップＳ６２に進める。ステップＳ５９において翻訳された翻訳後の文字列の文法をチェックすることにより、翻訳が正しいか否かを判断する。
【０１５６】
ステップＳ６２においては、ステップＳ４１において決定された文字領域のうち、ステップＳ５４において処理対象に選択されていない文字領域が存在するか否かを判断する。処理対象に選択されていない文字領域が存在するならば処理をステップＳ５４に戻すが、そうでなければ処理をステップＳ６３に進める。
【０１５７】
ステップＳ６３においては、翻訳時間にタイマーＴＴの値を設定する。翻訳時間は、図１４に示したプレビュー表示制御処理のステップＳ１９において使用される。次のステップＳ６４においては、ステップＳ６０において決定された翻訳文字列のうちから処理対象となる翻訳文字列を選択する。そして、選択された翻訳文字列に対してステップＳ６１においてチェックされた翻訳結果によって処理を分岐させる。翻訳結果が正しいことを示すならば処理をステップＳ６６に進めるが、そうでなければ処理をステップＳ６４に戻す。
【０１５８】
ステップＳ６６においては、関連表示モードによって処理を分岐させる。関連表示モードが並列表示モードに設定されていれば処理をステップＳ６７に進め、関連表示モードが重畳表示モードに設定されていれば処理をステップＳ６８に進める。ステップＳ６７においては、第２の実施の形態における並列表示処理を実行し、処理をステップＳ６９に進める。ステップＳ６８においては、第２の実施の形態における重畳表示処理を実行し、処理をステップＳ６９に進める。ステップＳ６９においては、処理対象に選択されていない翻訳文字列が存在するか否かを判断する。ステップＳ６０において決定された翻訳文字列のうち、ステップＳ６４において処理対象に選択されていない翻訳文字列が存在すれば、処理をステップＳ６４に戻すが、そうでなければ処理をプレビュー画像表示処理に戻す。
【０１５９】
図１７は、第２の実施の形態における並列表示処理の流れの一部を示すフローチャートである。第２の実施の形態における並列表示処理は、図１５および図１６に示した関連情報表示処理のステップＳ６８において実行される処理である。図１７を参照して、ＣＰＵ１１１は、ステップＳ８１において、文字列画像のサイズを決定する。文字列画像は、次のステップＳ８２において生成される画像である。図１４に示した第２の実施の形態におけるプレビュー表示制御処理のステップＳ１２において原稿画像が表示部１６１に表示されており、文字列画像のサイズを、原稿画像のサイズを基準にして決定する。例えば、表示部１６１に１つの原稿画像を表示する場合、表示部１６１の表示面中で原稿画像以外の余白領域を決定し、翻訳文字列の画像のサイズを、余白領域以下のサイズに決定する。
【０１６０】
次のステップＳ８２においては、文字列画像を生成する。ステップＳ８１において決定されたサイズで、図１５および図１６に示した関連情報表示処理のステップＳ５８において決定された翻訳文字列の画像を文字列画像として生成する。次のステップＳ８３においては、生成された文字列画像を、原稿画像と重ならない位置に並べて表示する。文字列画像が、原稿画像中でユーザーにより指示された指示位置で特定される位置に対応することを示すために、原稿画像中の指示位置で特定される位置から最も近い位置に文字列画像を配置するのが好ましい。
【０１６１】
次のステップＳ８４においては、識別画像を原稿画像に合成し、処理を関連情報表示処理に戻す。図１５および図１６に示した関連情報表示処理のステップＳ４７において決定された特徴領域であって、翻訳文字列に対応する特徴領域を特定する。そして、原稿画像中の領域であって、特定された特徴領域に対応する領域に識別画像を合成する。識別画像は、特徴領域に対応する領域を囲む線である。また、識別画像は、特徴領域に対応する領域内を単色で表した画像であってもよい。これにより、原稿画像中で翻訳文字列に対応する領域に識別画像が合成されるので、原稿画像中で文字列画像に対応する領域をユーザーに通知することができる。
【０１６２】
図１８は、第２の実施の形態における重畳表示処理の流れの一部を示すフローチャートである。第２の実施の形態における重畳表示処理は、図１５および図１６に示した関連情報表示処理のステップＳ６９において実行される処理である。図１８を参照して、ＣＰＵ１１１は、文字列画像のサイズを決定する（ステップＳ８１Ａ）。文字列画像は、次のステップＳ８２Ａにおいて決定される処理である。図１５および図１６に示した関連情報表示処理のステップＳ４７において決定された特徴領域であって、翻訳文字列に対応する特徴領域を特定する。文字列画像のサイズを、表示部１６１に表示されている原稿画像中で、特定された特徴領域に対応する領域と同じサイズに決定する。
【０１６３】
次のステップＳ８２Ａにおいては、文字列画像を生成する。ステップＳ８１Ａにおいて決定されたサイズで、図１５および図１６に示した関連情報表示処理のステップＳ６０において決定された翻訳文字列の画像を文字列画像として生成する。次のステップＳ８３Ａにおいては、原稿画像に文字列画像を合成し、処理を関連情報表示処理に戻す。ステップＳ８２Ａにおいて生成された文字列画像で、表示部１６１に表示されている原稿画像中で特徴領域に対応する領域の画像を置き換える。これにより、表示部１６１に表示されている原稿画像の特徴領域に対応する領域に文字列画像が合成されるので、原稿画像中で文字列画像に対応する領域をユーザーに通知することができる。
【０１６４】
図１９は、原稿画像を含むプレビュー画面の一例を示す第２の図である。図１９を参照して、プレビュー画面３３０は、原稿画像３３１を含む。原稿画像３３１は、日本語の文字が表された画像であり、４つの文字列領域３３３，３３５，３３７，３３９を含む。なお、図中の点線は、文字列領域３３３，３３５，３３７，３３９を示すために付したもので、実際には存在しない。プレビュー画面３３０は、原稿画像３３１が表示されてから第１の期間の間表示される。
【０１６５】
図２０は、並列表示モードにおいて原稿画像に文字列画像を追加したプレビュー画面の一例を示す第２の図である。図２０に示すプレビュー画面３４０は、図１９に示したプレビュー画面３３０の原稿画像３３１が表示された後に、表示部１６１に表示される。図２０を参照して、プレビュー画面３４０は、原稿画像３３１と、４つの文字列画像３４３，３４５，３４７，３４９と、を含む。文字列画像３４３は、原稿画像３３１の文字領域３３３に含まれる文字列のうち太文字の文字列を翻訳した翻訳文字列から生成した画像である。文字列画像３４５は、原稿画像３３１の文字領域３３５に含まれる文字列のうち太文字の文字列を翻訳した翻訳文字列から生成した画像である。文字列画像３４７は、原稿画像３３１の文字領域３３７に含まれる文字列のうち太文字の文字列を翻訳した翻訳文字列から生成した画像である。文字列画像３４９は、原稿画像３３１の文字領域３３９に含まれる文字列のうち太文字の文字列を翻訳した翻訳文字列から生成した画像である。
【０１６６】
また、原稿画像３３１は、４つの識別画像３３３Ａ、３３５Ａ，３３７Ａ，３３９Ａを含む。識別画像３３３Ａは、文字領域３３３に含まれる文字列のうち太文字の文字列を囲む矩形の画像である。プレビュー画面３１０を見るユーザーは、文字列画像３４３から翻訳文字列を視認することができる。また、識別画像３３３Ａから、文字列画像３４３に含まれる翻訳文字列が、原稿画像３０１内の文字領域３３３に含まれる文字列のうち太文字の文字列を翻訳した文字列であることを認識することができる。
【０１６７】
同様に、識別画像３３５Ａ，３３７Ａ，３３９Ａは、文字領域３３５，３３７，３３９それぞれに含まれる文字列のうち太文字の文字列を囲む矩形の画像である。プレビュー画面３１０を見るユーザーは、文字列画像３４５，３４７，３４９から翻訳文字列を視認することができる。また、識別画像３３５Ａから、文字列画像３４５に含まれる翻訳文字列が、原稿画像３０１内の文字領域３３５に含まれる文字列のうち太文字の文字列を翻訳した文字列であること、識別画像３３７Ａから、文字列画像３４７に含まれる翻訳文字列が、原稿画像３０１内の文字領域３３７に含まれる文字列のうち太文字の文字列を翻訳した文字列であること、識別画像３３９Ａから、文字列画像３４９に含まれる翻訳文字列が、原稿画像３０１内の文字領域３３９に含まれる文字列のうち太文字の文字列を翻訳した文字列であること、を認識することができる。
【０１６８】
図２１は、重畳モードにおいて原稿画像に文字列画像を追加したプレビュー画面の一例を示す第２の図である。図２１に示すプレビュー画面３５０は、図１９に示したプレビュー画面３３０の原稿画像３３１が表示された後に、表示部１６１に表示される。図２１を参照して、プレビュー画面３５０は、図１９に示したプレビュー画面３３０の原稿画像３３１中の文字領域３３３，３３５，３３７，３３９の太文字に代えて、文字列画像３４３Ａ、３４５Ａ，３４７Ａ，３４９Ａをそれぞれ配置した原稿画像３３１Ａを含む。文字列画像３４３Ａは、原稿画像３３１中の文字領域３３３の太文字が表された領域と同じサイズであり、原稿画像３３１中の文字領域３３３の太文字の文字列を翻訳した翻訳文字列から生成した画像である。同様に、文字列画像３４５Ａは、原稿画像３３１中の文字領域３３５の太文字が表された領域と同じサイズであり、原稿画像３３１中の文字領域３３５の太文字の文字列を翻訳した翻訳文字列から生成した画像である。文字列画像３４７Ａは、原稿画像３３１中の文字領域３３７の太文字が表された領域と同じサイズであり、原稿画像３３１中の文字領域３３７の太文字の文字列を翻訳した翻訳文字列から生成した画像である。文字列画像３４９Ａは、原稿画像３３１中の文字領域３３９の太文字が表された領域と同じサイズであり、原稿画像３３１中の文字領域３３９の太線の文字列を翻訳した翻訳文字列から生成した画像である。
【０１６９】
プレビュー画面３２０を見るユーザーは、文字列画像３４３Ａから翻訳文字列を視認することができるとともに、文字列画像３４３Ａが原稿画像３３１Ａに配置される位置から文字列画像３４３Ａに含まれる翻訳文字列が、原稿画像３３１内の文字領域３３３内の太線の文字列を翻訳した文字列であることを認識することができる。同様に、文字列画像３４５Ａから翻訳文字列を視認することができるとともに、文字列画像３４５Ａが原稿画像３３１Ａに配置される位置から文字列画像３４５Ａに含まれる翻訳文字列が、原稿画像３３１内の文字領域３３５内の太線の文字列を翻訳した文字列であることを認識することができる。文字列画像３４７Ａから翻訳文字列を視認することができるとともに、文字列画像３４７Ａが原稿画像３３１Ａに配置される位置から文字列画像３４７Ａに含まれる翻訳文字列が、原稿画像３３１内の文字領域３３７内の太線の文字列を翻訳した文字列であることを認識することができる。文字列画像３４９Ａから翻訳文字列を視認することができるとともに、文字列画像３４９Ａが原稿画像３３１Ａに配置される位置から文字列画像３４９Ａに含まれる翻訳文字列が、原稿画像３３１内の文字領域３３９内の太線の文字列を翻訳した文字列であることを認識することができる。
【０１７０】
以上説明したように第２の実施の形態におけるＭＦＰ１００は、原稿を読み取って得られる画像データ中の文字領域を決定し、画像データ中の文字領域の部分を文字認識し、認識された文字列のうちで、画像データ中で対応する部分が所定の特徴を有する文字列部分を決定し、文字列部分の文字列を所定の言語に翻訳し、翻訳された言語の文字列を、画像データと関連付けて表示する。このため、原稿中の特徴的な部分を翻訳して表示するので、原稿中の文字列の全部を翻訳する場合に比較して翻訳対象となる文字数が少なくなるので、処理時間を短くすることができる。したがって、原稿中の文字列を効率的に翻訳することができる。
【０１７１】
また、ＭＦＰ１００は、文字領域の画像の特徴とは異なる特徴を有する特徴領域を決定する。例えば、ＭＦＰ１００は、原稿を読み取って得られる画像データ中で、文字の形状または背景が他の部分と異なる画像の部分を特徴領域に決定する。このため、文字領域に含まれる文字列のうちから特徴的な文字列を決定することができる。
【０１７２】
また、ＭＦＰ１００は、画像データ中で文字領域の部分から認識された文字列のうち特徴領域に含まれる文字列を文字列部分に決定し、翻訳するので、原稿に含まれる文字列のうち特徴的な文字列のみを翻訳することができる。
【０１７３】
また、ＭＦＰ１００は、特徴領域に含まれる文字列であっても予め定められた文字列は文字列部分に決定しないので、翻訳の対象となる文字列を制限することができる。
【０１７４】
また、ＭＦＰ１００は、並列表示モードの場合には、原稿画像中に特徴領域を示す識別画像を表示するので、翻訳文字列に対応する原稿画像中の特徴領域をユーザーに通知することができる。
【０１７５】
また、ＭＦＰ１００は、重畳表示モードの場合には、原稿画像の特徴領域を翻訳文字列の画像で置換するので、原稿画像中で特徴領域は翻訳文字列の画像が表示される。このため、翻訳された部分をユーザーに通知することができる。
【０１７６】
また、ＭＦＰ１００は、重畳表示モードの場合には、翻訳文字列の画像のサイズを特徴領域のサイズ以下のサイズで、翻訳文字列の画像を生成するので、原稿中で特徴領域以外の部分を変更することなく、翻訳文字列の画像を表示することができる。原稿中の文字列が配置されるフォーマットを維持することができる。
【０１７７】
また、ＭＦＰ１００は、複数のページごとに翻訳に要する翻訳時間を計時し、翻訳時間に応じて、特徴領域を決定する精度を変更するので、翻訳時間が長くなれば精度を低くして特徴領域を決定するための処理時間を短くすることができる。このため、複数ページの原稿画像を表示してから表示が終了するまでの期間の変動を少なくすることができる。
【０１７８】
また、ＭＦＰ１００は、文字列部分を含む文字領域に含まれる文字列を翻訳するので、特徴領域に含まれる文字列部分の前後の文字列を用いて文字列部分を翻訳する。このため、文字列部分を翻訳する精度を高めることができる。
【０１７９】
また、ＭＦＰ１００は、文字列部分が以前に読み取られたページの原稿で翻訳した文字列と同じ場合は翻訳しないので、翻訳する文字列を少なくして、１ページ当たりの翻訳時間を短くすることができる。
【０１８０】
また、ＭＦＰ１００は、翻訳文字列の画像が表示されてから第２の期間が経過する前に、原稿画像が表示されてから第１の期間が経過する場合、第２の期間が経過するまで原稿画像を表示するので、翻訳文字列の画像を少なくとも第２の期間表示することができる。
【０１８１】
また、ＭＦＰ１００は、翻訳手段が翻訳に要する翻訳時間を、複数のページごとに計時し、翻訳時間に応じて、１ページ当たりで決定する文字列部分の数を変更するので、複数ページの原稿画像を表示してから表示が終了するまでの期間の変動を少なくすることができる。
【０１８２】
また、ＭＦＰ１００は、特徴領域に含まれる文字列であっても翻訳の対象とされた文字列と同じ文字列は文字列部分に決定しないので、以前のページで翻訳された文字列を翻訳しない。これによって、翻訳時間を短くすることができる。
【０１８３】
また、ＭＦＰ１００は、翻訳された文字列の文法が正常でない文字列の画像を表示しないので、誤った情報を通知するのを防止することができる。
【０１８４】
なお、上述した実施の形態においては、原稿読取装置の一例としてＭＦＰ１００を例に説明したが、図５〜図９に示した第１の実施の形態における処理、または、図１４〜図１７に示した処理を、ＭＦＰ１００に実行させる表示制御方法、その表示制御方法をＭＦＰ１００を制御するＣＰＵ１１１に実行させる表示制御プログラムとして、発明を捉えることができるのは言うまでもない。
【０１８５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１８６】
＜付記＞
（１）  前記第２の特徴を有する画像は、他の文字とフォントおよびサイズの少なくとも１つが異なる文字を含む画像である、請求項５に記載の原稿読取装置。
（２）  前記第２の特徴を有する画像は、背景に予め定められた形状の画像を含む画像である、請求項５または（１）に記載の原稿読取装置。
（５）  前記第２の特徴を有する画像は、背景に他の背景に付された色と異なる色が付された画像である、請求項５、（１）または（２）に記載の原稿読取装置。
【符号の説明】
【０１８７】
１００  ＭＦＰ、１１０  メイン回路、１１１  ＣＰＵ、１１２  通信Ｉ／Ｆ部、１１３  ＲＯＭ、１１４  ＲＡＭ、１１５  ＨＤＤ、１１６  ファクシミリ部、１１７  外部記憶装置、１２０  自動原稿搬送装置、１３０  原稿読取部、１４０  画像形成部、１５０  給紙部、１５５  後処理部、１６０  操作パネル、１６１  表示部、１６３  操作部、１６５  タッチパネル、１６５  ハードキー部、１６７  ハードキー部、１１  原稿読取制御部、１３  画像表示制御部、１４  表示期間延長部、１５，１５Ａ  文字領域決定部、１７，１７Ａ  文字認識部、１９  特徴領域決定部、２１  対象文字列決定部、２３，２３Ａ  翻訳部、２５，２５Ａ  チェック部、２７，２７Ａ  関連表示制御部、２９  計時部、３１  文字基準決定部、３３  背景基準決定部、３５  検出精度変更部、４１  既定文字列除外部、４３  同一文字列除外部、４５  文字列数制限部、４７  前後参照部、５１，５１Ａ  誤訳時非表示部、５３，５３Ａ  並列表示部、５５，５５Ａ  重畳表示部、６１，６１Ａ  文字列画像生成部、６３，６３Ａ  サイズ決定部、６５，６５Ａ  対応部分指示部、６７，６７Ａ  文字列画像生成部、６８，６８Ａ  サイズ決定部、７１  位置検出部。
【図１】
0006497138.tif 000002
【図２】
0006497138.tif 000003
【図３】
0006497138.tif 000004
【図４】
0006497138.tif 000005
【図５】
0006497138.tif 000006
【図６】
0006497138.tif 000007
【図７】
0006497138.tif 000008
【図８】
0006497138.tif 000009
【図９】
0006497138.tif 000010
【図１０】
0006497138.tif 000011
【図１１】
0006497138.tif 000012
【図１２】
0006497138.tif 000013
【図１３】
0006497138.tif 000014
【図１４】
0006497138.tif 000015
【図１５】
0006497138.tif 000016
【図１６】
0006497138.tif 000017
【図１７】
0006497138.tif 000018
【図１８】
0006497138.tif 000019
【図１９】
0006497138.tif 000020
【図２０】
0006497138.tif 000021
【図２１】
0006497138.tif 000022