(57)【特許請求の範囲】
【請求項１】
注文品の外観をもつ最終画像を作成するために原映像を修正する方法であって、
電子メモリにピクセルで表された上記原映像を記憶させるステップと、
記憶した原映像の諸部分を選択し、さらに均一な輝度、均一な彩度及び/または均一な色相をもつようにその映像の諸部分を修正することで上記原映像の精密度を下げて、最終画像が筆運びの外観をもつようにする修正を導き出すように、その選択された部分を修正するステップと、
上記最終画像の可視出力を生成するステップとを含み、
上記選択された部分を修正することは、
上記原映像の上記選択された部分内の１以上のピクセルに対応する輝度値及びカラー値を選択すること、
上記選択された輝度値を、上記原映像のピクセルから導出した平均輝度値と比較すること、
上記選択された輝度値が上記平均輝度値より小さい場合、上記選択された輝度値を減じ、その他の場合には上記選択された輝度値を増すこと、
上記選択されたカラー値及び上記減じ又は増された選択された輝度値からピクセルの輝度値及びカラー値を導出すること、及び
上記選択された部分のピクセルを修正して、上記導出されたピクセル輝度及びカラー値に近づけることを含むことを特徴とする原映像修正方法。
【請求項２】
上記最終画像の可視出力を生成するステップは、１つ以上の上記ピクセルで表された最終画像のコピーを印刷するステップと、上記ピクセルで表された最終画像を電子表示装置に表示するステップとを含む請求項１記載の原映像修正方法。
【請求項３】
上記ピクセルの輝度値及びカラー値を導出することは、上記選択されたカラー値及び上記減じ又は増された選択された輝度値を擬似乱雑音と共に増して、上記選択された部分のピクセルの輝度又はカラーに変化を作ることを含む請求項１記載の原映像修正方法。
【請求項４】
上記原映像の諸部分を選択することは、ほぼ放物線状に弯曲した長いエッジを有する細長い部分を選択することを含む請求項１記載の原映像修正方法。
【請求項５】
上記原映像の諸部分を選択することは更に、少なくとも２つの考えられる方向の一方に向いた長い部分を選択することを含む請求項１記載の原映像修正方法。
【請求項６】
上記原映像の諸部分を選択することは更に、１つの部分に対する位置を選択すること、上記位置での４方向の各々における上記原映像のコントラストを決め、且つ上記位置での最大コントラストの方向を決めること、及び上記最大コントラストの方向に垂直な方向に長い寸法をもつ長い部分を上記位置で選択することを含む請求項５記載の原映像修正方法。
【請求項７】
上記原映像の諸部分を選択することは更に、上記最大コントラスト方向における上記原映像のコントラストに関するサイズをもつ長い部分を選択することを含む請求項６記載の原映像修正方法。
【請求項８】
上記原映像のコントラストを決めることは、上記原映像をぼかしたものからコントラストを決め、その結果上記諸部分の方位の均一性が増すようにすることを含む請求項５記載の原映像修正方法。
【請求項９】
上記原映像の精密度を下げることが更に、上記原映像をぼかして上記諸部分がその中で修正された背景を形成することを含む請求項１記載の原映像修正方法。
【請求項１０】
上記原映像の諸部分を選択することが、上記映像を通って伸びるブロック横列の第１の組を選択してから、上記映像を通って伸び、上記ブロック横列の第１組と交互に配されるブロック横列の第２の組を選択することを含み、上記諸部分を修正することが、上記第１の組の横列に沿う部分を修正した後、上記第２の組の横列に沿う部分を修正することを含み、上記部分を修正したものが上記映像内に変更可能に重ねられる請求項１記載の原映像修正方法。
【請求項１１】
上記原映像の諸部分を選択することが、上記映像の大きい部分及びこれより小さい部分を選択することを含み、上記諸部分を修正することが、上記大きい部分を修正した後に上記小さい部分を修正することを含む請求項１記載の原映像修正方法。
【請求項１２】
上記映像の大きい部分を選択することが、上記映像を通って伸びる横列の第１の組に沿う大きい部分を選択し、上記映像を通って伸び、上記第１の組の横列と交互に配された第２の組の横列に沿う大きい部分を選択することを含み、上記諸部分を修正することが、上記第１組の横列に沿う部分を修正した後に上記第２組の横列に沿う部分を修正することを含み、上記大きい部分を修正したものが上記映像内で変更可能に重ねられる請求項１１記載の原映像修正方法。
【請求項１３】
上記映像のより小さい部分を選択することが、上記映像のコントラストを決めて、上記映像の高コントラストをもつ領域内のより小さい部分を選択することを含む請求項１１記載の原映像修正方法。
【請求項１４】
注文品の外観をもつ最終画像を作成するために原映像を修正する装置であって、
ピクセルで表された上記原映像を記憶する電子メモリと、
記憶した原映像の諸部分を選択し、さらに均一な輝度、均一な彩度及び/または均一な色相をもつようにその映像の諸部分を修正することで上記原映像の精密度を下げて、最終画像が筆運びの外観をもつようにする修正を導き出すように、その選択された部分を修正する計算回路と、
上記最終画像の可視出力を生成しうる出力装置に接続するための出力ポートとを具え、
上記計算回路は上記選択された各々の部分を、
上記原映像の上記選択された部分内の１以上のピクセルに対応する輝度値及びカラー値を選択すること、
上記選択された輝度値を、上記原映像のピクセルから導出した平均輝度値と比較すること、
上記選択された輝度値が上記平均輝度値より小さい場合、上記選択された輝度値を減じ、その他の場合には上記選択された輝度値をますこと、
上記選択されたカラー値及び上記減じ又は増された選択された輝度値からピクセルの輝度値及びカラー値を導出すること、及び
上記選択された部分のピクセルを修正して、上記導出されたピクセル輝度及びカラー値に近づけること
により修正することを特徴とする原映像修正装置。
【請求項１５】
上記出力ポートは、プリンタ又は電子表示モニタに接続されるよう構成された請求項１４記載の原映像修正装置。
【請求項１６】
上記計算回路は、１つの部分に対する位置を選択し、上記位置での４方向の各々における上記原映像のコントラストを決め、上記位置での最大コントラストの方向を決め、上記位置において上記最大コントラストの方向と垂直な方向にその長い寸法が向けられた長い部分を選択する請求項１４記載の原映像修正装置。
【請求項１７】
上記計算回路によって選択された長い部分は、上記最大コントラストの方向における上記原映像のコントラストに関するサイズをもつ請求項１６記載の原映像修正装置。
【請求項１８】
上記計算回路は、上記原映像をぼかしたものから上記原映像のコントラストを決め、その結果上記部分の方位の均一性が増すようにする請求項１６記載の原映像修正装置。
【請求項１９】
上記計算回路は、上記原映像を通って伸びるブロックの横列の第１の組を選択してから、上記映像を通って伸び、上記第１の組のブロック横列と交互に配されたブロック横列の第２の組を選択することにより、上記原映像の諸部分を選択し、上記計算回路は、上記第１組の横列に沿う部分を修正した後に上記第２組の横列に沿う部分を修正し、それにより、上記部分を修正したものが上記映像内で変更可能に重ねられる請求項１４記載の原映像修正装置。
【請求項２０】
上記計算回路は、上記映像の大きい部分とこれより小さい部分とを選択し、上記大きい部分を修正した後に上記より小さい部分を選択する請求項１４記載の原映像修正装置。
【請求項２１】
上記計算回路は、上記映像のコントラストを決めて、高コントラストをもつ上記映像の領域におけるより小さい部分を選択することにより、上記映像のより小さい部分を選択する請求項２０記載の原映像修正装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、注文の芸術品に似た映像（画像）を表示又は印刷のために自動的に発生することに関するものである。
【０００２】
【従来の技術】
映像発生及び強調の問題にコンピュータを応用することは、知られている。映像強調技法は、より良い洞察力を与える高精細度映像を生成する科学的応用例に使用されてきた。コンピュータによる動画化（アニメーション）は、映画その他の娯楽メディア用に写真に似た高精細度の映像を作るのに使用されてきた。コンピュータ及びソフトウェアが一層強力になってきたので、コンピュータにより発生又は強調された映像は写真的な理想に接近してきた。
【０００３】
ソフトウェアパッケージの幾つかは、映像を変形する特殊効果を与えている。例えば、或るパッケージは、映像の色や輝度を修正して映像の写真的ネガに見えるものを作っている。
【０００４】
【発明が解決しようとする課題】
装飾的芸術品を求める消費者の中には、油絵、水彩画又は石版印刷などの注文芸術品の方を写真のようなもっと精密な芸術形態より好む者がいる。注文芸術品は写真にない表現様相を含むことが多い。大抵、注文芸術品の色及び重要な要素は写真に比べて強調され誇張されており、それによって快い総合インパクト
（効果）を与えている。また、注文芸術品の注文された特性は、よく調べると分かる表現の粗さ、例えば筆運びや物体の輪郭から直ちに明らかであることが多い。この注文によって作られた外観はまた、消費者の知覚や作品に対する魅力を高めることがある。
【０００５】
自動化されたコンピュータ映像処理においては、（１）映像の精密度を写真的な理想に近づけるように高めること、又は（２）映像を明らかにコンピュータ発生結果を生むように修正することが目標であった。本発明は、異なる目標を目指すものである。
【０００６】
【課題を解決するための手段及び作用】
本発明の原理に従えば、注文芸術品の製作に用いられる技法をシミュレート（模倣）し、装飾的芸術品を求める消費者に好まれる気持のよい注文された外観をもつ映像を作るように自動映像処理することにより、最初の映像（以下「原映像」という。）の精密度を下げる。最終映（画）像は人間の労働の産物のように見えるが、処理過程では、人間の介入を必要としない。
【０００７】
本発明は、一方の面で、原映像に比べてより均一な輝度、彩度又は色相をもつように映像の諸部分を修正し、油絵に似た筆運びを含むように見える映像を作ることにより、原映像の精密度を低下させるものである。
【０００８】
具体的にいえば、筆運びをシミュレートする各部分に対し、輝度及び色相値を原映像における１ピクセルから選択し、これをその部分の全ピクセルに対して使用する。映像の全体のコントラストを高めるために、選択した輝度値が計算した平均値より低い場合にはその値を減じ、そうでない場合は選択した輝度値を増す。修正する部分のピクセルはそれから、計算された輝度及びカラー値より発生されるもっと現実的な結果を得るために、小さいランダムな変化、即ち震動をも加える。
【０００９】
上記の諸部分は、伸ばされ、１つの具体構成では放物線状に弯曲した長いエッジが付けられ、そのため一層現実的な筆運びに似た外観を呈する。これらの長い部分は、４つの方位（垂直、水平又は斜め）の１つに配置される。その方位は、原映像をぼかしたものにおける最大コントラストの方向を測り、修正する部分をこの方向と垂直に配向することによって決まる。これは、典型的な描画技法をシミュレートしたものである。なおシミュレーションをよくするため、修正部分のサイズをコントラストのレベルに応じて変える。こうして作成した部分を、原映像をぼかして作った背景の上に重ねる。
【００１０】
更にシミュレーションをよくするため、小さな筆運びをシミュレートしたより小さい部分を、高コントラスト近くの最初の大きい部分の組について作成する。これらの小部分は、通常元の油絵における物体のエッジ近くに出来る細かい筆運びをシミュレートするものである。
【００１１】
本発明は、他の面において、映像内のコントラスト・エッジを見出し、これらのエッジに沿って輝度を修正することによって原映像の精密度を低下させ、物体や顔つきの輪郭を浮かび上がらせ、水彩画のような背景との境界の鮮明度が強められた最終映像を作る。
【００１２】
具体的にいえば、原映像の各ピクセルにおいてコントラストの差測定値を発生し、これらのコントラスト測定値を対数関数で処理したのち、該コントラスト測定値を原映像と組合せ、原映像におけるエッジを強調する。最大限に強調するため、明るい領域におけるエッジを明るくし、暗い領域におけるエッジを暗くする。
【００１３】
【実施例】
以下、図面を参照して本発明の実施例を説明する。
図１は、ビデオプリンタ１０を示す。このプリンタ１０は、シールドされたケーブル１４を介してビデオカメラ１２に接続できる。プリンタ１０は、ボタン１８をもつ制御パネル１６を含み、オペレータは、ボタン１８でビデオプリンタ１０を制御して、カメラ１２内のビデオテープの希望映像を選択することができる。希望の映像が見付かると、オペレータは、ボタン２０を押して選択した映像を静止印刷した写真２２を発生する。ビデオプリンタ１０は、例えば消費者により休暇や家族団欒等のビデオテープから静止写真を作るのに使用される。よって、ビデオプリンタ１０は、ビデオカメラ１２にビデオカメラとスチールカメラの２役を演じさせることができる。
【００１４】
図２は、カメラ１２からのビデオ（映像）を表示するため、同じようにビデオカメラ１２にケーブル１４を介して接続できるモニタ２３を示す。或いは、テレビジョン放送、卓上ＶＣＲ（ビデオカセットレコーダ）又はレーザディスクプレーヤの如き他のビデオソースのビデオをモニタ２３に供給することもできる。
【００１５】
図３は本発明の原理を示し、計算回路２５、例えば特殊用途向け計算回路及び（又は）１つ以上のソフトウェアで動作するマイクロプロセッサが、映像をプリンタ１０でプリントしたり、モニタ２３に表示したりする前に映像を処理するのである。
【００１６】
あとで詳述するように、処理された映像は、元の芸術品の外観をシミュレートした特性を有する。即ち、プリンタ１０を計算回路２５と共に使用すると、プリンタ１０は、注文芸術品をシミュレートした静止画像を発生する。モニタ２３を計算回路２５と共に使用すると、モニタ２３は、注文芸術品をシミュレートした静止画像か、又は注文の動画をシミュレートした一連の連続表示映像を発生する。
【００１７】
計算回路２５は、図３に示すように別個のユニット２５の中に設けてもよく、又はプリンタ１０、モニタ２３もしくはカメラ１２の既存回路の中に組込んでもよい。
【００１８】
図４は、プリンタ１０又はモニタ２３により作成しうるタイプの未処理映像を示す。その映像には、２つのコントラスト・エッジ２４，２６及びコントラストが変化する部分２８が示されている。
【００１９】
図５は、本発明の原理に従って、図４の映像を油絵の制作に用いる技法をシミュレートするよう修正したものを示す。あとの図面にて詳しく述べるように、かかる修正をするには、原映像の諸部分をもっと均一な輝度、彩度及び（又は）色相をもつように修正し、油絵の筆運びに似た一様な輝度又は色相の可視部分が最終映像の中に出来るようにする。このようにシミュレートした筆運び（brush strokes ）２９が、図５の部分２８の中に見える。また、あとで一層詳しく述べるように、図４と５を比較すると明らかな如く映像の全体のコントラストが増している。
【００２０】
図６は、本発明のもう１つの観点に従って、エッジ２４，２６のような映像中のコントラスト・エッジを見出し、それらのエッジに沿って映像の輝度を修正することによって図４の原映像を修正し、線２４，２６のようなコントラスト・ラインが著しく強調され、元の水彩芸術品の外観をシミュレートした最終画像を示す。
【００２１】
上述の効果を発生する手順は、あとの図面に示す。以下に述べる映像処理手順は、プログラムされた汎用コンピュータによって実行できるが、他の様々な方法、例えばビデオプリンタ１０，モニタ２３，カメラ１２又は独立型映像処理ユニットのような特殊用途機器に埋込まれたマイクロプロセッサ用のソフトウェアによっても実行できる。或いは、汎用コンピュータの拡張スロット内の又は特殊用途機器に埋込まれた特殊用途向け計算回路によって、これらの手順を実行できる。分かり易くするため、以下の説明では、一般用語「計算回路」を、１以上のソフトウェア作動マイクロプロセッサ、特殊用途計算回路又は両方の組合せによって計算を行いうる任意の電子構成のものをまとめて呼ぶのに使用するものとする。
【００２２】
図７は、映像にシミュレートした筆運びを加えるためのコンピュータ・プログラムの総合フローチャートである。図７において、原映像にシミュレートされた筆運びを生成するために、計算回路はまず、処理しようとするピクセルで表示された映像を含む、記憶された入力ファイルを読む（３０）。次いで、映像をもっと容易に処理できる表示に変換する（３２）（あとで図９を参照して述べる。）。それから、計算回路はその映像のピクセルに踏み入り、映像の上にシミュレートされた筆運びを生成、即ち描き込む（３４）。映像への描込みが全部終わると、計算回路は、色の表示を最初のフォーマットに戻し（３６）、処理した映像を含む出力ファイルを書く（３８）。
【００２３】
図８は、記憶された映像のファイルを読む手順を示すフローチャートである。図８において、入力ファイルを読むために、計算回路はまず、入力ファイルから輝度（Ｙ）値を読み（３１）、これらの値を作業用バッファに記憶する。それから、計算回路は、各Ｙ値から所定のオフセット（偏差値）を減じ、その結果を許容範囲に制限することにより、映像の作業用コピーを作成する（３３）。その後、計算回路は入力ファイルからＵカラー値を読み（３５）、Ｖカラー値を読んで（３７）、これらの値を作業用バッファに記憶する。
【００２４】
図９は、彩度（Ｓ）及び色相（Ｈ）カラー値と、Ｕ及びＶカラー値との関係を示す。両者の関係は、３角法に基いている。Ｕ及びＶ値が直角３角形の直交２辺の長さを表わすとき、この３角形の斜辺が彩度値Ｓを表し、辺Ｕに隣接する角が色相値Ｈを表す。
【００２５】
図１０は、Ｕ及びＶカラー値をＳ及びＨ値に変換する手順を示すフローチャートである。作業用映像内の各ピクセルにおけるカラー値を使用可能な表示に変換するために、計算回路は、ピタゴラスの定理を用いて彩度値を計算し、Ｖ値とＵ値の比のアークタンジェントから色相値を計算する。
【００２６】
図１１及び１２は、映像に筆運びを描き込む手順を示すフローチャートである。これらの図において、作業用バッファ内の映像に筆運びを描き込む（３４）ために、計算回路はまず、各ピクセルの輝度値を、例えば該ピクセルの周囲の１０×１０ピクセル正方形内の１００ピクセルの輝度値の平均で置換えることにより、原映像をぼかす（４１）。このぼかし処理は、後述の手順によって加えようとする筆運びの間の空隙を埋め、一層現実的な結果を生み出す。
【００２７】
作業用バッファの映像をぼかし終えると、計算回路は、映像の中央１／３の平均輝度を計算する（４２）。この値を次の処理に用い、映像のコントラストを高め、もっと現実的な結果を作り出す。
【００２８】
上述の予備処理の後、計算回路は、シミュレートされた筆運びを発生し始める。そのために、計算回路はまず、最終映像の各ピクセルに対する輝度、彩度及び色相値を含む作業用バッファを作る。計算回路はそれから、このバッファに、前述のステップ４１で作った原映像からのぼかし輝度、彩度及び色相値を入れる。このバッファは、原映像の背景をぼかしたもので初期化されるので、シミュレートされた筆運びの間の空隙は、最終映（画）像では目立たなくなる。
【００２９】
筆運びを生成するため、計算回路は、例えば一列に並ぶ７ピクセルのブロック内の映像を３回走査する。走査の間、計算回路は、走査された複数ブロックにシミュレートされた筆運びを作る。最初の２回走査の間（４４）、計算回路は、走査ブロック毎に大きな筆運びを作る。３回目の走査の間（５５）、計算回路は、後述のような或る基準を満たす走査ブロックに小さな筆運びを作る。
【００３０】
大きい筆運びは、上述ブロックのサイズより大きくしてもよく、従って近隣ブロックの筆運びと重なってもよい。大きい筆運びが重なるとき、あとの筆運びにより前の筆運びの重なった部分が消される。出来上がりの現実性を高めるために、大きい筆運びの走査（４４）は交互の走査線に沿って行う。最初の走査は、映像を横切る一定間隔のブロック（横）列に沿って行い、２回目の走査は、１回目の走査の列と１つおきの一定間隔の列に沿って行う。１つおきに２回の走査を行うことにより、最終映像は、完全な筆運び（２回目の走査から）と部分的に消された筆運び（１回目の走査から）とが現実的に混じったものを含むことになる。
【００３１】
３回の走査の間各ブロックで、計算回路はまず、作業用バッファ内の映像を調べ（４５）、筆運びのサイズ及び筆運びの方位を導出する。筆運びのサイズ及び方位は、原映像でなくぼかした映像から発生する。その理由は、ぼかした映像は、比較的ノイズによって汚されていないため筆運びサイズ及び方位のより滑らかでより適正なパターン（見本）を生じ、一層現実的な効果をもたらすからである。
【００３２】
筆運びを作成するため、計算回路は、新しい筆運びの中央におけるピクセルに対する輝度、彩度及び色相差を選択し（４６）、該筆運びの中央のピクセルからの輝度及び彩度値を震わせる（即ち、ランダムに発生した正又は負のインクリメントを加える）ことにより（４８）、新しい輝度及び彩度値を計算する。
【００３３】
次いで、映像の全体のコントラストを増すため、計算回路は、計算した輝度値を、ステップ４２で計算した映像の中央１／３からの輝度値と比較する（５０）。計算した輝度が映像の中央１／３のそれより小さいとき、計算した輝度を減じる。しかし、計算した輝度が映像の中央１／３のそれより大きいとき、計算した輝度を増す。
【００３４】
筆運びが計算された輝度、彩度及び色相値で描き込まれると（５２）、計算回路は、映像を横切る次のステップに進み、ステップ４５からの手順を繰返す。
【００３５】
前述のように、最初の２走査の間、走査されるブロック毎に大きな筆運びが生成される。即ち、４つのステップ４６，４８，５０及び５２は、走査ブロック毎に行われる。しかし、３回目の走査の間、少数の走査ブロックでのみ小さな筆運びが作成される。
【００３６】
元の油絵では、物体のエッジは大抵、比較的多数の小さい筆運びで形成されている。それは、かかるエッジを描くときに精密度を要することの自然的結果である。ただし、物体の本体は大抵、これらの部分では余り精密度を要しないので、少数の大きな筆運びで形成される。この方法論は、本発明では、映像内のコントラスト線に沿ってのみ小さな筆運びを作成することによってシミュレートされる。
【００３７】
具体的にいえば、小さい筆運びを発生する走査（５５）の間、計算回路は、各ブロックにて映像がブロックの位置に高コントラストを有するかどうかを決め、映像が高コントラストを有するときにのみ、小さい筆運びを発生する。図１３を参照して後述するように、検査ステップ４５で現ブロックにおける映像のコントラストを測り、映像が高コントラストを有するとき、小さい筆運びのサイズを導出する。したがって、計算回路は、ステップ５７で筆運びのサイズが小さい、例えば７ピクセルの長さより小さいかどうかを判定し、小さい場合ステップ４６，４８，５０及び５２により筆運びを発生する。筆運びサイズが７ピクセルより大きいとき、現ブロック内にさほどのコントラスト線がないことを示し、計算回路は、小さい筆運びを発生せずに次のブロックに進む。
【００３８】
図１３は、筆運びのサイズ及び方位を導出する副手順を示すフローチャートである。図１３において、計算回路は、ステップ４５で筆運びのサイズ及び方位を導出するため映像を調べる。これは、４つの方向に沿う原映像のコントラストを計算する（４７）ことによって行う。これらの４方向は、例えば垂直、水平、左下から右上への斜め及び左上から右下への斜めの方向である。これらの各方向におけるコントラストを計算するため、計算回路は、筆運びの中央のピクセルに近くの適切なピクセル群の輝度値の差を計算する。例えば、水平方向におけるコントラストを計算するのに、計算回路は、中央ピクセルのすぐ右の１以上のピクセルの輝度値と、中央ピクセルのすぐ左の１以上のピクセルの輝度値との差を計算する。
【００３９】
その差の絶対値は、筆運び位置の映像の水平方向におけるコントラストを表す。同様な計算を垂直及び斜め方向について行い、４つのコントラスト値を発生する。計算回路はそれから、これら４つの値のうちどれが最大かを決める。筆運びはそれから、最大コントラスト値の方向と直角の方向に配向される。最大コントラスト方向と直角に筆運びを向けることにより、処理されている映像における筆運びは、映像内のコントラスト線を横切ることなく、おおむねコントラスト線に沿って並ぶであろう。これは、油絵が大抵物体の輪郭方向に沿って並ぶ筆運びを含むので、油絵技法のシミュレートを強めることになる。
【００４０】
筆運び方向を計算した後、前のステップで決定した最大コントラスト・レベルを参照して、筆運びの長さを計算する（４９）。最大コントラスト・レベルが大きい場合、筆運びの長さを短くする。これも、油絵が大抵物体の周囲の細かいエッジに短い筆運びを含むので、油絵技法のシミュレーションになる。筆運びの幅は、長さを参照して筆運びが幅よりやや長くなるように計算する（５１）。筆運びの例を図１５のＡ，Ｂ，Ｃ及びＤに示す。これらについては、後述する。
【００４１】
図１４は、映像に筆運びを描き込む副手順を示すフローチャートである。計算された輝度、彩度及び色相値で筆運びを描き込む（５２）ために、計算回路は、筆運びの長さに沿って一連のステップを反復して行う（５４）。生成される筆運びは、矩形又は木の葉状がよいであろう。
【００４２】
矩形状の筆運びの例を図１５のＡ及びＢに示す。図１５のＡは、水平の長さがＬで垂直の幅がＷの、水平方向に配向された筆運びを示す。図１５のＢは、同じ寸法の斜め方向に配向された筆運びを示す。（図１５のＢの水平及び垂直方向の寸法は、筆運びが４５°の角をなすので、√２の率で減少している。）
【００４３】
図１５のＣは、水平方向に配向された木の葉状筆運びを示し、図１５のＤは、斜め方向に配向された木の葉状筆運びを示す。木の葉状筆運びは、長い寸法に沿う両側が弯曲している点に特徴がある。弯曲は２次方程式によって発生されるので、その弯曲は放物曲線である。図１５のＣに示す木の葉状筆運びは、水平方向の長さＬが図１５のＡに示す筆運びの長さＬに等しい。図１５のＣの木の葉状筆運びの最大幅Ｗは図１５のＡの筆運びの幅に等しい。図１５のＤに示す斜め方向に配向された木の葉状筆運びと、図１５のＢに示す斜め方向に配向された矩形状筆運びとの間にも、同様の関係がある。（同じく、図１５のＤにおける水平及び垂直寸法は、図１５のＤの筆運びが４５°の角をなすので、√２の率で減少している。）
【００４４】
図１４を参照して述べたように、筆運びは、その筆運びの長さに沿って実行される一連のステップにより生成される。各ステップの間、計算回路は、図１５のＡ〜Ｄに示した線５９のような筆運びの幅を横切る垂直、水平又は斜めのピクセルの線に従って、その線に沿う各ピクセルを計算された輝度、彩度及び色相値で置き換える。計算回路は、筆運びのエッジ近くの無作為に選んだ位置にあるピクセルから始める。計算回路は、現実性を増すため、筆運びを横切る線５９に従って輝度値Ｙを無作為に変えることにより、映像の外観に僅かなランダム性を加える。これを行うため、筆運びの幅を横切る現在の位置に基いて輝度値を変える。
【００４５】
筆運びの幅を横切る線５９を描き込んだ後、筆運びの幅を横切る次の線に図１４の手順を進め、これが筆運びの描き込みを完了するまで続けられる。
【００４６】
木の葉状筆運びは、上述の手順の間に行われる追加のステップ５６によって作成される。このステップでは、計算回路は、筆運びの長さに沿う現在位置に基いて筆運び幅を計算する（５６）。上述のとおり、幅値の計算に用いる式は、２次方程式であって筆運びの中央で最大の幅値を発生する。筆運びの幅の計算が終わると、計算回路は、上述のようにして、計算された幅をもつ筆運びを横切る線５９を描き込む。
【００４７】
図１６は、Ｓ及びＨカラー値をＵ及びＶカラー値に変換する手順を示すフローチャートである。映像に筆運びを含める処理が終わると、カラー表示をＵ及びＶカラー値に戻す（３６）。これを行うため、計算回路は、作業用バッファ内の各ピクセルにつき、色相Ｈのコサインを彩度Ｓに乗じてＵ値を計算し、色相Ｈのサインを彩度Ｓに乗じてＶ値を計算する（６０）。
【００４８】
図１７は、映像のエッジを強調するコンピュータ・プログラムを示すフローチャートである。図１７の手順は、水彩画の外観を映像に与える、本発明のもう１つの特徴を示す。この手順の概要を図１７に示すが、あとの図面にもっと具体的に示す。
【００４９】
図１７において、エッジを検出して水彩画の外観を発生するため、計算回路はまず、２つのバッファに入力されたファイルから輝度値を読む（７０）。（カラー値はこの手順では処理しない。ただし、例えばカラー彩度の増減などのカラー処理を、もっと現実的な水彩画映像を生成するために、この手順に加えてもよい。）計算回路はそれから、映像の中央１／３の平均輝度値を計算する（７２）。この値は、後述するあとの処理に使用する。次に、計算回路は、２つのバッファの最初のものについてフィルタリング（ろ波）作用を行い（７４）、映像におけるコントラスト部分を探す。ステップ７４では、種々のエッジ検出ろ波作用、例えばＬａｐｌａｃｉａｎフィルタリング、Ｆｏｒｓｅｎフィルタリング及び（又は）Ｓｏｂｅｌフィルタリングを使用できる。Ｓｏｂｅｌフィルタリングが最も目立つエッジを作ることが分かった。よって、後述のようにこれをソフトウェアに用いる。
【００５０】
ろ波が終わると、計算回路は、第１のバッファにおける輝度値に対数関数を適用する処理を行う（７６）。この処理のあと、計算回路は、第１のバッファを第２の未修正バッファと組合せる（７８）。この動作の間、計算回路は、第１バッファの内容を用いて第２バッファにおける原映像の暗い部分に暗いエッジを作り、その逆も行う。出来た映像を後述のようにして平滑化し（８０）、出力ファイルに書込む（８２）最終映像を作成する。
【００５１】
第１バッファにおける映像をＳｏｂｅｌフィルタリングするため、計算回路は、図１８に示す一連のステップを第１バッファにおける各ピクセルに施す（７５）。図１８は、輝度値差を計算することにより映像内のエッジを見付ける手順を示すフローチャートである。計算回路はまず、水平方向における加重（重み付けをした）差を計算する（７７）。計算回路はそれから、垂直方向における加重差を計算する（７９）。これらの差の絶対値を合算し（８１）、その結果を許容できる輝度値の範囲に制限する（８３）。最後に、これらの輝度値を黒から白に且つ白から黒に逆転する（８５）と、第１バッファにおける比較的小さい輝度値により高コントラストをもつ部分が識別される。逆も同様である。ピクセルのＳｏｂｅｌフィルタリング結果について白と黒を逆転するために、最小（黒）及び最大（白）の許容される輝度値を加算し、その和から該ピクセルに対するＳｏｂｅｌフィルタリングの結果を減じる。ピクセルに対するＳｏｂｅｌフィルタリング結果が大きな（白に近い）値をもった場合、上記結果は、それに応じて小さい（黒に近い）値になるであろう。その逆も同様である。
【００５２】
図１８のステップ７７及び７９で加重差を計算するため、計算回路は、図１９のＡ及びＢに図表的に示した加重係数を、処理されるピクセルの近隣ピクセルに乗じる。水平方向における加重差を計算して垂直方向のコントラスト線を見付けるため、計算回路は、左、左上及び左下の３ピクセルに夫々値−２，−１及び−１を乗じる。計算回路はそれから、処理されているピクセルの右、右上及び右下の３ピクセルに夫々２，１及び１を乗じる。これら６つの乗算結果を合算して１つの差値を作る。
【００５３】
同様に図１９のＢに示すとおり、垂直方向における差を計算して水平方向のコントラスト線を見付けるため、処理されているピクセルの真上、左上及び右上のピクセルに夫々−２，−１及び−１を乗じ、処理されているピクセルの真下、左下及び右下のピクセルに夫々２，１及び１を乗じる。これらの乗算結果を合算して垂直方向における１つの差値を発生する。
【００５４】
上述の説明から分かるように、水平及び垂直差値は、該値が計算されるピクセルにおける水平及び垂直コントラストの程度を表す。したがって、図１８に示すＳｏｂｅｌフィルタリング手順により、各ピクセルにおける映像コントラストを表す値が発生される。
【００５５】
図２０は、図１８の手順の出力を修正して、差値のもっと現実的な分布を作成する手順を示すフローチャートである。図２０において、ステップ７６は、図１７を参照して上述したＳｏｂｅｌフィルタリング手順の結果を等化するステップである。これを達成するため、第１バッファにおける各ピクセルに対し（９０）、計算回路は、上述のようにして黒及び白の値を逆転し（９２）、第１バッファにおける各輝度値を輝度値の対数で置き換え（９４）、それから黒及び白の値を逆転する（９６）。
【００５６】
上述の対数計算の効果を図２１に示す。図２１のＡに示すように、ステップ７４後の第１バッファにおけるＳｏｂｅｌフィルタリングの全結果のヒストグラム（分布図）は、ゼロ値に近い多数のピクセルと、最大許容値の値をもつ多数のピクセルとを含んでいる。一方、値の中間範囲内のピクセル数は比較的少ない。しかし、図２１のＢに示すように、各値をその値の対数で置き換えると、輝度の中間範囲内のピクセル数がかなり増加する。よって、対数ヒストグラム等化により、小さいＳｏｂｅｌフィルタリング結果値が非線形的に増してもっと大きい値になる。したがって、映像へのこの操作の効果は、映像におけるエッジ強調を増すことである。
【００５７】
対数による等化が適切に行われるためには、高コントラストの部分が大きい輝度値で表され、その他の部分が小さい輝度値で表されねばならないことに注意すべきである。しかし、ステップ８５（図１８）にて黒及び白が逆転されるので、コントラスト・エッジは小輝度値で表される。したがって、対数計算の前のステップ９２において黒及び白が再び逆転されねばならない。
【００５８】
ステップ８５及び９２における黒と白の２回の逆転は、ヒストグラム等化手順、即ち図２０に示した全処理を、他のどんな手順をも修正することなく任意の時点で不動作とすることができれば、必ずしも必要ではない。これは、例えば、対数操作をしたときとしないときの結果の差を吟味して行ってもよい。他の応用例では、ステップ８５及び９２を省略することもできる。
【００５９】
図２２は、差値を原映像と組合せる手順を示すフローチャートである。図２２において、第１バッファからの処理したピクセルと、第２バッファからの未処理ピクセルとを組合せる（７８）ため、計算回路又はソフトウェアは、映像内の各ピクセルに対し或る数のステップを施す（１００）。計算回路はまず、第２バッファ内の未処理ピクセルが、映像の中央１／３の平均輝度（前に計算されている）より大きい輝度を有するかどうかを決定すると共に、第１バッファ内の処理したピクセルが考えられる輝度の中間値より小さいかどうかを決定する（１０２）。両方ともそうであれば、計算回路は、第１バッファにおける黒及び白の値を前述のようにして逆転する（１０４）。
【００６０】
これにより、比較的明るい色の部分のエッジが明るい輪郭をもち、比較的暗い色の部分のエッジが暗い輪郭をもつようになる。計算回路はそれから、ピクセルに対する最終輝度値を、第１及び第２バッファからの対応ピクセルを互いに且つ利得値を掛け合せることによって生成する。得られた輝度値を輝度値として許容できる範囲に制限し（１０８）、これをピクセルの最終輝度値として記憶する。
【００６１】
図２３は、組合せた映像を平滑化して結果を生成する手順を示すフローチャートである。図２３において、前のステップで得た映像を平滑化する（８０）ため、計算回路又はソフトウェアは、ピクセルと近隣ピクセル、例えば該ピクセルと垂直方向に隣接するピクセルとの平均を取る（１１２）ことにより、各ピクセルに対してループ処理を行う（１１０）。この操作の結果、得られた映像が僅かにぼかされ、一層現実的な水彩画効果を生むことになる。
【００６２】
本発明の種々の具体構成をかなり詳細に説明したが、本発明はこれらの細目に限定されるものではない。付加的な利点や変形は、当業者には直ちに明らかとなるであろう。例えば、上述の手順は、映像の中央１／３からの平均輝度値を用いて、映像の平均輝度値に近似させた。しかし、この技法は、映像の中央１／３が特に明るいか又は暗い場合、エラーを含む結果になることがある、と分かった。よって、代わりの具体構成では、映像の多くの異なる部分を用いて平均輝度値を計算してもよい。したがって、広い観点をもつ本発明は、具体的な細目、代表的な装置や方法及び図示し説明した実施例に限定されるものではない。よって、本発明は、特許請求の範囲内において種々の変更、変形をなしうるものである。
【００６３】
【発明の効果】
以上説明したとおり、本発明によれば、注文品に似た外観を有する最終映（画）像を、人間を介在させずに、原映像より自動的に発生することができる。
【図面の簡単な説明】
【図１】本発明に使用できるビデオプリンタ、ビデオカメラを示す斜視図である。
【図２】本発明に使用できるモニタを示す斜視図である。
【図３】上記プリンタ、カメラ又はモニタと共働する計算回路の機能的ブロック図である。
【図４】処理前の原映像の例を示すディスプレー上に表示した中間調画像の写真である。
【図５】原映像にシミュレートした筆運びを発生して得た映（画）像を示すディスプレー上に表示した中間調画像の写真である。
【図６】原映像内のエッジを強調して得た映（画）像を示すディスプレー上に表示した中間調画像の写真である。
【図７】シミュレートした筆運びを映像に加えるコンピュータ・プログラムの概略フローチャートである。
【図８】映像を記憶したファイルを読む手順を示すフローチャートである。
【図９】彩度（Ｓ）及び色相（Ｈ）値とＵ及びＶカラー値との関係を示す図である。
【図１０】Ｕ，Ｖカラー値をＳ，Ｈ値に変換する手順を示すフローチャートである。
【図１１】映像に筆運びを描き込む手順を示すフローチャート（その１）である。
【図１２】映像に筆運びを描き込む手順を示すフローチャート（その２）である。
【図１３】筆運びのサイズと方位を導出する副手順を示すフローチャートである。
【図１４】映像に筆運びを描き込む副手順を示すフローチャートである。
【図１５】図１３及び１４の副手順により作成される筆運びの形の例を示す図である。
【図１６】Ｓ及びＨ値をＵ及びＶカラー値に戻す手順を示すフローチャートである。
【図１７】映像のエッジを強調するコンピュータ・プログラムのフローチャートである。
【図１８】輝度差値を計算して映像のエッジを見付ける手順を示すフローチャートである。
【図１９】図１８の手順により輝度差値を計算する方法を示す図表である。
【図２０】図１８の手順の出力を修正してもっと現実的な差値の分布を作る手順を示すフローチャートである。
【図２１】図２０の手順による修正の前後における差値のヒストグラムを示す図である。
【図２２】差値を原映像と組合せる手順を示すフローチャートである。
【図２３】組合せた映像を平滑化して或る効果を生じる手順を示すフローチャートである。
【符号の説明】
１０  ビデオプリンタ
２３  電子表示モニタ
１０，２３  可視出力を生成する出力手段
２５  計算回路
【図１】
0003830555.tif 000002
【図２】
0003830555.tif 000003
【図３】
0003830555.tif 000004
【図４】
0003830555.tif 000005
【図５】
0003830555.tif 000006
【図６】
0003830555.tif 000007
【図７】
0003830555.tif 000008
【図８】
0003830555.tif 000009
【図９】
0003830555.tif 000010
【図１０】
0003830555.tif 000011
【図１１】
0003830555.tif 000012
【図１２】
0003830555.tif 000013
【図１３】
0003830555.tif 000014
【図１４】
0003830555.tif 000015
【図１５】
0003830555.tif 000016
【図１６】
0003830555.tif 000017
【図１７】
0003830555.tif 000018
【図１８】
0003830555.tif 000019
【図１９】
0003830555.tif 000020
【図２０】
0003830555.tif 000021
【図２１】
0003830555.tif 000022
【図２２】
0003830555.tif 000023
【図２３】
0003830555.tif 000024