(57)【要約】【課題】モノクロデータをカラーデータに変換する方法、より具体的には、モノクロ写真から得られる情報に基づいてモノクロ写真をカラー化する方法を提供する。【解決手段】本発明に係るモノクロ写真のカラー化方法は、新規なカラーモデル（ＵＲＳモデル）を用いて、基準色Ｐおよび屈折点Ｓを決定することにより、その写真の中の色分布を近似する工程を備える。【選択図】図４
2016146529.tif 000002
【特許請求の範囲】
【請求項１】
モノクロデータをカラーデータに変換する方法であって、前記方法は、
ＵＲＳモデルを構築する工程、および
前記ＵＲＳモデルを用いて、モノクロデータを、輝度、彩度、および色相からなるカラーデータに変換する工程を包含し、
ここで、前記ＵＲＳモデルは、
ｘｙｚ座標で表される三次元空間中に、黒（Ｂｋ）、白（Ｗｈ）、赤（Ｒ）、青（Ｂ）、Ｇ（緑）、シアン（Ｃ）、マゼンタ（Ｍ）、黄色（Ｙ）に関する座標を有するカラーモデルであって、
前記黒（Ｂｋ）、白（Ｗｈ）、赤（Ｒ）、青（Ｂ）、Ｇ（緑）、シアン（Ｃ）、マゼンタ（Ｍ）、黄色（Ｙ）に関する座標の各々は、これらを各頂点とする平行六面体を構成し、かつこれらの各頂点は、黒（Ｂｋ）と白（Ｗｈ）のちょうど中間である灰色（中心の灰色）を中心とする半径０．５の球の表面上に存在し、
黒（Ｂｋ）および白（Ｗｈ）の座標はｚ軸上に存在し、黒（Ｂｋ）の座標は（０，０，０）であり、白（Ｗｈ）の座標は（０，０，１）であり、中心の灰色の座標は（０，０，０．５）であり、
前記平行六面体において、黒（Ｂｋ）に隣接する頂点は、赤（Ｒ）、青（Ｂ）、Ｇ（緑）であり、輝度はＧ（緑）＞赤（Ｒ）＞青（Ｂ）となるように配置されており、彩度はＧ（緑）＞赤（Ｒ）＞青（Ｂ）となるように配置されており、
前記平行六面体において、白（Ｗｈ）に隣接する頂点は、シアン（Ｃ）、マゼンタ（Ｍ）、黄色（Ｙ）であり、輝度は黄色（Ｙ）＞シアン（Ｃ）＞マゼンタ（Ｍ）となるように配置されており、彩度はマゼンタ（Ｍ）＞シアン（Ｃ）＞黄色（Ｙ）となるように配置されており、
輝度は前記ＵＲＳモデル内の高さｚで表され、
彩度はｚ軸からの距離
【数１】
2016146529.tif 000062
で表され、
色相はｘ軸から計ったｚ軸のまわりの回転角θで表し、ただし、Ｒの色相はθ＝０とし、この向きをｘ軸とし、またＧの方がＢよりθが小さいとし、
前記ＵＲＳモデル内のＢｋからＲ、Ｇ、Ｂに引いたベクトル
【数２】
2016146529.tif 000063
を基準ベクトルとし、色Ｐの成分を｛ｒ，ｇ，ｂ｝とするとき、色ＰのＵＲＳモデル内の座標は基準ベクトルを用いて次式
【数３】
2016146529.tif 000064
で定義される、
、方法。
【請求項２】
請求項１に記載のモノクロデータをカラーデータに変換する方法であって、
さらに、ＵＲＳモデルを用いて、モノクロデータにおける輝度の基準色Ｐおよび屈折点Ｓを決定することにより、そのモノクロデータの中の色分布を近似する工程を備える、
方法。
【請求項３】
請求項１または２に記載のモノクロデータをカラーデータに変換する方法であって、
モノクロデータから得られる輝度の変化量のヒストグラムのピークおよび輝度のヒストグラムの中央値から、基準色Ｐおよび屈折点Ｓを誘導する工程を備える、
方法。
【請求項４】
請求項１〜３のいずれか一項に記載のモノクロデータをカラーデータに変換する方法であって、
カラーデータから作成される写真内の色が２色以上使われている場合に、輝度および各画素での輝度の変化量で二次元座標にプロットし、クラスタリングを行うことにより基準の色を求める工程を備える、
方法。
【請求項５】
コンピュータによって処理される、請求項１〜４のいずれか一項に記載のモノクロデータをカラーデータに変換する方法。
【請求項６】
モノクロデータがモノクロ写真の輝度データである、請求項１〜５のいずれか１項に記載のモノクロデータをカラーデータに変換する方法。
【請求項７】
請求項１〜６のいずれか１項に記載のモノクロデータをカラーデータに変換する方法によって得られたカラーデータを用いて、カラー写真を作成する方法。
【請求項８】
モノクロ写真をスキャンしてモノクロデータを収集する工程、およびカラー写真を印刷する工程をさらに備える、請求項７に記載の方法。
【請求項９】
請求項１〜８のいずれか１項に記載のモノクロデータをカラーデータに変換するための装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モノクロデータをカラーデータに変換する方法、より具体的には、モノクロ写真から得られる情報に基づいてモノクロ写真をカラー化する方法に関する。
【背景技術】
【０００２】
映像技術の進歩は著しく、２０世紀後半から、写真、映画、ビデオ等の多くの画像作品はカラーが当たり前になってきた。新たに生み出される画像や映像の多くはほとんどがカラーであり、現代人にとってはカラーの画像がごく当然のものとして受け入れられている。
【０００３】
しかし、写真の歴史はカラー以前のモノクロの時代からあり、１８００年代から、日本においては江戸時代から歴史的な価値のある写真が多く残されている。また、一般家庭においても、１９７０年代あたりまではモノクロ写真が多く使用されていた。これらのモノクロ写真は、当時の記録としては非常に貴重なものであるが、色がついていないと言う点で、現実の姿をありのままに記録したものとは言えない側面もある。
【０００４】
そのため、貴重なモノクロ写真や映像に着色して、当時の画像をより鮮明に蘇らせるという試みが行われてきた。例えば、モノクロで撮影された映画のフィルムに着色してカラー化させたり、モノクロ写真をカラー化するというサービスが実際に行われている（例えば、ｈｔｔｐ：／／ｓｕｎ−ｍｅｄｉａ．ｉｎｆｏ／ｃｈａｎｇｅ＿１．ｈｔｍｌ、ｈｔｔｐ：／／ｗｗｗ．ｋｉｔａｍｕｒａ−ｐｒｉｎｔ．ｃｏｍ／ｒｅｓｔｏｒａｔｉｏｎ＿ｐｈｏｔｏ／
を参照のこと）。
【０００５】
このように、モノクロ写真のカラー化は試みられてはいるものの、カラー化の実際の手順は、カラー印刷のもとになっているカラーチャートをモノクロにして、そこから色を再現するなど、カラーとモノクロの比較検討から経験的に行うものであった。このような方法は、（１）基本的に手作業によるので操作が煩雑でかつ高価であること、（２）色の決定は経験則によるものなので現実を反映していない可能性もあること、（３）着色が不自然なものとなる場合がある等の問題があった。このうち、（１）については、近年、高性能のパーソナルコンピュータとＡｄｏｂｅ  Ｐｈｏｔｏｓｈｏｐなどの画像処理ソフトウェアの使用により、作業の効率化が行われ改善されてきた。しかし、（２）および（３）に関しては、依然として問題点が存在し、その解決は不可能な問題と捉えられていた。なぜなら、そもそも、モノクロ写真に含まれる情報は輝度情報のみであり、一方のカラー画像は各画素にＲ、Ｇ、Ｂの３つの情報を含むので、モノクロ写真のみの情報から、カラーに関わる情報を引き出すことは不可能であると考えられていたからである。
【０００６】
例えば、特許文献１は、モノクロ写真のカラー化装置を開示しており、この装置は、画像情報を読み取る記憶装置、グレースケールをカラースケールに置き換える画像処理装置、および色を調節するための発色処理装置を備えているものの、具体的にどのようなプロセスでモノクロデータをカラーデータに置き換えるかは何ら記載されておらず、モノクロデータのみからカラーデータを引き出すものではない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】実用新案登録第３１５６８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、モノクロデータのみから、そのモノクロデータをカラーデータに変換するための方法を提供することである。
【０００９】
より詳細には、本発明の目的は、モノクロ写真から得られる情報のみから、そのモノクロ写真をカラー化するための方法を提供することである。
【００１０】
本発明の別の目的は、モノクロデータのみから、そのモノクロデータをカラーデータに変換するための装置を提供することである。
【００１１】
本発明の別の目的は、モノクロデータのみから、そのモノクロデータをカラーデータに変換し、そのデータをもとにカラー写真やカラー動画を作成するための方法を提供することである。
【課題を解決するための手段】
【００１２】
本発明者は上記課題を解決するために鋭意検討した結果、新規なカラーモデル（ＵＲＳモデル）を用いて、基準色Ｐおよび屈折点Ｓを決定することにより、その写真の中の色分布を近似することができることを見出し、本発明を完成した。
【００１３】
すなわち本発明は、モノクロデータをカラーデータに変換する方法を提供し、前記方法は、ＵＲＳモデルを構築する工程、および前記ＵＲＳモデルを用いて、モノクロデータを、輝度、彩度、および色相からなるカラーデータに変換する工程を包含し、ここで、前記ＵＲＳモデルは、ｘｙｚ座標で表される三次元空間中に、黒（Ｂｋ）、白（Ｗｈ）、赤（Ｒ）、青（Ｂ）、Ｇ（緑）、シアン（Ｃ）、マゼンタ（Ｍ）、黄色（Ｙ）に関する座標を有するカラーモデルであって、前記黒（Ｂｋ）、白（Ｗｈ）、赤（Ｒ）、青（Ｂ）、Ｇ（緑）、シアン（Ｃ）、マゼンタ（Ｍ）、黄色（Ｙ）に関する座標の各々は、これらを各頂点とする平行六面体を構成し、かつこれらの各頂点は、黒（Ｂｋ）と白（Ｗｈ）のちょうど中間である灰色（中心の灰色）を中心とする半径０．５の球の表面上に存在し、黒（Ｂｋ）および白（Ｗｈ）の座標はｚ軸上に存在し、黒（Ｂｋ）の座標は（０，０，０）であり、白（Ｗｈ）の座標は（０，０，１）であり、中心の灰色の座標は（０，０，０．５）であり、前記平行六面体において、黒（Ｂｋ）に隣接する頂点は、赤（Ｒ）、青（Ｂ）、Ｇ（緑）であり、輝度はＧ（緑）＞赤（Ｒ）＞青（Ｂ）となるように配置されており、彩度はＧ（緑）＞赤（Ｒ）＞青（Ｂ）となるように配置されており、前記平行六面体において、白（Ｗｈ）に隣接する頂点は、シアン（Ｃ）、マゼンタ（Ｍ）、黄色（Ｙ）であり、輝度は黄色（Ｙ）＞シアン（Ｃ）＞マゼンタ（Ｍ）となるように配置されており、彩度はマゼンタ（Ｍ）＞シアン（Ｃ）＞黄色（Ｙ）となるように配置されており、輝度は前記ＵＲＳモデル内の高さｚで表され、彩度はｚ軸からの距離
【数１】
2016146529.tif 000003
で表され、
色相はｘ軸から計ったｚ軸のまわりの回転角θで表し、ただし、Ｒの色相はθ＝０とし、この向きをｘ軸とし、またＧの方がＢよりθが小さいとし、
前記ＵＲＳモデル内のＢｋからＲ、Ｇ、Ｂに引いたベクトル
【数２】
2016146529.tif 000004
を基準ベクトルとし、色Ｐの成分を｛ｒ，ｇ，ｂ｝とするとき、色ＰのＵＲＳモデル内の座標は基準ベクトルを用いて次式
【数３】
2016146529.tif 000005
で定義される。
【００１４】
好ましくは、前記モノクロデータをカラーデータに変換する方法は、ＵＲＳモデルを用いて、モノクロデータにおける輝度の基準色Ｐおよび屈折点Ｓを決定することにより、そのモノクロデータの中の色分布を近似する工程をさらに備える。
【００１５】
好ましくは、前記モノクロデータをカラーデータに変換する方法は、モノクロデータから得られる輝度の変化量のヒストグラムのピークおよび輝度のヒストグラムの中央値から、基準色Ｐおよび屈折点Ｓを誘導する工程を備える。
【００１６】
好ましくは、前記モノクロデータをカラーデータに変換する方法は、写真内の色が２色以上使われている場合、輝度および各画素での輝度の変化量で二次元座標にプロットし、クラスタリングを行うことにより基準の色を求める工程を備える。
【００１７】
好ましくは、前記モノクロデータをカラーデータに変換する方法は、コンピュータによって処理される。
【００１８】
好ましくは、前記モノクロデータはモノクロ写真の輝度データである。
【００１９】
さらに本発明は、上記モノクロデータをカラーデータに変換する方法によって得られたカラーデータを用いて、カラー写真を作成する方法に関する。
【００２０】
好ましくは、前記カラー写真を作成する方法は、モノクロ写真をスキャンしてモノクロデータを収集する工程、およびカラー写真を印刷する工程をさらに備える。
【００２１】
さらに本発明は、上記モノクロデータをカラーデータに変換するための装置に関する。
【発明の効果】
【００２２】
本発明のモノクロデータをカラーデータに変換する方法は、モノクロ写真などのモノクロデータのみから、例えば、木の写真だから緑にするといった、もとのモノクロ写真以外の情報を用いないで、機械的なカラー化を実現する。また、機械化が容易であるため、カラーデータを再現性よく、高速かつ大量に生成することが可能である。
【図面の簡単な説明】
【００２３】
【図１】図１は、ＨＬＳモデルの概略図である。
【図２】図２は、ＣＩＥｘｙｚカラースペースの概略図である。
【図３】図３は、ＵＲＳモデルの概略図である。
【図４】図４は、ＵＲＳモデルにおける輝度と彩度の関係を示す概略図である。
【図５】図５は、ＵＲＳモデルにおける彩度と色素の関係をｚ軸方向から見た図である。
【図６】図６は、ＵＲＳモデルにおけるＲＧＢの色相関係を示す図である。
【図７】図７は、反射に関係するベクトルを示す図である。
【図８】図８は、微小面による幾何学減衰を示す図である。（ａ）反射光遮断、（ｂ）入射光遮断。
【図９】図９は、球体のＣＧ画像の各画素の色をＵＲＳモデルにプロットしたときのＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図１０】図１０は、物体の色を（Ｒ，Ｇ，Ｂ）＝（１，０，０）、反射率を２．０、物体の表面の粗さを０．１、光源の強さを１５、光源を白色光とし、光源方向を０°回転させた場合のＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図１１】図１１は、物体の色を（Ｒ，Ｇ，Ｂ）＝（１，０，０）、反射率を２．０、物体の表面の粗さを０．１、光源の強さを１５、光源を白色光とし、光源方向を３０°回転させた場合のＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図１２】図１２は、物体の色を（Ｒ，Ｇ，Ｂ）＝（１，０，０）、反射率を２．０、物体の表面の粗さを０．１、光源の強さを１５、光源を白色光とし、光源方向を６０°回転させた場合のＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図１３】図１３は、物体の色を（Ｒ，Ｇ，Ｂ）＝（１，０，０）、反射率を２．０、物体の表面の粗さを０．１、光源の強さを１５、光源を白色光とし、光源方向を９０°回転させた場合のＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図１４】図１４は、物体の色を（Ｒ，Ｇ，Ｂ）＝（１，０，０）、反射率を２．０、光源の強さを１５、光源を白色光、光源方向と視線方向のなす角を０°として、物体の表面の粗さが０．０であるときのＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図１５】図１５は、物体の色を（Ｒ，Ｇ，Ｂ）＝（１，０，０）、反射率を２．０、光源の強さを１５、光源を白色光、光源方向と視線方向のなす角を０°として、物体の表面の粗さが０．１であるときのＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図１６】図１６は、物体の色を（Ｒ，Ｇ，Ｂ）＝（１，０，０）、反射率を２．０、光源の強さを１５、光源を白色光、光源方向と視線方向のなす角を０°として、物体の表面の粗さが０．５であるときのＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図１７】図１７は、反射率を２．０、物体の表面の粗さを０．１、光源の強さを１５、光源を白色光、光源方向と視線方向のなす角を０°として、物体の色を（Ｒ，Ｇ，Ｂ）＝（１．０，０，０）としたときのＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図１８】図１８は、反射率を２．０、物体の表面の粗さを０．１、光源の強さを１５、光源を白色光、光源方向と視線方向のなす角を０°として、物体の色を（Ｒ，Ｇ，Ｂ）＝（０．７，０，０）としたときのＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図１９】図１９は、反射率を２．０、物体の表面の粗さを０．１、光源の強さを１５、光源を白色光、光源方向と視線方向のなす角を０°として、物体の色を（Ｒ，Ｇ，Ｂ）＝（０．４，０，０）としたときのＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図２０】図２０は、反射率を２．０、物体の表面の粗さを０．１、光源の強さを１５、光源を白色光、光源方向と視線方向のなす角を０°として、物体の色を（Ｒ，Ｇ，Ｂ）＝（０．１，０，０）としたときのＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図２１】図２１は、反射率を２．０、物体の表面の粗さを０．１、光源を白色光、光源方向と視線方向のなす角を０°、物体の色を（Ｒ，Ｇ，Ｂ）＝（１．０，０，０）として、光源の強さを１０としたときのＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図２２】図２２は、反射率を２．０、物体の表面の粗さを０．１、光源を白色光、光源方向と視線方向のなす角を０°、物体の色を（Ｒ，Ｇ，Ｂ）＝（１．０，０，０）として、光源の強さを２０としたときのＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図２３】図２３は、反射率を２．０、物体の表面の粗さを０．１、光源を白色光、光源方向と視線方向のなす角を０°、物体の色を（Ｒ，Ｇ，Ｂ）＝（１．０，０，０）として、光源の強さを３０としたときのＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図２４】図２４は、反射率を２．０、物体の表面の粗さを０．１、光源を白色光、光源方向と視線方向のなす角を０°、光源の強さを１５として、物体の色を（Ｒ，Ｇ，Ｂ）＝（０，１．０，０）としたときのＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図２５】図２５は、反射率を２．０、物体の表面の粗さを０．１、光源を白色光、光源方向と視線方向のなす角を０°、光源の強さを１５として、物体の色を（Ｒ，Ｇ，Ｂ）＝（０，１．０，１．０）としたときのＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図２６】図２６は、反射率を２．０、物体の表面の粗さを０．１、光源を白色光、光源方向と視線方向のなす角を０°、光源の強さを１５として、物体の色を（Ｒ，Ｇ，Ｂ）＝（１．０，０．５，０）としたときのＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図２７】図２７は、反射率を２．０、物体の表面の粗さを０．１、光源を白色光、光源方向と視線方向のなす角を０°、光源の強さを１５として、物体の色を（Ｒ，Ｇ，Ｂ）＝（０，０．５，１．０）としたときのＵＲＳモデル内の色の分布を示す図である。（左）球体のＣＧ画像、（右）ＵＲＳモデル内の色の分布。
【図２８】図２８は、光源が十分に強く、光源方向と視線方向が一致しているときの、ＵＲＳモデルにプロットされた点の並びから導き出される、色の分布の近似である折れ線を示す。この場合、基本色とＷｈで構成される面上の点Ｐと、Ｃ、Ｍ、ＹのいずれかとＷｈを結んだ辺上の点Ｑを用いて、外側の線をＢｋ−Ｐ−Ｑ−Ｗｈと表すことができる。
【図２９】図２９は、光が十分でなかったために拡散反射成分がＰの輝度に達することができずに鏡面反射に切り替わったと想定される場合の、ＵＲＳモデルにプロットされた点の並びから導き出される、色の分布の近似である折れ線を示す。この場合、光源色が白色のとき、Ｂｋ−Ｐ上の点Ｓから線は真上に延び、モデルの上部の面との交点Ｔからは同様にＱ、Ｗｈとつながる。このとき、Ｔ−Ｑを結ぶ線は、最大値に達したＲ、Ｇ、ＢのどれかとＷｈを結ぶ直線（図ではＢ−Ｗｈ）と平行になる。
【図３０】図３０は、基準色Ｐおよび屈折点Ｑを用いて、白黒画像からカラー画像を作成する際に使用した、元のカラー画像である。
【図３１】図３１は、基準色Ｐおよび屈折点Ｑを用いて、白黒画像からカラー画像を作成したときの、近似式からの復元画像である。
【図３２】図３２は、図３１の復元画像を作成する際に使用した、ＵＲＳモデル上の点分布とそれを近似する折れ線である。
【図３３】図３３は、基準色Ｐおよび屈折点Ｑを用いて、白黒画像からカラー画像を作成する際に使用した、元のカラー画像である。
【図３４】図３４は、基準色Ｐおよび屈折点Ｑを用いて、白黒画像からカラー画像を作成したときの、近似式からの復元画像である。
【図３５】図３５は、図３４の復元画像を作成する際に使用した、ＵＲＳモデル上の点分布とそれを近似する折れ線である。
【図３６】図３６は、図３４の復元画像の作成する際に使用した、ＵＲＳモデル上の点分布と、各輝度の変化量を示す図である。（ａ）元のカラー画像、（ｂ）色分布とそれを近似する折れ線、および（ｃ）各輝度における輝度の変化量。
【図３７】図３７は、緑色の球体のＣＧ画像における輝度の変化量を示す図である。
【図３８】図３８は、暖色系の球体のＣＧ画像における輝度の変化量を示す図である。
【図３９】図３９は、青色の球体のＣＧ画像における輝度の変化量を示す図である。
【図４０】図４０は、輝度分布が一致する理想的なモデルを示す図である。（上左）元の画像、（上右）球体のＣＧ画像、（下）輝度の分布。
【図４１】図４１は、輪郭以外の変化量の割合を示す図である。（上）元の写真、（下）輪郭部分の線図。
【図４２】図４２は、クラスタリング手順を示す図である。
【図４３】図４３は、クラスタ１（青色の部分）およびクラスタ２（緑色の部分）を得るクラスタリング手順を行うためのモノクロサンプル写真を示す図である。
【図４４】図４４は、クラスタ１（青色の部分）およびクラスタ２（緑色の部分）を得るクラスタリング手順において、図４３のモノクロサンプル写真からのクラスタリング手順後のクラスタリング結果を示す図である。
【図４５】図４５は、図４４のクラスタリング結果に基づいて作製したカラー写真である。
【図４６】図４６は、図４３〜図４５のカラー化の元画像である。
【発明を実施するための形態】
【００２４】
（定義）
本発明は、本明細書に記載される特定の方法、プロトコール、および材料などに限定されず、バリエーションを含んでもよいことが理解されるべきである。本明細書において使用される技術用語は、特定の実施形態を説明する目的のためであって、本発明の範囲を限定することは意図されず、この範囲は特許請求の範囲によってのみ規定される。
【００２５】
他に規定されない限り、本明細書において、本発明を説明するために使用される科学用語および技術用語は、当業者によって共通して理解される意味を有するべきである。一般的に、本明細書に記載される数学的、物理学的、光学的、レンダリング、コンピュータ科学、または画像処理に関する用語は、周知であり、当該分野において共通して使用されるものである。
【００２６】
本発明を詳細に記載する前に、本発明の文脈において使用されるいくつかの用語が定義される。これらの用語に加えて、他の用語は必要に応じて明細書中の他の箇所で定義される。本明細書中で他に明確に定義されない限り、本明細書中で使用される当該分野の用語は、それらの当該分野で認識されている意味を有する。
【００２７】
本明細書において、「モノクロ」とは、写真等の画像が、複数の色からではなく、単色からなることを意味する。「モノクロ」は、典型的には、白黒のことであり、この場合には単色とは黒色を意味するが、いわゆるセピア色および青色も単色に含まれる。
【００２８】
本明細書において、「モノクロデータ」とは、単色からなる画像等のデジタルデータをいい、その単色の輝度を含むデータである。
【００２９】
本明細書において、「カラーデータ」とは、カラー写真における色のデジタルデータをいう。「カラーデータ」において、色の三要素は、輝度（明度）、彩度、色相（色合）で表現できる。色相とは、一般的に色と表現される性質であり、光の三原色またはその混合により表現できる。光の三原色とは、赤（Ｒ）、青（Ｂ）、および緑（Ｇ）をいい、赤（Ｒ）と青（Ｂ）を混合するとマゼンタ（Ｍ）となり、青（Ｂ）と緑（Ｇ）を混合するとシアン（Ｃ）となり、緑（Ｇ）と赤（Ｒ）を混合すると黄色（Ｙ）となる。赤（Ｒ）、青（Ｂ）、および緑（Ｇ）の三色を混合すると白色（Ｗｈ）になり、赤（Ｒ）、青（Ｂ）、および緑（Ｇ）のいずれも存在しない場合は黒色（Ｂｋ）となる。
【００３０】
本明細書において、「コンピュータによって処理される」とは、本発明における画像データ処理において、当該分野において一般に使用されるソフトウェアおよぶハードウェアを含む、コンピュータ技術を使って、本発明における画像データ処理が行われることを意味する。このようなコンピュータ技術には、Ｍｉｃｒｏｓｏｆｔ  ＥｘｃｅｌやＡｄｏｂｅ  Ｐｈｏｔｏｓｈｏｐ等のソフトウェアを使用すること、ならびに、コンピュータに連結された入出力装置を使用することが含まれる。ソフトウェアの使用には、既存のアプリケーションプログラムにデータを入力し演算結果を得る方法や、Ｍｉｃｒｏｓｏｆｔ  Ｖｉｓｕａｌ  Ｂａｓｉｃなどの開発ツールを使って作成したプログラムを使って演算結果を得る方法のいずれもが含まれる。入出力装置には、デジタルデータを入力するためのスキャナーや、画像データを印刷するためのカラープリンターなどが含まれるがこれらに限定されない。
【００３１】
本明細書において、コンピュータグラフィック処理は、当業者に公知の方法を参照して行うことができる。例えば、レンダラ関係としては、ｍｅｍｏＲＡＮＤＯＭ（ｈｔｔｐ：／／ｗｗｗ３５．ａｔｐａｇｅｓ．ｊｐ／ｓｈｏｃｋｅｒ／ｍｅｍｏＲＡＮＤＯＭ／ＣＧ／ｃｏｎｔｅｎｔｓ／ＬＴＥ１．ｈｔｍｌ）（参考文献１）、ＢＲＤＦレンダリングの方程式（ｈｔｔｐ：／／ｗｗｗ．ｓｌｉｄｅｓｈａｒｅ．ｎｅｔ／ｔｏｄｏｒｏｋｉ／ｂｒｄｆ−２８９８３７４６）（参考文献２）を参照のこと。また、画像処理関係としては、イメージングソリューション（ｈｔｔｐ：／／ｉｍａｇｉｎｇｓｏｌｕｔｉｏｎ．ｎｅｔ／）（参考文献３）を参照されたい。
【００３２】
本明細書において、ＵＲＳモデルを構築するとは、本発明において使用されるカラーモデルであるＵＲＳモデルを使用可能な状態に準備することをいう。より具体的には、ＵＲＳモデルを構築するとは、コンピュータプログラム上でＵＲＳモデルを作動させるために、適切なパラメーターを入力し、ＵＲＳモデルを演算可能な初期状態に設定することをいう。
【００３３】
（詳細な説明）
（ＵＲＳモデルの構築）
（従来のカラーモデル）
カラーモデルとは、色を規則に沿って２次元あるいは３次元空間上に配列する形式であり、色を座標で指示できるようにしたものである。カラーモデルを用いれば、色同士の違いという人間的な感覚を、それぞれの色を座標として扱うことで数値的に違いを調べることができる。
【００３４】
白黒写真から元の色を推測するためには、色ごとの輝度や彩度、色相の違いを明確にする必要がある。しかし、従来のカラーモデルの多くは、ＨＬＳモデル（図１）のように３原色で輝度がそれぞれ等しいとしてしまっており、色ごとの違いを考慮できていない。また、人の目での色の感度を正確に計測したＣＩＥカラースペース（図２）等では、形状が複雑で、三原色ＲＧＢへの分解に不規則なデータを必要としてしまうため、カラー化を考えづらくなってしまう。
【００３５】
（新しいカラーモデル（ＵＲＳモデル））
従来モデルの問題点を解消し、白黒写真から得られる輝度情報から元の色を復元するために、輝度と色との関係を明確に示せる新しいカラーモデルＵｅｄａ  Ｒｅｃｔａｎｇｕｌａｒ  Ｓｏｌｉｄ  ｍｏｄｅｌ（ＵＲＳモデル）を定義する。完成したものが図３である。
【００３６】
（ＵＲＳモデルの定義）
一般に、色を数値で表すにはいくつかの方法がある。三原色Ｒ、Ｇ、Ｂの各強度をｒ，ｇ，ｂとするとき、これを｛ｒ，ｇ，ｂ｝と記すことにする。ただし、
【数４】
2016146529.tif 000006
である。
また、色は「輝度」、「彩度」、「色相」によって表される。この３つの自由度を表すためにＵＲＳモデルは３次元直交座標の位置（ｘ，ｙ，ｚ）で色を表すことにする。
｛ｒ，ｇ，ｂ｝、輝度、彩度、色相とＵＲＳモデルの座標（ｘ，ｙ，ｚ）を次のようにして決定する。
【００３７】
［定義］
［輝度］輝度はモデル内の高さｚで表し、Ｂｋの座標を（０，０，０）、Ｗｈを（０，０，１）とする。三原色の強度が｛ｒ，ｇ，ｂ｝の色の輝度は、一般にカラー画像を白黒化する際に用いられる式をそのまま使い、次式で定義する。
【数５】
2016146529.tif 000007
（１）
［彩度］彩度はｚ軸からの距離で表す。
【数６】
2016146529.tif 000008
（２）
［色相］色相はｘ軸から計ったｚ軸のまわりの回転角θで表す。ただし、Ｒの色相はθ＝０とし、この向きをｘ軸とする。また、Ｇの方がＢよりθが小さいとする。
［色と基準ベクトル］モデル内のＢｋからＲ、Ｇ、Ｂに引いたベクトル
【数７】
2016146529.tif 000009
を基準ベクトルという。
色Ｐの成分を｛ｒ，ｇ，ｂ｝とするとき、色ＰのＵＲＳモデル内の座標は基準ベクトルを用いて次式で定義する。
【数８】
2016146529.tif 000010
【００３８】
式（１）の輝度は、明るい色ほどＵＲＳモデルでは高い位置に座標をとり、また完全な赤、緑、青では、緑が最も高く青が最も低い位置に座標をとることを意味する。
式（２）の彩度は、Ｂｋ−Ｗｈ軸（ｚ軸）上の色、つまり全てのグレーで０となり、色鮮やかなほどｚ軸から離れた位置に座標をとることを意味する。
【００３９】
（ＵＲＳモデルの条件）
以上の定義だけでは、３原色Ｒ、Ｇ、Ｂおよびそれらの補色Ｃ、Ｍ、ＹのＵＲＳモデル内の座標を計算することはできない。そこで、さらに条件を追加する。
［条件１］
ＵＲＳモデルの形状は、色を簡単に３原色に分解できるようにするため、全ての色が
【数９】
2016146529.tif 000011
の形で表せなければならない。つまり
【数１０】
2016146529.tif 000012
の３つのベクトルは一次独立であり、ＵＲＳモデルはこれらのベクトルで各辺が表せる平行六面体でなければならない。以上は基準ベクトルの定義で保証されている。
［条件２］
基本の６色で補色関係にある色ＲとＣ，ＧとＭ、ＢとＹの相対的な位置関係は等しく、それぞれの距離はＢｋ−Ｗｈの距離１に等しいとする。まとめると、
【数１１】
2016146529.tif 000013
とおくとき、
【数１２】
2016146529.tif 000014
(4)
［条件３］
ＵＲＳモデルでの基本の６色は平行六面体の各頂点に位置し、それぞれ輝度０．５のグレー（０，０，０．５）から等距離にあり、距離は０．５とする。したがって、この平行六面体は、（０，０，０．５）を中心とする半径０．５の球面に内接する。
【００４０】
（ＵＲＳモデルの確定）
以上の条件から、ＵＲＳモデル内の基本の６色、つまり、平行六面体の各頂点の座標を決定していこう。
３原色Ｒ、Ｇ、Ｂの座標を
【数１３】
2016146529.tif 000015
とおく。赤Ｒは｛１，０，０｝であるから、輝度の定義式（１）に代入すると、
【数１４】
2016146529.tif 000016
が求まる。同様にして、以下のようになる。
【数１５】
2016146529.tif 000017
【００４１】
３原色Ｒ、Ｇ、Ｂの彩度をそれぞれ
【数１６】
2016146529.tif 000018
とすると、条件３および式（５）より、
【数１７】
2016146529.tif 000019
Ｇの色相を
【数１８】
2016146529.tif 000020
Ｂの色相を
【数１９】
2016146529.tif 000021
とおくと、
【数２０】
2016146529.tif 000022
より、
【数２１】
2016146529.tif 000023
これを解くと、
【数２２】
2016146529.tif 000024
よって、
【数２３】
2016146529.tif 000025
となり、他の頂点も式（４）から次のように求まる。
【数２４】
2016146529.tif 000026
以上で新しいカラーモデルＵＲＳモデルが決定できた。
【００４２】
（ＵＲＳ座標への変換）
ＲＧＢ色空間からＵＲＳモデルへの座標の変換は次式で定義する。
【数２５】
2016146529.tif 000027
逆にＲＧＢ色空間への座標の変換は、
【数２６】
2016146529.tif 000028
で計算できる。
【００４３】
ＲＧＢ各成分と輝度との関係が、ＵＲＳモデルで用いた式（１）と異なる写真フィルムの場合でも、式（１）の定数を写真フィルムのものに変更し、それ以外の定数を計算し直せば、ＵＲＳモデルはそのまま使うことができる。
【００４４】
（光の挙動の計算）
写真内の色の特徴を考える際、ＣＧのレンダラの計算が参考になると考えた。そこで、実験用レンダラの製作と、写真内で色の決定に必要な条件の特定を行った。計算式には、物理ベースのレンダリング方程式に用いられる光の反射モデルの１つであるＢＲＤＦの式を用いた。
【００４５】
ＢＲＤＦでは、反射する光の挙動を、物体が色に応じて吸収する拡散反射の成分と、視線の向きへそのまま反射する鏡面反射の成分に分けて考える。木の表面などざらざらした表面では拡散反射の性質が強くみられ、また鉄球や鏡では鏡面反射の性質が強くみられる。
【００４６】
図７の各ベクトルはすべて長さ１の単位ベクトルであり、
【数２７】
2016146529.tif 000029
は物体の反射点Ｏから見た光源方向、
【数２８】
2016146529.tif 000030
は視線方向、
【数２９】
2016146529.tif 000031
は物体表面の法線方向である。また、∠ＬＯＶを二等分する方向を
【数３０】
2016146529.tif 000032
とし、
【数３１】
2016146529.tif 000033
に垂直な微小面を点線で表している。さらに、微小面への入射角∠ＬＯＮをθ、∠ＨＯＮをγ、光の波長をλとする（図７）。
【００４７】
まず拡散反射は、面が受け取った光を全ての向きに均等に再放射すると考えるので、面が光をどれだけ受け取れるかによって拡散反射の強度は変化する。その面が受け取る光の割合は、入射角θが大きいほど小さくなり、ベクトル
【数３２】
2016146529.tif 000034
とベクトル
【数３３】
2016146529.tif 000035
の内積で与えられる。
【００４８】
次に鏡面反射は鏡で起こるような反射であり、
【数３４】
2016146529.tif 000036
と
【数３５】
2016146529.tif 000037
の二等分方向
【数３６】
2016146529.tif 000038
に垂直な微小面で起こると考えたときの反射である。物体表面が滑らかでなく、粗さを持っている場合は、そのような微小面が物体表面に存在すると考えるのである。その微小面の存在する割合を微小面勾配分布関数Ｄ（γ）、その向きの微小面で反射した光が物体の凹凸によって遮られる割合を幾何学的減衰率Ｇ、その向きにおいての鏡面反射係数Ｆ（λ，θ）とおく。このとき、鏡面反射の輝度
【数３７】
2016146529.tif 000039
は
【数３８】
2016146529.tif 000040
で与えられる。なお、式（９）から式（１３）は参考文献２で与えられているものを引用する。
【００４９】
各項は次のようにして求められる。
まず鏡面反射係数Ｆ（λ，θ）には、フレネルの方程式を用いる。入射角をθ、調べる光の波長をλ、その波長での屈折率をとおくと、
【数３９】
2016146529.tif 000041
(10)
で求められる。つまり、
【数４０】
2016146529.tif 000042
と
【数４１】
2016146529.tif 000043
と物体の質感から求めることができる。
【００５０】
微小面勾配分布関数Ｄ（γ）は、いくつか手法があるが、今回はベックマン分布関数を用いた。ベクトル
【数４２】
2016146529.tif 000044
と
【数４３】
2016146529.tif 000045
のなす角をγ、表面の粗さを
【数４４】
2016146529.tif 000046
と置くと、
【数４５】
2016146529.tif 000047
で求められる。つまり、
【数４６】
2016146529.tif 000048
と
【数４７】
2016146529.tif 000049
と物体の質感から求めることができる。
【００５１】
最後に、幾何学減衰関数Ｇである。微小面に当たる光は、周囲の微小面によって入射光または反射光の一部が遮られる。まず、入射光が遮られる場合の減衰率Ｇｂは、
【数４８】
2016146529.tif 000050
(12)
である。また、反射光が遮られる場合の減衰率Ｇｃは、
【数４９】
2016146529.tif 000051
(13)
である。減衰は入射時または反射時のどちらかのみで起こり（図８）、減衰率Ｇは０（完全にさえぎられる）〜１（減衰なし）であるから、
【数５０】
2016146529.tif 000052
である。つまり、
【数５１】
2016146529.tif 000053
、
【数５２】
2016146529.tif 000054
、
【数５３】
2016146529.tif 000055
、
【数５４】
2016146529.tif 000056
から求めることができる。
よって、写真内で色を左右する要素は、ベクトル
【数５５】
2016146529.tif 000057
、
【数５６】
2016146529.tif 000058
、
【数５７】
2016146529.tif 000059
、
【数５８】
2016146529.tif 000060
と物体の質感である。
【００５２】
（理想的なモデル）
カラー化を考える際、最初から実際の写真のような複雑で多様な条件を考慮するのは困難である。そこで、実際の写真と似た特徴を持ち、かつ単純な画像があれば理想的であると考えた。光の挙動の計算式を基に、このような理想的なモデルを考案した。
【００５３】
写真に写る色は、法線ベクトル、視線方向、光源方向、光源を視線方向に反射可能な微小面の法線ベクトル、物体の質感の５つの要素によって変化する。このうち、まず光源は太陽光線と考えると平行光線であるため、写真に写るどの部分でも光源方向は変化しない。次に、視点が物体から十分に離れているとすると、平行投影に近づくため、写真内で視線方向は変化しないとみなすことができる。さらに、鏡面反射を起こす微小面の法線ベクトルは、視線方向ベクトルと光源方向ベクトルのハーフベクトルであるため、変化しないと言える。よって物体の質感が同じである範囲においては、写真の色の変化は法線ベクトルの変化によってのみ起こるといえる。
【００５４】
［仮説］
実際の写真において、ある程度広い範囲が撮られており、全ての方向に均等に法線ベクトルが分布している場合、写真内に映りうる色は、全ての向きに等しい割合で法線ベクトルをもつと考え、「球体」によってすべてを調べることができると考える。
【００５５】
この球体を「理想的なモデル」とし、条件を変えて映した球体のＣＧ画像を用いて、色を調べることにする。
【００５６】
（理想的なモデルを用いた数値実験）
球体のＣＧ画像（図９左）の各画素の色をＵＲＳモデルにプロットすると、図９右のようになる。
図９右のモデルでは、ＣＧ画像に表した元の色である「少し明るい赤色」の点と白Ｗｈ、黒Ｂｋを結んだ線上に、ＣＧ画像内のほとんどの色がのっており、元の色の点の少し内側でそれぞれ折れ曲がり、さらにその囲まれた領域に散らばりを持っている。
【００５７】
そこで、ＣＧで画像の条件を変えた際、ＵＲＳモデルにプロットされた点の並びがどのように変化するかを調べる。
【００５８】
物体の色を（Ｒ，Ｇ，Ｂ）＝（１，０，０）、反射率を２．０、表面の粗さを０．１、光源の強さを１５、光源を白色光、光源方向と視線方向のなす角を０°、以上を基本条件とし、これらの一部を系統的に変化させたとき、ＵＲＳモデル内の点の分布がどう変化するかを調べる。
【００５９】
［数値実験１：光源方向の影響］
光源方向をｘ軸の周りで視線方向から０°、３０°、６０°、９０°と変化させた際、色の並びがどう変化するかを調べた（図１０〜１３）。このように、光源方向を変化させた場合、視線方向となす角が広がるほど散らばりが強くなった。また、外側の主な線は変化しないことがわかった。
【００６０】
［数値実験２：表面の粗さｍの影響］
光源方向を０°とし、物体の表面の粗さを変化させた際の色の分布を調べた（図１４〜１６）。このように、粗さを変化させてもＢｋおよびＷｈから折れ曲がり点までは変化はないが、荒さを上げるほど折れ曲がり点がＢｋ、Ｗｈに近づくことがわかった。
【００６１】
［数値実験３：物体の色の濃さの影響］
物体の色を（Ｒ，Ｇ，Ｂ）＝（１．０，０，０）、（０．７，０，０）、（０．４，０，０）、（０．１，０，０）のように、色の濃さを変化させたときの色の分布を調べた（図１７〜２０）。このように、物体の色の濃さを変化させてもＢｋおよびＷｈから折れ曲がり点までは変化はないが、色が濃くなるほど折れ曲がり点がＢｋ、Ｗｈに近づくことがわかった。
【００６２】
［数値実験４：光源の強さの影響］
光源の強さを１０、２０、３０と変化させた場合の色の分布を調べた（図２１〜２３）。このように、光源の強さを変化させてもＢｋおよびＷｈから折れ曲がり点までは変化はないが、光源が弱くなるほど折れ曲がり点がＢｋ、Ｗｈに近づくことがわかった。
【００６３】
［数値実験５：物体の色相の影響］
物体の色相を、他の基本色であるＧ（０，１．０，０）やＣ（０，１．０，１．０）、また基本色以外の色として（１．０，０．５，０）や（０，０．５，１．０）にしたときの色の分布を調べた（図２４〜２７）。このように、他の基本の色でも、分布の外側の線は、その色と黒、白を繋いだ線になった。また、基本の６色でない色の場合の分布の外側の線は、黒とその色、その色とＣ，Ｍ，Ｙ−Ｗｈの軸上の点、軸上の点と白をそれぞれ結んだ線となった。
【００６４】
（色の分布の近似）
数値実験結果より、ＵＲＳモデルにプロットされた点の並びは、物体の色などの条件によって、もっと簡単に表せるのではないかと考えた。そこで、色の分布の近似を考えた。
【００６５】
まず、光源が十分に強く、光源方向と視線方向が一致しているとき、基本色とＷｈで構成される面上の点Ｐと、Ｃ，Ｍ，ＹのいずれかとＷｈを結んだ辺上の点Ｑを用いて、外側の線をＢｋ−Ｐ−Ｑ−Ｗｈと表すことができる（図２８）。
【００６６】
また、内側への折れ曲がりは、光が十分でなかったために拡散反射成分がＰの輝度に達することができずに鏡面反射へと切り替わったと考えられる。光源色が白色のとき、Ｂｋ−Ｐ上の点Ｓから線は真上に延び、モデルの上部の面との交点Ｔからは同様にＱ、Ｗｈとつながる。このとき、Ｔ−Ｑを結ぶ線は、最大値に達したＲ，Ｇ，ＢのどれかとＷｈを結ぶ直線（図ではＢ−Ｗｈ）と平行になる（図２９）。つまり、ＱはＴが決まれば１つに定まる。またこのＴもＳの真上でありカラーモデルの面との交点であるため、Ｓが決まれば１つに決まる。またこのＳも、Ｂｋ−Ｐ軸上にあるため、Ｐが定まればＳの輝度の情報のみで１つに決まる。
【００６７】
この近似方法では、ある輝度を示す線上の点が１つであるため、白黒写真の各画素輝度の輝度画素にそれぞれ相当する色を当てはめれば、写真の条件さえ合えばカラー化が可能である。つまり、条件のあった白黒写真のカラー化に必要な情報は、Ｐの座標とＳの輝度の情報のみである。
【００６８】
そこで、Ｐを「基準色」、Ｓを「屈折点」と呼ぶことにし、これらの特定を目指す。
【実施例】
【００６９】
以下に実施例を挙げて本発明をより詳細に説明するが、本発明はこれらの実施例により限定されない。
【００７０】
（実施例１  実際の写真での近似の検証）
球による理想的なモデルにおいてでは成り立った、色の分布の近似方法が、実際の写真でも成り立つかをつぎの手順で調べた。
（１）元のカラー画像（図３０）をデジタル処理により一旦モノクロ画像に変換する。
（２）カラー画像の色をＵＲＳモデルにプロットする。図３２の赤い点がその分布である。
（３）この赤い点の分布を図３２の青い折れ線で近似する。
（４）青い線に従って、モノクロ画像の色を復元し、図３１が得られる。図３３〜図３５も同様である。
復元の精度の評価には、カラーモデル内での距離の平均を用いた。
図３０の写真の復元での平均誤差は０．０４２８、図３３の写真の復元での平均誤差は０．０２７４となった。
このように、写真全体が似た色相である場合、近似式から元の色に大まかに復元することができることがわかった。
【００７１】
（実施例２  基準色、屈折点の輝度の特定）
写真の条件を変えた際、写真全体の明るさや、隣どうしの画素を比べたとき鏡面反射等の明るさの差が大きくなる部分が変化した。そこで、写真全体でそれぞれの輝度を示す「画素数」および「輝度の変化量」を調べれば、基準色や屈折点などの特徴点の輝度が求まるのではないかと考えた（図３６）。
【００７２】
図３６（ｃ）のように、各輝度での輝度の変化量のヒストグラムでピークを示す輝度は、基準色の輝度と一致し、屈折点は輝度のヒストグラムの中央値と一致する。ただし、理想的なモデルでは輪郭の存在を考慮していないため、現時点では計算による証明はできていない。
【００７３】
（実施例３  色相の白黒写真への現れ方）
理想的なモデルにおいて、物体の色の基準色の輝度が同じで色相のみが違うとき、画像にどのような違いが現れるかを調べた（図３７〜図３９）。
右側のグラフはそれぞれの画像についての、各輝度での輝度の変化量の平均値のグラフである。このように、色相の情報は、ヒストグラムの「形」に現れた。
【００７４】
（実施例４  同じ色分布の理想的なモデルの特定）
色相の特定を行うためには、元の写真に写る物体の色が指定した色相のときの画像が必要であるが、それを得るためには映っている物体の形状を特定しなければならず、白黒写真から色相による差を調べられるほどの精度で立体化することは困難である。
【００７５】
しかし、理想的なモデルのように、単純な画像であれば、ＣＧを用いて計算することは容易である。また、写真内に写る物体の法線ベクトルの分布が球体と同じであれば、光源の向き等の他の条件を合わせれば、色の分布、輝度の分布が元の写真と等しい球体のＣＧ画像、つまり写真の画素の位置を並び替えて作りえる球体の画像が作れることになる。図４０は輝度分布が一致する理想的なモデルを示す。よって、このような画像に置き換えた時の、光源方向等の条件の特定を目指す。
【００７６】
まず、光源の方向についてである。光源の方向を変えると、光源方向が視線方向から離れるほど輝度分布が黒側に偏る。一般的な素材の材質では、鏡面反射の性質はそれほど広範囲では起こらないため、輝度のヒストグラムのピークは、普通、基準色の輝度よりも下、つまり拡散反射の性質の強い部分に現れる。また球体のように法線ベクトルの分布が一様な場合、法線ベクトルが視線方向ベクトルと一致する部分の色の面積が最も大きく映るはずである。
よって、輝度のヒストグラムで最大値を示すのは、光源方向と視線方向のなす角をθとするとき、
（基準色の輝度）×（光源の強さ）×ｃｏｓθ
である。また、屈折点について、
（屈折点の輝度）＝（基準色の輝度）×（光源の強さ）
以上より、屈折点、基準色のそれぞれの輝度から光源の方向と強さと求めることができる。
【００７７】
（実施例５  色相の特定）
写真から条件の一致する球体を作り、色相を変化させて「ある輝度での輝度の変化量」のヒストグラムを作り、どの色相で最も元の写真のヒストグラムに近づくかを調べる。
まず、理想的なモデルでは輪郭による輝度の変化を考慮していないため、写真から輪郭での変化を除去する。写真を取り込むときの大きさや映っている物体の大きさによって、全体的な変化量の大きさが変化してしまうため、輪郭部での輝度の変化量は写真によって異なる。そこで、輝度の変化量の度数分布表を作り、平均を下回る変化量の画素は、
【数５９】
2016146529.tif 000061
、それ以外は１．０を輪郭以外の変化量の割合とし、全ての画素でこの値を記録する。ある輝度での輝度の変化量の平均値を求める際、各画素でのこの割合を用いて重み付き平均としたところ、輪郭部での変化量を除いた、理想的なモデルに近いヒストグラムとなった（図４１）。
【００７８】
色相の絞り込みは、色相情報が輪につながり循環してしまっているため、簡単な式で値として出すことができない。そこで、基本の６色の色相でそれぞれ球体のＣＧ画像を作り、それぞれの画像と写真とで、輝度の変化量のヒストグラムを比較し、違いを各輝度での値の差の２乗値の平均として計算する。６つのうち最もヒストグラムの形の近いものと、その両隣でより近いものとの間に正しい色相があるとする。これら２色を結んだ直線状で物体の色を変化させ、２分法によって本来の色相の色を求める。
【００７９】
（実施例５  ２色以上の場合の特定）
ここまでは写真全体での基準色が１つの場合を扱ってきたが、実際の写真では当然複数色用いられている場合が存在する。写真内の色が２色以上使われている場合、現実の色の近い部分ごとに画像を分割し、それぞれで色を特定すればよいと考えた。
【００８０】
ここまでの色の特定の際に、「輝度」と「各画素での輝度の変化量」の情報を用いていた。そこで、この２つの要素で２次元の座標をとれば、各画素が元の色ごとにかたより、分類できると考えた。分類方法には、クラスタリングを用いた。図４２にクラスタリング手順の概略を示す。今回用いるクラスタリング手法は、Ｋ−ｍｅａｎｓ＋＋法を元に高速化を図って独自に開発したものである。
【００８１】
まず、画像内の全画素について、ｘ軸を「各画素での輝度の変化量」、ｙ軸を「輝度」とする座標をとる。ランダムに一点をとり１つめのクラスタ中心とし、各データについてその点からの距離を計算する。この距離が最も遠い点を新しいクラスタ中心とし、各データをどちらに近いかで分類する。クラスタ中心を３点以上にする場合は同様に各データで最も近いクラスタ中心との距離を求め、その距離が最も遠いものを新しいクラスタ中心とした。
【００８２】
次に、各クラスタで属しているデータの座標の重心を求め、そのクラスタのクラスタ中心を重心に更新する。各データで更新されたクラスタ中心でのクラスタを振り直し、重心を求めなおす。この動作をクラスタの割り当てが変わらなくなるまで行う。こうして求めたクラスタそれぞれに分割して基準の色を求めることで、写真の色分けが可能になった。
【００８３】
しかし、実際の写真では、色は急に変わるのではなく徐々に変わるため、間の色が存在する。そこで、それぞれのクラスタで一旦基準の色を推定し、各画素でそれぞれのクラスタ中心との距離を調べ、その比で色を混ぜることにより表せる。これにより、色の変化がなめらかになり、カラー化した結果が自然な色合いになった。図４３にモノクロサンプル写真、図４４にクラスタリング結果、図４５にカラー化結果、図４６に元のカラー画像を示す。
【００８４】
それぞれのクラスタで基準色を求めると、クラスタ１（図中の青い部分）が（０．２９８，０．２９８，１．０）、クラスタ２（図中の緑の部分）が（０，１．０，０）となった（図４４）。
【００８５】
今回の研究では、カラー化に必要な情報を絞り込み、また写真を球体という簡単な形に置き換えることで、カラー化の基本の処理ができた。しかし、現時点ではカラー化の成功例が少なく、精度が低い。その原因として、理想的なモデルでの「法線ベクトルが全ての方向に均等に存在する」という条件を写真が十分に満たしていないのではないかと考えている。例えば建物等をとった際には、映っている「面」の向きの法線ベクトルが多くなってしまう。そこで今後は、球体だけでなく、直方体等の法線ベクトルに偏りのある立体も理想的なモデルとしていきたいと考えている。
【００８６】
また、実際の写真から条件の同じ理想的なモデルを求める際、現在は物体の質感を固定しているため、特殊な材質には対応できない。また、ＵＲＳモデル内での色の分布の近似には、光源が白色光であるという条件があるため、夕焼け等の写真の再現が正確でない。今後は、このような写真が撮られた時の条件をもっと読み取ることで、より多くの写真に対応できるカラー化手法を開発したいと考えている。
【図１】
2016146529.tif 000065
【図２】
2016146529.tif 000066
【図３】
2016146529.tif 000067
【図４】
2016146529.tif 000068
【図５】
2016146529.tif 000069
【図６】
2016146529.tif 000070
【図７】
2016146529.tif 000071
【図８】
2016146529.tif 000072
【図９】
2016146529.tif 000073
【図１０】
2016146529.tif 000074
【図１１】
2016146529.tif 000075
【図１２】
2016146529.tif 000076
【図１３】
2016146529.tif 000077
【図１４】
2016146529.tif 000078
【図１５】
2016146529.tif 000079
【図１６】
2016146529.tif 000080
【図１７】
2016146529.tif 000081
【図１８】
2016146529.tif 000082
【図１９】
2016146529.tif 000083
【図２０】
2016146529.tif 000084
【図２１】
2016146529.tif 000085
【図２２】
2016146529.tif 000086
【図２３】
2016146529.tif 000087
【図２４】
2016146529.tif 000088
【図２５】
2016146529.tif 000089
【図２６】
2016146529.tif 000090
【図２７】
2016146529.tif 000091
【図２８】
2016146529.tif 000092
【図２９】
2016146529.tif 000093
【図３０】
2016146529.tif 000094
【図３１】
2016146529.tif 000095
【図３２】
2016146529.tif 000096
【図３３】
2016146529.tif 000097
【図３４】
2016146529.tif 000098
【図３５】
2016146529.tif 000099
【図３６】
2016146529.tif 000100
【図３７】
2016146529.tif 000101
【図３８】
2016146529.tif 000102
【図３９】
2016146529.tif 000103
【図４０】
2016146529.tif 000104
【図４１】
2016146529.tif 000105
【図４２】
2016146529.tif 000106
【図４３】
2016146529.tif 000107
【図４４】
2016146529.tif 000108
【図４５】
2016146529.tif 000109
【図４６】
2016146529.tif 000110