白黒フィルム写真のカラー化
６年Ｂ組 上田樹
指導教員 米田 隆恒

１.要約
本研究では、白黒フィルム（以下、フィルムとは白黒フィルムを指す）で撮られた写真から、元の色の特定を試みる。
ある波長の光がフィルムに及ぼす影響は、波長によって異なる。その違いを利用すれば、反射した色を特定することができると考えた。また、ある 1 色の物体を映した写真における色の違いは、法線の向きの違いによるものであり、新たに定義したカラーモデルを用いればモデル上のただ 1 点の特定のみで全ての色が再現可能である。
キーワード 輝度、カラーモデル、基準色、屈折点、CG、法線ベクトル

２.研究の背景と目的一般に用いられているカラー化技術は手作業によるものか、自動的なものも似たカラー画像を用いて手作業を再現した手法がほとんどである。これまでは白黒写真には同一の明るさを示す色が無数に存在し得るため、理論的なカラー化は不可能だと言われてきた。しかし私は、1画素ではなく写真全体で見れば、輝度の分布等の情報も利用できると考えた。また、すべての画素の色を特定しなくても、「基準色」という一色が決まればすべての色が再現可能であると考えた。これら
2 点について考察し、白黒フィルム写真をカラー化したのでその詳細を報告する。
３．研究内容３．１ フィルムに映る色の検証とカラーモデルの考案フィルムで物体を撮影した際、写真内での明るさの変化は元の色によって異なると考えた。色の違いを考えるためにまず、フィルムが捉える「明るさ」と、カラー化の目標であるデジタルカメラがとらえる「色」を調べる必要がある。そこで、さまざまな色の色見本に照明を当て、絞り値を変えながらフィルムカメラ、デジタルカメラでそれぞれ撮影した。

図１本来の輝度とフィルム写真での関係

図２ 色ごとの露出値に対する輝度
結果より、フィルムに投影された色をRGB 等のデジタル的な色と対応させる、新しいカラーモデルを考える。以下、黒(Bk)を 0，白(Wh)を 1 とするフィルム写真上での明るさを「輝度」と定義する。
フィルムに写る色は同じ物体であっても撮影された条件によって変化するため、色は相対的に定義するべきであると考えた。実験１の結果より、フィルムは白、黒に近い部分では、光の強さの変化に対する輝度の変化が小さく、それぞれ 0～1の間で収束していくことが伺える。また、ある彩度を持った色に光を当てた際、ある一定の強度において最大の彩度を持ち、それよりも光が弱いまたは強い、つまり白または黒に近づけさせるとその色は鮮やかさを失う。これらの情報から、輝度0.5 のグレーを中心として色を相対的に扱えば、あらゆる色は輝度 0.5 のグレーを中心とする半径 0.5 の球の内側に表せると考えた。

図３ 考案したカラーモデル

則的な並びになっているのではないかと考えた。そこで、1 枚の写真に写るすべての色をカラーモデル上にプロットし、その特徴を調べた。

図４ プロット結果１

デジタルの色に変換するには、基準となる点 R、G、B をこの球面上にとり、⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ を z 軸方向とする 3 次
黒を原点、BkWh
元空間での、それぞれの位置ベクトルr, g⃗, ⃗bに色の座標を分解すればよいと考えた。デジタルで扱える色をできるだけ広⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ とし、R の yくとるためr + g⃗ + ⃗b = BkWh
座標を 0 とすると、R、G、B の各輝度さえ与えれば、それぞれの座標が決定できる。今回の実験では、白黒化処理に用いられる式から求めた輝度を用いて、R(0.458, 0, 0.299) 、 G( － 0.383, 0.309,0.587)、B(－0.075, －0.309, 0.114)とする。
３．２ 写真における色の特徴を調べる
写真内のすべての画素の色が独立しているわけではない。例えば赤色の物体を撮影した写真では、多くの画素が大まかには「赤色」である。これらの色は明暗の違いはあっても、カラーモデル上では規図５ プロット結果２

プロット結果より、輝度の変化に対して色の変化が単純であることから、写真に写る色は、ある色が光の当たり方によって変化しただけではないかと考えた。
そこで、CG レンダラ等に用いられる光の反射モデルである 2 色性反射モデルから、色を変化させる要素を考えた。

⃗ を x 軸方向に固定して yz 平面に平方向𝑉行投影した CG 画像をつくり、カラーモデル上にプロットした。𝐿⃗，p を少しずつ変化させて CG 画像をつくり、プロット結果の違いを調べた。
結果（抜粋）

図６ 色を決める要素
2 色性反射モデルでは反射される光のうち、全方向に等しく散乱される成分を乱反射、光源方向からの光を視線方向に反射できる法線の微小面で起こる強い反射を鏡面反射と呼ぶ。ある法線ベクトル⃗ の面において、光源方向ベクトル𝐿⃗，視𝑁⃗ ，物質の粗さを r と置
線方向ベクトル𝑉⃗ と𝐿⃗ ，鏡面反射は𝑁⃗ ，𝐿⃗ ，
くと、乱反射は𝑁⃗𝑉 ，r に依存する。これらの要素のうち、光源が太陽光のように平行光線であるとすると、物体のどの位置においても𝐿⃗ が⃗ も、一般的なレンズ一定である。また𝑉においてはほぼ一定とみなせる。つまり、材質の一様な物体の写真において、色の変化は法線ベクトルの違いによってのみ引き起こされる。よって、ある写真に写る物体の全ての色は、同じ色・材質の球体の画像にも現れる。なぜなら、球体は写真に写り得るあらゆる法線ベクトルの面を持つからである。そこで、球体のCG 画像を理想的なモデルとし、様々な色や条件の球体の CG 画像をつくり、カラーモデル上にプロットすれば、カラーモデル上での色の並びの特徴がわかると考えた。
３．３ 理想的なモデルのもつ色
3 次元空間上に、原点を中心とする半径 1 の球を置き、光源方向ベクトル𝐿⃗ ，光源強度 p(lux)の平行光線をあて、視線上を基準に、光源を 60°傾けた場合、光の強度を半分にした場合、表面の質感を荒くした場合である。
カラーモデル上での座標の並びは、4本以下の線分で表される折れ線の形になった。各頂点を図７のように点 P，Q，Sとおく。物体の色や撮影条件に関わらず、PQ は Bk－Wh に平行であり、QS は R（色相に応じて G または B）－Wh と平行であった。よって、点 Q，S は P から特定することができる。つまり、画像内のすべての色は、点 P の示す 1 色のみから求められる。このような色を「基準色」と定義する。写真をカラー化するには、この基準色を特定すればよいと考えた。

画像にすることが可能である。

図７ カラーモデル上の折れ線
３．４ 基準色の輝度の特定
法線と光源方向のなす角が θ の面での乱反射成分の輝度は、（基準色の輝度）×cosθ で計算できる。cosθ は θ が小さい部分での変化が緩やかであることから、ある輝度の画素数のヒストグラムをとれば、基準色の輝度付近の度数が大きくなるのではないかと考えた。そこで、カラー写真からプロット結果とヒストグラムを取得し、基準色の輝度とヒストグラムの関係を調べた（図８）。
３．５ 基準色の特定
実験１より、元の色によって、輝度の上限値と、輝度の変化の仕方に違いが現れることが分かった。しかし、写真において、輝度の変化量は、撮影条件や物体の大きさ等に大きく左右される。そこで、写真を同じ条件の理想的なモデルに置き換えられないかと考えた。
人工物以外の物体では、法線方向には散らばりがある。十分に広い空間を映しているとき、法線の分布は均一になるのではないかと考えた。映る色を変化させるのは法線であるから、法線の分布が等しい画像同士では、撮影条件が同じなら輝度のヒストグラムも同じ形をとる。つまり、写真の画素を並び替えれば球体の図８ 実験対象の写真（上）、輝度のヒストグラム（左）カラーモデ
ルへのプロット結果（右）理想的なモデルにおいて、一般的には、光源方向となす角 θ が等しい法線をもつ面同士はほぼ同じ輝度をもち、その輝度は θ が小さいほど高い。よって、θ の分布が等しくなるように各画素の輝度と θを対応させれば、元の物体の形状に関わらず、法線の変化による色の変化を得ることができると考えた。
検証のため、まずカラー写真に対して、同じ基準色の理想的なモデルをつくり、光源等の調整によって同じ形の輝度のヒストグラムが得られることを確かめた。
次に、写真の輝度分布に合わせて θ を割り振り、横軸に θ，縦軸に輝度のグラフを割り当て、同様のことを理想的なモデルで行った際と同じ形状のグラフになるかを調べた。

図 11 白黒写真

図９ 理想的なモデルでの実験結果

図 12 カラー化結果

図 10 実際の写真での実験結果
θ から露光量は計算できるため、実験１でのグラフの傾きに相当する値が計算できる。また、写真が十分に明るければ、輝度が収束する上限の値も計算できる。
これらの値を実験１の値と比較し、最も近いものを選べば、基準色を特定することができる。
３．６ カラー化
ここまでの手法を使い、実際のフィルム写真をカラー化した。なお、色の違う物体ごとに分割するために、クラスタリングを用いた。図 11 の写真をカラー化したところ、図 12 のようになった。

４．まとめと今後の課題
写真を理想的なモデルに簡略化し、白黒写真から色を推定できるだけの情報を得ることができた。しかし、人工物のような平面を含むものや、空のように法線を持たない物から情報を正しく得るには、手法の改善が必要である。
５．参考文献[1] 「色彩の科学」、金子隆芳、岩波文庫（1988）[2] 「色彩論」、J. W. V. Goethe 著、木村直司訳、ちくま学芸文庫(1810)[3] 「物体のカラー反射モデル」、富永昌治、大橋伸一郎、情報処理学会論
文誌 33(1992)37-45
６．謝辞
本研究では、顧問の米田先生の指導を受けました。また、東北大学の阿部准教
授及び「科学者の卵」メンターの方に多大なご意見、ご指摘を賜りました。この場を借りて、御礼申し上げます。