～昔の写真を4Kテレビで見てみよう！～
平成27年いわてものづくり・ソフトウェア融合テクノロジーセンター研究課題 採択課題
課題名：ユーザの嗜好を反映できる高画質・高品質画像表示装置の開発
研究代表者：ソフトウェア情報学部 教授 亀田昌志
研究メンバー： 鶴崎裕貴、中村星玲名（ソフトウェア情報学研究科）
技術キーワード：画像処理、超解像、鮮鋭化▼研究の概要（背景・目標）
近年の画像デバイスの技術発展により，高解像度の画像が表示可能となった．
しかしながら，過去に撮影された低解像度の画像を表示する際，線形補間などの単純な拡大では，拡大画像にボケやジャギーが発生してしまう．この問題に対して，解像度変換と高周波成分の補填を伴う超解像がある．本研究では，拡大画像の鮮鋭化を目的とした超解像技術を提案する．

拡大前

拡大後

▼研究の内容（方法・経過）
入力画像にTotal Variation(TV)正則化とTV正則化拡大を適用し，テクスチャ画像と拡大骨格画像を生成する．
テクスチャ画像から高周波成分を抽出し，追加の高周波成分を補填する．得られた高周波成分とテクスチャ画像を拡大し，拡大骨格画像に加算することで拡大画像を得ることができる．また，高周波成分を拡大する際にガウシアンノイズを用いることで，入力画像に存在しないランダム性のある高周波成分が生成され，これらの成分を付加することで拡大画像のテクスチャの質感を改善する．
拡大骨格画像
TV正則化拡大入力画像－

拡大テクスチャ画像

テクスチャ画像
補間法

TV正則化

高周波テクスチャ画像

骨格画像
HPF＋

拡大画像

拡大高周波
テクスチャ画像PSSR with
Gaussian noise▼研究の成果（結果・考察）
提案手法によって生成された拡大画像は，補間法や既存の超解像手法によるものよりも鮮鋭な画像を得ることができた．これは，入力画像には存在しないランダム性のある高周波成分を付加したことで，補間法などでは得られない新たな画素の振動が生成され，視覚的な刺激が得られたことで鮮鋭感が向上したと考えられる．

Input image

Bicubic

Dong et al. [1]

Proposed method
without Gaussian noiseProposed method▼おわりに（まとめ・今後の展開）本研究では，TV正則化を用いた超解像を提案した．提案手法では，追加の高周波成分を生成し，そこにガウシアンノイズを付加することで拡大画像の鮮鋭感が改善された．ガウシアンノイズは，入力画像に存在しない高周波成分を生成することができ，これによって拡大画像にランダム性のある高周波成分が付加される．これにより，拡大画像に視覚的に新たな刺激が得られ，鮮鋭感を向上させることができた．しかしながら，画像のオブジェクトの画質改善が既存の手法と比べて十分になされていないため，今後の課題として，オブジェクトの画質を既存の手法と同等の画質にしつつ，テクスチャにおいて更なる画質改善に取り組む．
[1] C. Dong, C. C. Loy, K. He and X. Tang, “Image Super-Resolution Using Deep Con-volutional Networks,” arXiv preprint arXiv: 1501.00092, 2014.

Ᏻ඲㐠㌿ᨭ᥼䛾䛯䜑䛾ឤ᝟ඹ᭷䜢⏝䛔䛯䝠䝲䝸䝝䝑䝖䝬䝑䝥䝅䝇䝔䝮䛾㛤Ⓨ㰺⸨⩏௮ 䠈 㕥ᮌΎᐶ 䠈 ୰㔝⿱㈗ 䠈 すᒸ኱ 䠈 㧗ᶫᖿᒾᡭ┴❧኱Ꮫ኱Ꮫ㝔䝋䝣䝖䜴䜵䜰᝟ሗᏛ◊✲⛉䠈 ᮧᒣඃᏊᒾᡭ┴❧኱Ꮫ䝋䝣䝖䜴䜵䜰᝟ሗᏛ㒊ᒾᡭ┴❧኱Ꮫᆅᇦ㐃ᦠᮏ㒊䐟 ⫼ᬒ䐠 ᶵᲔⓗ䛺ഃ㠃䛛䜙䛾㐠㌿ᨭ᥼• ㌴䛿⌧௦♫఍䛻䛸䛳䛶ᚲ㡲䛺䝒䞊䝹• ᶵᲔⓗ䛺ഃ㠃䛛䜙䛾㐠㌿ᨭ᥼– ୡ⏺䛷11൨ྎ௨ୖ– ᪥ᮏ䛷7600୓ྎ௨ୖ– ᶓ⁥䜚㜵Ṇ⿦⨨䠄ESC䠅– 䜰䞁䝏䝻䝑䜽䝤䝺䞊䜻䝅䝇䝔䝮䠄ABS䠅– ⾪✺⿕ᐖ㍍ῶ䝅䝇䝔䝮䠄䝇䝞䝹䛾EyeSight➼䠅• ㌴䛿ே䛻䛸䛳䛶༴㝤䛺Ꮡᅾ– 63୓௳䛾஺㏻஦ᨾ
– 78୓ே䛾㈇യ⪅䛸⣙4400ྡ䛾Ṛ⪅

஺㏻஦ᨾ䜢ῶ䜙䛩䛯䜑䛾㐠㌿ᨭ᥼ᢏ⾡䛜㔜せ• ஺㏻஦ᨾ䛿ῶᑡ䚸䛧䛛䛧㢌ᡴ䛱– ᖺ㛫95୓௳䛛䜙63୓௳䜈䛸኱䛝䛟ῶᑡ– ㏆ᖺ䛾஺㏻஦ᨾ௳ᩘ䛾ῶᑡ䛿㢌ᡴ䛱ே㛫ⓗ䛺ഃ㠃䛛䜙䛾㐠㌿ᨭ᥼䛜ᚲせ䐡 ே㛫ⓗഃ㠃䛛䜙䛾㐠㌿ᨭ᥼䐢 䝠䝲䝸䝝䝑䝖䝬䝑䝥䛸䛿• ༴㝤䛺ሙᡤ䜢཰㞟䛧ᆅᅗୖ䛻⾲♧• ༴㝤䛺ሙᡤ䜢཰㞟䛧ᆅᅗୖ䛻⾲♧– happiness䠈surprise䠈fear䠈sadness䠈anger䠈disgust䛺䛹
ᵝ䚻䛺ឤ᝟䛜ᚰ⌮Ꮫ䛷◊✲– 㐠㌿⪅䛾ឤ᝟䛿㐠㌿ᛶ⬟䛻ᙳ㡪䜢୚䛘䜛䠄౛䠖Road Rage䠅– 㐠㌿㌴䛾ឤ᝟䜢฼⏝䛧䛯㐠㌿ᨭ᥼䛾◊✲䛜┒䜣ᮏ◊✲䛿㐠㌿⪅䛾ឤ᝟䜢฼⏝䛧Ᏻ඲㐠㌿ᨭ᥼䛾䛯䜑䛾䝠䝲䝸䝝䝑䝖䝬䝑䝥䝅䝇䝔䝮䜢ᥦ᱌ᇸ⋢┴䛥䛔䛯䜎ᕷ᪥㐍ᑠᏛᰯ䝠䝲䝸䝝䝑䝖䝬䝑䝥㻴㻻㻺㻰㻭䜲䞁䝍䞊䝘䝡㻿㻭㻲㻱㼀㼅㻌㻹㻭㻼䛆ᘬ⏝ඖ䛇 㼔㼠㼠㼜㻦㻛㻛㼣㼣㼣㻚㼏㼕㼠㼥㻚㼟㼍㼕㼠㼍㼙㼍㻚㼖㼜㻛㻜㻜㻝㻛㻜㻝㻜㻛㻜㻜㻝㻛㼜㻜㻞㻜㻥㻥㻞㼋㼐㻛㼒㼕㼘㻛㼚㼕㼟㼟㼔㼕㼚㼋㼙㼍㼜㻚㼓㼕㼒㼔㼠㼠㼜㻦㻛㻛㼟㼍㼒㼑㼠㼥㼙㼍㼜㻚㼖㼜㻛䐣 䝠䝲䝸䝝䝑䝖䝬䝑䝥䛻ᚲせ䛺ᶵ⬟䐤 ᪤Ꮡ䛾᝟ሗ཰㞟ᡭἲ䛸ၥ㢟Ⅼ䐥 ᮏ◊✲䛾┠ⓗ㐠㌿⪅䛾ឤ᝟䜢฼⏝䛩䜛䛣䛸䛷⮬ືⓗ䛺᝟ሗ཰㞟䛻䜘䛳䛶༴㝤䛺ሙᡤ䛾᳨ฟ₃䜜䜔ㄗ᳨ฟ䛾ᑡ䛺䛔䝠䝲䝸䝝䝑䝖䝬䝑䝥䜢సᡂ䛩䜛䝅䝇䝔䝮䜢㛤Ⓨ䐦 ᥦ᱌䝅䝇䝔䝮䐧 䝅䝇䝔䝮ᵓᡂ䐨 ⮬ື㌴䛾␗ᖖ≧ែ䛾᳨ฟ䐩 㐠㌿⪅䛾ᜍᛧ䛸㦫䛝䛾ឤ᝟᳨ฟ䐪 ༴㝤ሙᡤ䛾Ⓩ㘓䐫 ホ౯ᐇ㦂• ┠ⓗ– ༴㝤ᆅⅬ䛾᳨ฟ₃䜜䛸ㄗ᳨ฟ䜢ῶ䜙䛩䛣䛸䛜䛷䛝䛯䛾䛛䠛• ⿕㦂⪅– 㐠㌿චチ䜢᭷䛩䜛ᒾᡭ┴❧኱ᏛᏛ⏕• ᪉ἲ– 䜰䞁䜿䞊䝖䛻䜘䜚ᡭື䝠䝲䝸䝝䝑䝖䝬䝑䝥䜢సᡂ– ᥦ᱌䝅䝇䝔䝮䛻䜘䜚⮬ື䝠䝲䝸䝝䝑䝖䝬䝑䝥䜢సᡂ– 2䛴䛾䝬䝑䝥䜢ẚ㍑䛧䛶᳨ฟ₃䜜䛸ㄗ᳨ฟ䛾๭ྜ䜢⟬ฟ䐬 ホ౯⤖ᯝ• ⿕㦂⪅䛻䜰䞁䜿䞊䝖䜢䛸䜚༴㝤䛺ሙᡤ䜢ᐃ⩏– ⿕㦂⪅䛿30ྡ– ⿕㦂⪅䛿㉮⾜䝹䞊䝖䛾㘓⏬ᫎീぢ䛺䛜䜙ᅇ⟅– ⿕㦂⪅䛾1๭䠄3ྡ䠅௨ୖ䛜ᅇ⟅䛧䛯ሙᡤ䜢༴㝤䛺ሙᡤ䛸䛧䛶ᐃ⩏• 䝥䝻䝖䝍䜲䝥䝅䝇䝔䝮䜢ᐇ㌴୧䛻㍕䛫䛶㉮⾜ᐇ㦂– ⿕㦂⪅䛿20ྡ– Ᏻ඲ᛶ䜢⪃៖䛧䛶⿕㦂⪅䛿ຓᡭᖍ䛻ྠ஌– 䝇䝬䞊䝖䝣䜷䞁䜢ຓᡭᖍ䛾䝣䝻䞁䝖㒊䛻ᅛᐃ᳸ᢃ᠃ᎍƷදॖ૝๰ᘍѣƷ౨ჷƱᛐჷ˄ьƷࢨ᪪Ўௌ᳸
ᖹᡂ27ᖺ䛔䜟䛶䜒䛾䛵䛟䜚䞉䝋䝣䝖䜴䜵䜰⼥ྜ䝔䜽䝜䝻䝆䞊䝉䞁䝍䞊◊✲ㄢ㢟 ᥇ᢥㄢ㢟ᛢ᫆ӸᲴ̛᩼᙭‫׹‬ǻȳǵȸƴǑǔᢃ᠃ᎍƷදॖ૝๰ᘍѣ౨ЈǛႸႎƱƠƨᛐჷႎ᝟ᒵƷࢨ᪪ƷЎௌᄂᆮˊᘙᎍᲴǽȕȈǦǧǢऴ‫ܖإ‬ᢿ ૙੉ ȐǵȓȷȁȣǯȩȜȫȆǣᄂᆮȡȳȐȸᲴ Ⴧᢿᨺʼ ɶ᣼ ή‫ٽ‬ஒ Ӵဋ ‫ݩ‬২ᘐǭȸȯȸȉᲴȉȩǤȓȳǰǷȟȥȬȸǿ଺ኒЗȇȸǿᚐௌ䝕䞊䝍ほŤᄂᆮƷಒᙲᲢᏑ୎ȷႸ೅Უほ 䛧䛯䝕䞊䝍ᢃ᠃ᎍƕ‫ܤ‬μƴ៻Ǜᢃ᠃ƢǔƏƑưŴүᨖƳᢃ᠃ᎍƷཞ७Ǜ౨ჷƢǔƜƱƸʙ૏᧸ഥƷƨǊƴǋ᣻ᙲƳƜƱưƋǔŵஜᄂᆮưƸŴȉȩǤȓȳǰǷȟȥȬȸǿƔǒࢽǒǕư̌᩼᙭‫׹‬ǻȳǵȸƷȇȸǿǛǋƱƴᢃ᠃ᎍƷදॖ૝๰ཞ७Ǜ౨ჷƢǔƨǊƷȇȸǿƷᚐௌǛᘍƏŵŤᄂᆮƷϋܾᲢ૾ඥȷኺᢅᲣ≉ᚩᢳฟஜᄂᆮưƸŴȉȩǤȓȳǰǷȟȥȬȸǿǛ̅ƍŴᡫࠝᢃ᠃Ʊᛐჷႎ᝟ᒵƷƔƔƬƨཞ७ưƷᢃ᠃Ʒȇȸǿ(ӲǻȳǵȸƔǒƷ଺ኒЗȇȸǿ)ǛӕǔŵӕࢽƠƨȇȸǿǛᚐௌƠŴᡫࠝᢃ᠃଺Ʊᛐჷ˄ьƕƔƔƬƨཞ७ưƷᢃ᠃଺ǛᜤКƢǔƨǊƷЎௌǛᘍƏŵ⏕䝕䞊䝍≉ᚩ䝸䝇䝖౑䛘䛭䛖䛺≉ᚩ䛾㑅ู᭷ពᛶ䛾☜ㄆ≉ᚩ䝸䝇䝖䛾సᡂŤᄂᆮƷ঺ௐᲢኽᛯȷᎋ‫ݑ‬ᲣȉȩǤȓȳǰǷȟȥȬȸǿƔǒࢽǒǕƨȇȸǿǛЎௌƠƨኽௐŴཎ‫ܭ‬Ʒǻȳǵȸȇȸǿưᡫࠝᢃ᠃଺ƱŴᛐჷ˄ьƕƔƔƬƨཞ७ưƷᢃ᠃଺ư‫ٻ‬ƖƳࠀƕЈǔƜƱƕЎƔƬƨŵ㻝 㻲㼑㼍㼠㼡㼞㼑㻌㻺㼡㼙㼎㼑㼞㻌㻲㼑㼍㼠㼡㼞㼑㻌㻺㼍㼙㼑㻞 㻿㼠㼑㼑㼞㼕㼚㼓㻌㻭㼚㼓㼘㼑㻌㻿㻭㻟 㻿㼠㼑㼑㼞㼕㼚㼓㻌㼀㼛㼞㼝㼡㼑㻌㻿㼀㻠 㻭㼏㼏㼑㼘㼑㼞㼍㼠㼛㼞㻌㻿㼠㼞㼛㼗㼑㻌㻭㻿㻡 㻮㼞㼍㼗㼑㻌㻿㼠㼞㼛㼗㼑㻌㻮㻿㻢 㻯㼍㼞㻌㻿㼜㼑㼑㼐㻌㻯㻿㻣 㻱㼚㼓㼕㼚㼑㻌㻿㼜㼑㼑㼐㻌㻱㻿㻤 㻯㼔㼍㼚㼓㼑㻌㼕㼚㻌㻿㼠㼑㼑㼞㼕㼚㼓㻌㻭㼚㼓㼘㼑㻌㻰㻝㻿㻭㻥 㻯㼔㼍㼚㼓㼑㻌㼕㼚㻌㻿㼠㼑㼑㼞㼕㼚㼓㻌㼀㼛㼞㼝㼡㼑㻌㻰㻝㻿㼀㻝㻜 㻯㼔㼍㼚㼓㼑㻌㼕㼚㻌㻭㼏㼏㼑㼘㼑㼞㼍㼠㼛㼞㻌㻿㼠㼞㼛㼗㼑㻌㻰㻝㻭㻿㻝㻝 㻯㼔㼍㼚㼓㼑㻌㼕㼚㻌㻮㼞㼍㼗㼑㻌㻿㼠㼞㼛㼗㼑㻌㻰㻝㻮㻿㻝㻞 㻯㼔㼍㼚㼓㼑㻌㼕㼚㻌㻯㼍㼞㻌㻿㼜㼑㼑㼐㻌㻰㻝㻯㻿㻝㻟 㻯㼔㼍㼚㼓㼑㻌㼕㼚㻌㻱㼚㼓㼕㼚㼑㻌㻿㼜㼑㼑㼐㻌㻰㻝㻱㻿㻝㻠 㻯㼔㼍㼚㼓㼑㻌㼛㼒㻌㻯㼔㼍㼚㼓㼑㻌㼕㼚㻌㻿㼠㼑㼑㼞㼕㼚㼓㻌㻭㼚㼓㼘㼑㻌㻰㻞㻿㻭㻝㻡 㻯㼔㼍㼚㼓㼑㻌㼛㼒㻌㻯㼔㼍㼚㼓㼑㻌㼕㼚㻌㻿㼠㼑㼑㼞㼕㼚㼓㻌㼀㼛㼞㼝㼡㼑㻌㻰㻞㻿㼀㻝㻢 㻯㼔㼍㼚㼓㼑㻌㼛㼒㻌㻯㼔㼍㼚㼓㼑㻌㼕㼚㻌㻭㼏㼏㼑㼘㼑㼞㼍㼠㼛㼞㻌㻿㼠㼞㼛㼗㼑㻌㻰㻞㻭㻿㻝㻣 㻯㼔㼍㼚㼓㼑㻌㼛㼒㻌㻯㼔㼍㼚㼓㼑㻌㼕㼚㻌㻮㼞㼍㼗㼑㻌㻿㼠㼞㼛㼗㼑㻌㻰㻞㻮㻿㻝㻤 㻯㼔㼍㼚㼓㼑㻌㼛㼒㻌㻯㼔㼍㼚㼓㼑㻌㼕㼚㻌㻯㼍㼞㻌㻿㼜㼑㼑㼐㻌㻰㻞㻯㻿㻝㻥 㻯㼔㼍㼚㼓㼑㻌㼛㼒㻌㻯㼔㼍㼚㼓㼑㻌㼕㼚㻌㻱㼚㼓㼕㼚㼑㻌㻿㼜㼑㼑㼐㻌㻰㻞㻱㻿䜽䝷䝇ศ㢮⤖ᯝ
CLASSIFICATION ACCURACY WITH FEATURE SUBSETSELECTION BY CWCƜǕǒƷཎࣉǛ̅ƬƯᜤКǛᘍƏƜƱƴǑǓŴ᭗ችࡇưදॖ૝๰ཞ७ǛᜤКƢǔƜƱƕưƖǔŵ

CLASSIFICATION ACCURACY WITH FEATURE SUBSETSELECTION BY SFS

User

Selected Feature
SubsetClassification
accuracy

User

Selected Feature
SubsetClassification
accuracy

1(7,9,1,4,6)

0.73%

1(3, 6, 9, 8)

0.9%

2

(6,5,11)0.64%

2(11,5,1,17,4)

0.8%

3(2,5,4,1)

0.71%

3

(11,4,7,5)

0.64%

4(3,11)

0.57%

4(9,1)

0.67%

ŤƓǘǓƴᲢǇƱǊȷʻࢸƷ‫᧏ޒ‬ᲣஜᄂᆮưƸŴȉȩǤȓȳǰǷȟȥȬȸǿƔǒᚘยưƖǔȇȸǿǛ̅ƬƯᡫࠝᢃ᠃଺Ʊᛐჷ˄ьƕƔƔƬƨཞ७ưƷᢃ᠃଺ư‫ٻ‬ƖƳࠀƕЈǔƜƱǛᅆƠƨŵʻࢸƸʻ‫ׅ‬Ʒ᬴ܱƷኽௐǛǋƱƴᛐჷ˄ьƷᐯѣ౨ჷǛႸႎƱƠƨǢȗȪǱȸǷȧȳǁƱ‫᧏ޒ‬ƠƯƍƘŵ
Reference:Automatic Detection of Driver’s Awareness with Cognitive
Task from Driving Behavior,IEEE SMC 2016 October