情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2A06
2018/3/5

MYndPhoto：写真撮影初心者のための個性発揮支援システム
田中直人†1

高島健太郎†1

西本一志†1

概要：スマートフォンに付属するカメラの高性能化や，写真を投稿・共有する SNS の流行により，写真撮影が手軽な趣味として広まっている．これに伴い，「もっと評価される良い写真を撮りたい」という欲求を持つ人々が増加している．これまでにも良い写真を撮れるように支援するシステムが様々に提案されている．従来の手法は，既存の写真撮影のセオリーに基づくものや，多くの人々が撮影している写真と類似した写真の撮影を勧めるものがほとんどである．これらは，一般的な意味での良い写真を撮影できるように支援するものであるが，撮影者の個性を引き出すことを支援する事例は見当たらない．そこで本研究では，機械学習の技術を応用することにより，ある撮影者の写真をその他の多くの撮影者による写真と比較して，その撮影者独自の特徴を強く持つ写真を抽出し，これをその撮影者に提示することで，個性を発揮した写真を撮影できるようにする写真創作活動支援システム MYndPhoto を提案し，その効果を検証する．

MYndPhoto: A Supporting System for a Novice Photographer
to Take Photos Reflecting Individuality
NAOTO TANAKA†1 KENTARO TAKASHIMA†1 KAZUSHI NISHIMOTO†1Abstract: Due to improvement of performance of cameras attached to smartphones and due to popularity of SNS for sharing
photos, photograph taking has been widely spreading as an easy hobby. Along with this, people who want to take good pictures tobe highly evaluated more are increasing. Various systems have been proposed to support people to take good photos so far. Mostof the conventional methods are based on existing theory of photography or recommend taking pictures similar to photos taken by
many other people. Although they support to take good photos in a general sense, to the best of our knowledge, there is no attempts
to draw out the photographer’s individuality. Therefore, in this research, we propose a supporting system named “MYndPhoto,”
which compares photos of a photographer with photos taken by many other photographers by applying the technique of machinelearning, and that extracts several photos having a strong characteristic of the photographer. We also conduct user studies to estimate
its usefulness.

1. はじめにサービス[2]等がある．
このようなシステムやサービスを利用することにより，近年のデジタルカメラの高機能化・低価格化や，スマー見栄えの良い写真を撮影できるようになることが期待されトフォンに付属するカメラの高性能化などにより，写真をる．ただし，これらの支援手段では，確立されたセオリー

撮影するという行為に対する物理的・心理的・経済的障壁や，多くの人々が良いと思う撮影対象や撮影方法に基づいが大きく軽減された．また，Instagram や Facebook などの，た支援を行うため，その支援を受けて撮影される写真も，写真の投稿・共有ができる SNS が若者を中心として人気をほとんどの場合は既存の枠組みの中で，一般的な意味で良博し，「インスタ映え」という言葉が 2017 年のユーキャン

いと判断されるものにとどまってしまう．既存の枠組みか新語・流行語大賞を受賞するほどの広がりを見せているなら脱却し，他者には無い，撮影者独自の個性をもった写真

ど，写真を撮影してこれを SNS 上で披露しあうことは，多を撮影できるようにするための支援手段が求められるが，くの人々に親しまれる非常に手軽で人気がある趣味となっ筆者らの知る限りにおいて，そのような支援手段はこれまてきている．さらに，ただ写真を漫然と撮るだけにとどまで考案されてこなかった．

らず，SNS でより多くの人々から「いいね！」をもらった

そこで本稿では，趣味的に写真創作活動を行う人を対象り，フォロワーを増やしたりするために，より魅力的な写に，撮影者が自身の個性を把握し，自分が撮影する写真に真を撮影したいと考える人々が増加しつつある．

自分の個性をよりよく写し込むことができるようにするこ

しかしながら，魅力的な写真を撮影することは容易ではない．そこで，よりよい写真を撮れるようにするための，様々な支援手段や支援システムがこれまでに提案されている．例えば写真における基礎的な構図に関する知識を利用とを目指した支援システム MYndPhoto を提案し，ユーザスタディによってその基礎的な有効性を検証する．

2. 提案手法

することによって，カメラで撮影対象を認識し適切な構図本稿で提案する手法では，趣味的に写真創作活動を行うを指示する支援システム[1]や，SNS 上の写真データと位置人が自分の個性に気づき，理解し，より自分の個性を活か情報を利用して，写りの良い SNS 映えする場所を提示するした写真を撮影できるようになることを目指している．な†1 北陸先端科学技術大学院大学 先端科学技術研究科
The Graduate School of Advanced Technology,
Japan Advanced Institute of Science and Technology© 2018 Information Processing Society of Japan

お，本研究では「個性」を「他者との差異を明確化するこ549

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2A06
2018/3/5とができる特徴」と定義する．このような特徴を得るために，撮影した写真がユーザ自身によって撮影されたものかどうかの確度を機械学習によって判定し，ユーザ自身が撮影した写真の中から確度が上位の数枚と下位の数枚，および新しく撮影した写真の確度の順位をユーザに提示する．
確度が高い写真には，そのユーザを他者と強く差別化する特徴が含まれるので，これを確度が低い写真と比較することにより，ユーザ自身が「どこが自分らしいのか」「どうすれば個性的な写真になるのか」を考えることができる．こ図1

うしてユーザ自身の認識する「自分らしさ」への理解を深

準備フェーズFigure 1 System preparation process

め，もっと自己を表現した写真作品を制作できるようにすることを目指す．また，機械的に自分らしさを評価することにより，人間がなかなか気づくことが難しいような個性の要素を発見できるようになることも期待している．
システム利用の流れは，ユーザの撮影する写真のユーザらしさを評価するためのモデルを構築する準備フェーズと，ユーザがモデルを利用しフィードバックを受ける利用フェーズに分かれる．
2.1 準備フェーズ
準備フェーズの概要を図 1 に示す．機械学習のためのデータとして，ユーザが過去に撮影した写真多数と，Flickr や

図2

Instagram などから無作為に収集した多数の写真を使用す

利用フェーズFigure 2 System using process

る．本研究ではある写真の撮影者がユーザか他人かを分類するために，畳みこみニューラルネットワーク（CNN）[3]を利用する．個性は，人間自身が気づくことができない行動やふるまいにも表れていると考えられ，写真表現においても構図や色合いのような分かりやすい要素以外にも個性が表れると考えている．そういった，人間が認識困難な要素もパラメータとして学習し分類を行うことができ，また画像分類分野での利用実績が多いために CNN を選択した．
機械学習には PFN 社が製作した機械学習フレームワーク「Chainer」[4]の Imagenet サンプル[5]を改変したものと NINモデル[6]を利用して，入力した写真をユーザと他人に分類するモデルを作成する．NIN モデルと Softmax 関数を利用して，新しく入力された写真に対してユーザ確度○○％，図3

他人確度◇◇％（○○＋◇◇=100％）の形で出力させる．

Figure 3 Feedback information

Softmax 関数はニューラルネットワークのすべての出力ノードからの出力の和を 100％とした確率に変換する関数である．ここでのユーザ確度を「ユーザらしさ」の評価値とする．
2.2 利用フェーズ
利用フェーズの概要を図 2 に示す．普段のできごとや旅先の風景など，ユーザが日常生活の中で撮影・編集した写真をシステムにアップロードし，サーバ側でその写真のユーザ確度を評価する．その評価をこれまでにユーザが撮影した写真（学習用データではない）の評価と比べてランク付けを行い，アップロードした写真の順位を表示する．またこれまでに撮影した写真の中から，ユーザ確度の高い写© 2018 Information Processing Society of Japan

フィードバック画面

真と低い写真をそれぞれ 5 枚ずつ提示する．ここで提示される画面を図 3 に示す．これらの情報を見て，ユーザに「なにが自分らしいのか」「自分の撮る写真の特徴はどういったものか」を考えてもらう．何が差別化の特徴なのかは明示的に提示せず，ユーザ自身に考えさせることで，ユーザ自身がより具体的に個性を認識できるようになることを期待している．

3. 実験概要
4 名の被験者（被験者 A，B，C，D）を評価システムの利用者 2 名（被験者 A，B）と非利用者 2 名（被験者 C，550情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2A06
2018/3/5D）に分けて，それぞれ実験を 3 日間行う．実験の流れを
図 4 に示す．実験は現在進行中であり，2 日目までが終了している．
3.1 実験手順
実験 1 日目を準備フェーズとし，被験者に実験の説明を行った．また今回の実験では被験者間での比較によりユーザ確度の評価を行うため，被験者には事前に石川県白山市鶴来本町付近にて写真を撮影してもらい，そのデータを用いて学習データを構築した．今回，学習データを不特定多図4数の撮影者・場所のデータではなく被験者のみ・指定した

実験の流れ

Figure 4 Procedure of experiment

場所のみとしたのは，比較の際にユーザごとの差異を強調するためである．受け取った写真の枚数は，被験者 A が 253
枚，被験者 B が 329 枚，被験者 C が 400 枚，被験者 D が184 枚であった．
翌日から 2 日間を利用フェーズとし，被験者には普段通りの生活をしながら 1 日 5 枚以上の写真を撮ってもらった．
写真撮影にあたっては，フィードバックを参考に自分らしい写真を撮影してほしい旨教示した．
撮影した写真をサーバへアップロードして，フィードバックを受けてもらった．フィードバックの内容は，評価システム利用者に対しては，アップロードした写真の確度順位と，自分が過去に撮影した写真の中で確度上位 5 枚と下位 5 枚を提示した．一方，評価システム非利用者に対しては，確度順位と，自分が過去に撮影した写真の中からランダムに 10 枚を提示した．このような比較のしかたにしたのは，今撮影した写真１枚だけの確度順位を示されても，そこから自分の写真の特徴を見いだすことは難しく，確度順位が上位の写真と下位の写真を比較することで特徴を読み取れるようになるだろうという予想に基づく．
実験の初日と最終日にインタビューを行い，被験者の個性の認識を調べた．初日インタビューでは以下の 3 項目を質問した．
・「あなたは普段どのような写真を撮影しますか？」・「あなたが写真を撮るときに意識していることはありますか？」・「あなたが撮影する写真であなたらしいと感じるところはありますか？」
また最終日インタビューでは，以下の 2 項目について質問する．
・「システムのフィードバックを受けて，どのように感じましたか？」・「あなたが撮影する写真であなたらしいと感じるところはありますか？」
3.2 評価方法
実験の評価のために，システムが判定した各写真のユーザ確度の変化を評価する量的評価と，被験者自身が認識する個性の変化を評価する質的評価を行った．
量的評価では，2 日目（システム利用期間初日）以降に© 2018 Information Processing Society of Japan

被験者が撮影した写真について，システムによって各被験者が撮影した各写真のユーザ確度を評価し，日数の経過によるユーザ確度の変化を評価した．ここではユーザ確度評
価が高いほど「個性的な写真を撮影している」とみなす．
質的評価では，実験の初日と最終日に行うインタビュー
結果から，被験者が自身の写真の個性をどのように認識しているかを調べた．実験期間中の回答内容の変化を調べ，内容がより具体的になっているか，実際に撮影した写真と合致しているかを評価した．評価は，3 名程度の実験に無関係な人により行う．
3.3 実験結果
本稿執筆段階において実験は進行中であり，すべてのデータが出そろっていない．このため．実験の初日インタビ
ューの結果と，1 日目の利用記録に関してのみここでは述べることにする．
まず初日インタビューでは，被験者 A と C は普段あまり写真を撮影せず，スケジュールなど情報の記録に使うことが多いとのことだった．対して被験者 B，D は，普段から料理の写真や旅行中の風景の写真などを撮影し，SNS にアップロードしたり，友人と共有したりしていた．
写真を撮影する際には，被験者 B，C，D は撮影対象が画面内に収まることを意識しており，明るさやピントを調整することはあるとのことだった．被験者 A は撮影の際あまり撮影の仕方を意識しておらず，画面を動かしながら撮ったり，位置を吟味したりすることはある，とのことだった．
写真の自分らしさに関して，被験者 A は自分らしさを意識することがなく，分からないとのことだった．被験者 Bは趣味のスポーツや食べ物，山などから俯瞰する風景を撮る点であると考えていた．被験者 C は情報の記録に用いることが多い点や，取りたい対象が画面内に収まっている点であると考えていた．被験者 D は人の写っていない，自然の風景を撮ることが多い，と考えていた．
1 日目のシステム利用について，撮影・アップロードした枚数は，被験者 A は 5 枚，被験者 B は 6 枚，被験者 C は23 枚，被験者 D は 7 枚であった．撮影対象は，被験者 A が室内の物や室内からの外の景色，被験者 B は商業施設内の551

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2A06
2018/3/5

家具などの写真と飲食店の料理，被験者 C は公園などの自変化と，被験者の個性認識の客観評価を行う予定である．

然物や人，商業施設内の物や駅・電車内の写真，被験者 D

さらに今後は，ユーザがより自身の個性を認識・理解では俯瞰風景やイベント会場，動物などであった．

きるよう本システムのユーザ確度評価機能とフィードバッ

ユーザ確度の評価は，被験者 A は中～低評価が多く，被クの改良を行い，追加実験を行う予定である．追加実験で

験者 B は低評価が多く，被験者 C は低評価または高評価がは，機械学習のための学習データは写真共有 SNS である

多く，被験者 D は高評価が多い，といった状況であった．

Flickr から無作為に取得した写真と，被験者がこれまでに3.4 考察撮影した写真を利用する．

初日インタビュー結果とシステム利用記録から，普段よく写真を撮る被験者 B，D は評価値が比較的近い値に集まっており，普段あまり写真を撮らない被験者 A，C は評価謝辞
す．

実験にご協力くださった被験者の皆さんに感謝申し上げま

値にばらつきがあるようであった．これは，普段よく写真参考文献を撮る人ほど写真撮影における「撮り方」が定着している[1]ためと考えられる．

4. おわりに[2][3]

趣味的に写真創作活動を行う人を対象に，撮影者が自身の個性を把握し，自分が撮影する写真に自分の個性をよりよく写し込むことができるようにすることを目指した支援

[4]
[5]

システム MYndPhoto を提案し，そのシステム構成を説明した．また，現在進行中である実験の概要についても述べた．
実験のすべての過程終了後，ユーザ確度の時間経過による© 2018 Information Processing Society of Japan[6]

板宮吉宏，御手洗紘子，吉高淳夫： 構図と顕著性に基づく写真撮影支援手法に関する研究，映像情報メディア学会技術報
告 37(12), 43-46, 2013.
SNAPLACE. https://snaplace.jp/. (参照 2017-12-11)
CS231n Convolutional Neural Networks for Visual Recognition.
http://cs231n.github.io/convolutional-networks/. ( 参 照 2017-1225)
Chainer. https://chainer.org/. (参照 2017-12-25)
Chainer imagenet.
https://github.com/chainer/chainer/tree/master/examples/imagenet.
(参照 2017-12-25)
Min Lin, Qiang Chen, Shuicheng Yan. Network in Network.
ICLR2014 April 14 Conference Posters552