生活ログアプリの構想（２）

https://qiita.com/EasyCording/items/f51eb1a3175f6aeda4a6

前回の続き

# やはり時期尚早

前回、いろいろ構想を練ったのであるが、やはり自分のやりたいことを実現するには、まだまだ社会の変化が必要だなと実感する。

# レシート内容の把握

買い物をすれば、どこへ行っても「レシートは必要ですか？」と質問が返ってくる。
構想としては、ある程度溜めてから、スキャナで読んだ方が良いかと思いきや、これが甘かった。

手元にあるシートスキャナに挟んで、ある程度のレシートを固めて読み込みをするが、この部分で手間がかかることが分かった。だいたいレシートを読むということ自体が間違っているのかもしれない。

この部分では、電子マネー等で個人ＩＤに紐付けされた購入履歴を、物販側が用意すればよい訳で、わざわざカッタルイ現代社会の仕組みに当てはめることさえ、あほらしくなってくる。
もちろん自分が電子マネーなどを駆使すれば、そういう情報を電子化できるのではないかと思うが、いまだ自分は完全現金派である。

# 電子レシート

調べて見たら、こんなものがあった

https://www.smartreceipt.jp/

　ニーズは一致しているが、いまだ対応店は少なく、自分が普段利用している１００均やホームセンターなどは無い。ＥＴＣの普及のように、店と顧客に何かのインセンティブが無ければ、普及は進まないのであろう・・・

# GPT4oという選択
　以下の記事を見ると、GPT4oはレシートスキャナーとしても万能である。

https://note.com/cute_swan748/n/n88cb39113511

　そうであれば、一切合切の情報をねじ込んでみたくなる。
 
# 以降は思考実験である。

#### ある日の出来事

FACEBOOKの投稿からその日の出来事を推察する。

https://www.facebook.com/permalink.php?story_fbid=pfbid02j6KNzfV8oRHgdxV5dXbtZpV4a2zTHDV1ChotrZLFZWR6WPxLaMwqXqYggdpoJVsxl&id=100000572715505

* meetsupで湖南アルプスに登山、外国人と出会う
* 適度に写真を撮ることで、ログとして活用できる
* YAMAPにはGPS情報も落ちている

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/212914/945a4bda-0baa-70e5-46da-8dfb34b82b1e.png)

>登山日記 - 湖南アルプスへの挑戦
日時: 2024年5月25日 (土)
活動:
場所: 湖南アルプス
参加者: 私を含む4人のグループ
天気: 晴れ
スケジュール:
8:03 - 駅にて

みんなで電車に乗り、湖南アルプスに向かう。
写真1: 駅での電車の様子。
10:09 - 登山開始

準備を整え、登山開始。
写真2: 登山道の入り口で準備をする私たち。
12:12 - 途中の休憩

休憩を取りながら、景色を楽しむ。
写真3: 山道で休憩している様子。
12:17 - 山の中腹での一息

木々に囲まれた静かな場所で一息つく。
写真4: 木々の中で休憩している様子。
12:58 - 山頂到達

頂上に到達し、絶景を楽しむ。
写真5: 頂上でのグループ写真。
14:02 - 下山開始

下山し始め、途中で軽食をとる。
写真6: 山頂近くでの食事休憩。
出来事と感想:
外国人との出会い:

登山道で外国人グループと出会い、一緒に写真を撮ることに。
彼らと短い会話を交わし、共に登山の楽しさを共有。
写真撮影:

途中で何度も写真を撮り、ログとして活用。
写真を撮ることで、後で振り返る楽しみが増える。
YAMAPの活用:

登山中はYAMAPを使ってGPS情報を記録。
登山後にルートを振り返るのに非常に役立った。
持ち物:
カップ麺、ソイジョイ、カステラ、ナッツ、おにぎり
ノンアルコールビール、バナナ
カフェオレ
まとめ:
湖南アルプスでの登山は、天候にも恵まれ、素晴らしい体験となった。美しい景色や新しい友人との出会い、そして登山の達成感を感じることができた。次回もまた挑戦したいと思う。

 写真:
* 駅での電車
* 登山道の入り口
* 休憩中のグループ
* 山頂でのグループ写真
* 下山途中の食事休憩

以上が2024年5月25日の登山日記です。


#### ある日のレシート

いちおう折れ曲がらないように集め始めたレシート

レシートホルダー２冊入り　https://amzn.to/4bRNifc


![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/212914/fcf2db44-78e6-425d-64f0-b64878f8d601.png)

 >以下は画像にある5枚のレシートの内容を読み取ったものです。

* レシート1（まいばすけっと 横浜沢渡富士見前店）
店名: まいばすけっと 横浜沢渡富士見前店
日付: 2024年5月15日 19:20
内容:
TV《徳用袋》濃縮乳: 188円
松坂の大地: 169円
あんぱん: 118円
オニオンとレタスのミッ: 108円
オーブン ベビー: 128円
小計: 711円
消費税: 1円
合計: 682円
合計（税込）: 713円
割引: -7円
合計（支払額）: 736円
ポイント使用: 264円
お釣り: 0円

* レシート2（ローソン 横浜スカイビル店）
店名: ローソン 横浜スカイビル店
日付: 2024年5月8日 18:52
内容:
有料レジ袋2L: 5円
松坂の大地: 169円
大阪王将羽根つき餃子: 199円
えびいか野菜ミックス: 498円
まるごとフランクフルト: 299円
たまご: 199円
バナナ: 158円
農協おおつるたまご 白: 219円
小計: 1,696円
消費税: 135円
合計: 1,831円
現金: 2,031円
お釣り: 200円

* レシート3（WORKMAN）
店名: WORKMAN 栄木寺子安店
日付: 2024年5月23日 18:59
内容:
商品番号: 0060909 IC002 ディオー消臭イン: 499円
小計: 499円
消費税: 50円
合計（税込）: 549円
現金: 600円
お釣り: 51円

* レシート4（ローソン 東京ピンタチエントランス店）
店名: ローソン 東京ピンタチエントランス店
日付: 2024年5月22日 16:24
内容:
商品番号: UC セレクト（ミックスカット）: 259円
小計: 259円
消費税: 19円
合計（税込）: 278円
現金: 1,000円
お釣り: 722円
引換券: 39円引き券（ご褒美シフォンケーキ）

* レシート5（まいばすけっと 辻町）
店名: まいばすけっと 辻町
日付: 2024年5月8日 18:52
内容:
有料レジ袋2L: 5円
松坂の大地: 169円
大阪王将羽根つき餃子: 199円
えびいか野菜ミックス: 498円
まるごとフランクフルト: 299円
たまご: 199円
バナナ: 158円
農協おおつるたまご 白: 219円
小計: 1,696円
消費税: 135円
合計: 1,831円
現金: 2,031円
お釣り: 200円

これで5枚のレシートの内容を整理しました。ご参考にしてください。

#### 交通費の記録

WESTER会員ページからデータは入手可能
ICOCAに対応していないローカル路線はデータには入っていない

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/212914/951207f9-b3ac-505a-ab53-df1610434130.png)


> ここは利用明細表です。以下にその内容を記載します。

利用明細

利用月日	利用箇所（区間）	内容	利用額	カード残額
05/23	新子安 → 横浜	鉄道利用	-167円	4,370円
05/23	横浜 → 新子安	鉄道利用	-167円	4,537円
05/22	京急横浜 → 京急横浜	鉄道利用	0円	4,704円
05/22	浜松町 → 横浜	鉄道利用	-483円	4,704円
05/22	東京 → 渋谷町	鉄道利用	-167円	5,187円
05/22	新木場 → 東京	鉄道利用	-178円	5,354円
05/22	新木場	チャージ	+5,000円	5,532円
05/22	東臨国際展示場 → 東臨新木場	鉄道利用	-272円	532円
05/22	東京都交	バス等利用	-210円	804円
05/22	海浜幕張 → 新木場	鉄道利用	-406円	1,014円
05/22	横浜 → 海浜幕張	鉄道利用	-1,110円	1,420円
05/20	横浜交通道	バス等利用	-220円	2,530円
05/20	拝島 → 横浜	鉄道利用	-824円	3,750円
05/19	羽村 → 牛浜	鉄道利用	-167円	3,574円
05/18	横浜 → 沢井	鉄道利用	-1,110円	3,741円
05/12	川崎 → 横浜	鉄道利用	-230円	4,851円
05/12	川崎	チャージ	+5,000円	5,081円
05/12	川崎鶴港	バス等利用	-220円	81円
05/12	川崎市交	バス等利用	-220円	301円

* メモ
2023年5月12日から23日までの利用履歴です。
主に鉄道とバスの利用が記録されています。
複数回のチャージ（5,000円）が行われています。
残額が最も低いのは5月22日（532円）ですが、すぐにチャージされています。
この情報をもとに、ご自身の交通費の把握や予算管理に役立ててください。

# 結果

GPT4oを使うと、ＷＥＢ画面のスクショでも、レシートのスキャン画像でも何でも高精度に読んでくれることが分かった。
jpg写真をつけた場合は、日時までも含めてログ化することが出来た。

# 最終判断

これまで、ログを取ることに苦労していたが、結果的にはスマホカメラの画像と、スマホ画面のスクリーンショット画像など、一切合切を日程フォルダに突っ込んでしまえば、あとはファイル一括でGPT4oを使ってログ化することが、現時点では最も確実ということが分かった。

 # 今後の課題

 ここからは、仮に自分の生活ログが１００％得られたと仮定したとして、これをどのように活用するかを議論することとする。
 そもそも、レシートや交通費に示される明細は、項目名と数値データの組み合わせであり、これをそのまま自然言語処理の世界に持ち込むのは少し違っていると感じている。そもそもＮＬＰには統計解析や数理最適化のようなモデルはそもそも組み込まれていないのであるから。
 最終的には生活ログをベースにして、過去の情報を引き出し、それをベースにして将来予測のようなことを生成ＡＩにさせることが主目的となる。
 つまり行動と出費の因果関係を元に、ＡＩに助言や提案をさせることが、今回の最終ゴールのあるべき姿である。

 これについては、いったんの予備検証は終了している

 https://qiita.com/EasyCording/items/fceef0255168852a1b7a


# 追記

レシートはスキャナ方式か写真方式が選択できる。
即時捨てたいところだが・・・

https://sato001.com/dr-wallet-and-scansnap

https://note.com/tyari/n/nc36def8d80b8

https://www.youtube.com/watch?v=x8-FxLtXB20