情報科学【AI・データサイエンス】第3回非構造化データとパターン認識非構造化データ処理 ①言語処理, ②画像処理, ③音声／音楽処理パターン認認1
九州大学数理・データサイエンス教育研究センター

10別の角度からの分類:
●構造化データ•簡単に言えば，表形式のデータ•例:「全県の毎月の平均降水量」の表●非構造化データ•文章，画像，音がその代表例• 「表形式」にはならないので「非構造化データ」と呼ばれる•スマートフォンやパソコンで日々読んだり見たり聞いたりしているが，これらもデータ非構造化データについては，第二回でも触れます2少しだけ準備：ベクトルについていずれもう少し詳しく学びます3
九州大学数理・データサイエンス教育研究センター

●A君:体重62kg,身長173cm ●A君の体格データは，2つの数字の組で表される• ２つの数字の組を「２次元ベクトル」と呼ぶ
州大学数理・データサイエンス教育研究センター

•A君:体重62kg,身長173cm,腹囲78cm ●A君の体格データは，3つの数字の組でも表される(62, 173, 78) ● ３つの数字の組を「３次元ベクトル」と呼ぶ
九州大学数理・データサイエンス教育研究センター

•A君: 体重62kg,身長173cm, 腹囲78cm,靴のサイズ26cm ●A君の体格データは，4つの数字の組でも表される(62, 173, 78, 26) ●4つの数字の組を「4次元ベクトル」と呼ぶ
九州大学数理・データサイエンス教育研究センター
非構造化データ処理①画像処理②言語処理③音声／音楽処理7
九州大学数理・データサイエンス教育研究センター
非構造化データ処理の画像処理8
九州大学数理・データサイエンス教育研究センター

●カメラ画像●文字，文書，記号，標識，ナンバープレート●顔，指紋，虹彩，耳，唇，掌の静脈● CT・MRI・X線などの医用画像o
• 2値画像の例7×7画素(1,1,0,0,0,1,0,...,0,1) 49次元ベクトル●グレースケール画像の例7×7画表(255,245,10,35,92,231,254,...,249) 49次元ベクトル10
九州大学数理・データサイエンス教育研究センター
どうやって画像がベクトルに？アナログ-デジタル変換●そもそも目に見えている物理世界に「画素」はない●カメラで写して初めて「画素」ができ，ベクトルになる= (255,245,10,35,92,231,254,…,249)アナログ（物理世界）デジタル（コンピュータで扱える画像データ） ●カメラがやっているのが「アナログ-デジタル変換」(AD変換) •標本化：一定間隔で画像の色・明るさを採集→【付録】 •量子化：各画素値をキリのよい数字(有限桁数)にする→【付録】 1.1
各画像は1200万次元ベクトル(RGBそれぞれ1200万だから,より正確には3600万次元） ●皆さんのスマホ•デジカメ•コンピュータは，いつも超高次元ベクトルを扱っている●シャッター押した瞬間に1200万次元ベクトルが一つ生まれている九州大学数理・データサイエンス教育研究センター
●画像を作る＝「ベクトルを作る」 •画像の見え方を調節する＝「ベクトルを操作する」 •画像は複数のピクセルの集まり＝数字の集まり，だから，どうしてもベクトルと関連する●ベクトル＝数学では「線形代数」と呼ばれる領域●ベクトルは高校の時に習った諸君もいるかも●データ分析で扱うベクトルは，もう少し「自由」 ●基幹教育科目でも「線形代数」は履修できます！ ●ベクトル＝画像と考えたら，少し気が安らぐかも？ • 2次元ベクトル＝2ピクセルしかない画像，d次元ベクトル＝dピクセルの画像!?
九州大学数理・データサイエンス教育研究センター

●画像認識（後述） ●そこに写っているものが何かを認識する•コンピュータビジョン●複数枚の画像を組み合わせて3D立体視（ステレオ） •画像中で動くものを追跡する（トラッキング） ●画像処理●画像の色や明るさを補正し，より見やすくする●特徴抽出●画像中に写っているものの個数をカウントする・面積を測●画像生成●新しい画像を作成する
an armchair in the shape of an avocado. . . . (アボカドの形をした椅子) a store front that has the word ‘openai’ written on it. . . . (openaiと書かれた店の正面) https://openai.com/blog/dall-e/ [*] Ramesh+, “Zero-Shot Text-to-Image Generation,” arXiv, 2021非構造化データ処理②言語処理
九州大学数理・データサイエンス教育研究センター
言語データ〜非構造化データの代表例●言語データ＝文字列で表されるデータ• [あ]や[A]などの文字を並べると単語ができる●単語を並べると「勉強，大変ですね」というような文ができる•SNSやネットでは，言語データが日々大量に生まれている•自然言語処理(natural language processing) •言語データをコンピュータによって分析する技術
九州大学数理・データサイエンス教育研究センター

●頻出言語●言語データの中で最も多く出てきた単語を見つける処理●例えば•本日「twitterで最もつぶやかれた単語」 → その日のトレンド
●翻訳
•日英翻訳でお世話になってる人も多いのでは？ • google翻訳,  deepLなど
九州大学数理・データサイエンス教育研究センター

•検索●ある文に似た意味の文をネットなどから探す●要約●長い文章を，内容を損なわない程度に短くする•対話●チヤットボットのように会話したり，質問に回答する●その延長線上に「文章自動生成」も•校正●よりよい文章になるような書き換えを提案する•文法チェック•トピック分析●その文章が，例えばスポーツ関係なのか，政治関係なのかを分析する
九州大学数理・データサイエンス教育研究センター

●意味解析•各単語や文を,その意味に応じて数値化（ベクトル(後述)になる) • king - man + woman = queenのような，言葉の計算が可能に発しいいけど面白い技術に●パラフレーズ解析•二つの文が同じ意味か否かを答える．難しい！ • ex.「私はお腹がすいた」と「何か食べるものが欲しい」は？単語は全く違うが… ●センチメント解析●文章に潜む感情を当てる．これも難しい！ • ｢こんなに汚れが取れる洗剤，見たことがない｣という文章は肯定的か否定的？ ・「ない」という否定語で終わってるが，内容は肯定的•文章生成•小説のような文章や，ジョーク（ダジャレ），俳句を自動的に作らせる
九州大学数理・データサイエンス教育研究センター
文章生成GPT-3
●少数の文を入れると，人間でも区別がつかないような文章
を自動生成●題名と副題を入れただけで,ニュース文章を自動生成→ Title:  United Methodists Agree to Historic Split Subtitle: Those who oppose gay marriage will form their own denomination Article:  After two days of intense debate, the United Methodist Church has agreed to a historic split - one that is expected to end in the creation of a new denomination, one that will be "theologically and socially conservative," according to The Washington Post.  The majority of delegates attending the church's annual General Conference in May voted to strengthen a ban on the ordination of LGBTQ clergy and to write new rules that will "discipline" clergy who officiate at same-sex weddings.  But those who opposed these measures have a new plan:  They say they will form a separate denomination by 2020, calling their church the Christian Methodist denomination. The Post notes that the denomination, which claims 12.5 million members, was in the early 20th century the "largest Protestant denomination in the U.S.," but that it has been shrinking in recent decades. The new split will be the second in the church's history. The first occurred in 1968, when roughly 10 percent of the denomination left to form the Evangelical United Brethren Church. The Post notes that the proposed split "comes at a critical time for the church, which has been losing members for years," which has been "pushed toward the brink of a schism over the role of LGBTQ people in the church." Gay marriage is not the only issue that has divided the church. 2016, the denomination was split over ordination of transgender clergy, with the North Pacific regional conference voting to ban them from serving as clergy, and the South Pacific regional conference voting to allow them. ●様々な応用が可能•コンピュータプログラムの自動生成●文章の推敲（より良い文を生成） 21 [Brown+, “Language Models are Few-Shot Learners, “ NeurIPS2020]非構造化データ処理類音声／音楽処理22
九州大学数理・データサイエンス教育研究センター
畜もデータ•コンピュータにとっては「音」もデータ●時々刻々と変わる音の波の高さを数値化すればデータに(厳密ではないが)「音」は三種類に分けられる● ●人間の声である音声•音楽●雑音や騒音，生活音などの一般的な環境音23
九州大学数理・データサイエンス教育研究センター

•音声認識●何と喋っているかを理解する（Siriやスマートスピーカ）富富●話者認識•誰がしゃべっているかを推定する：オレオレ詐欺のように人間でも時々難しい●感情認識●声の様子から感情を推定する●声質変換，音声強調（より聞きやすい音声にする）
•音声合成
•文-音声変換：例えば「おはよう」という文字列を読み上げる●音声翻訳：ある言語の音声を，別の言語に翻訳して発話●歌声合成：ボーカロイドでおなじみ24
九州大学数理・データサイエンス教育研究センター

●女性が「みなと」と発声
九州大学数理・データサイエンス教育研究センター
25
●味わうと色々わかる破裂音/t/には，高低様々な周波数含まれる26
九州大学数理・データサイエンス教育研究センター

●味わうと色々わかる27
九州大学数理・データサイエンス教育研究センター

●楽曲分析
•音楽のコード進行やメロディーライン，リズム等を推定•自動作曲および作曲支援●メロディーを入れるとコード進行を自動でつける• Open AIによるJukeboxでは「歌手○○に○○風の歌を歌わせる」で，音楽データを自動生成•音響分析●例えば，ボーカルだけを取り出したり，消したりする•音楽認識•街中で流れている音楽や鼻歌が，どの楽曲であるかを推定●楽曲推薦●特定の楽曲と似た印象の楽曲を見つけて提示するץ音楽データ圧縮  (MP3でおなじみ)
●環境音認識●街中騒音や生活音が何の音かを推定する•音源分離●複数の音が一度に鳴っているときに，音源別に音を分ける●音源同定●音がどこから鳴っているかを推定●異常音検出●いつもと違う音に気づく．例えばエンジン音の異常など時間差から方向を計算
九州大学数理・データサイエンス教育研究センター
認識って何？九州大学数理・データサイエンス教育研究センター 30 「これなんだ？」という問題を，計算機に解かせる31
九州大学数理・データサイエンス教育研究センター

●画像や音声，テキストなど，様々なデータを対象として，それが「何」であるかを当てる方法●画像認識•音声認識32
九州大学数理・データサイエンス教育研究センター

•前提：認識できる対象(クラス)は，事前に決められている●画像認識での例• {犬，猫，猿，…}などの動物を対象としたパターン認識器では,自動車は認識できない• {軽自動車，ワゴン車，トラック，...}などの自動車を対象としたものでは，動物は認識できない入力データ•大パターン認識＝入力データの「クラスを選ぶ」処理
九州大学数理・データサイエンス教育研究センター

体温“風邪” "ご機嫌悪いです" 34
九州大学数理・データサイエンス教育研究センター

•人間は画像認識や音声認識を無意識・高精度・高速に実行可能•データサイエンスなど全く知らない乳幼児ですら，ある程度の認識は可能お内だ！とんかうが余裕で画像認識•より高度な「雰囲気」や「おもしろさ」の把握なども人間であれば,この画像1枚から雰囲気を含め様々なことを読み取れる•しかし，この情景画像をコンピュータに“理解”させるのは，まだ困難●個々の物体等はある程度認識できても,それらの関係，全体的な雰囲気などは，わからない
九州大学数理・データサイエンス教育研究センター

●顔認識
●物体認識
Mtheiler@Wikipedia物体検出●食事認識 (さらにカロリー推定) https://mm.cs.uec.ac.jp/research/?res=naritomi-s&utf8=1 ●医用画像認識[Natarajan+, JAMA Ophthalmol , 2019]
九州大学数理・データサイエンス教育研究セン
●テキストトピック認識•政治•経済•スポーツ•国際•科学技術• エッセイ: •行動認識37

九州大学数理・データサイエンス教育研究センター
似てるものを探すだけなら，簡単そうだが…しかし、思い出そう●「似ている」具合に，決まりはない！ • ｢似てるラーメンをグルーピング｣する時にも出てきた話●よって，認識がうまくいうように適切に決めてあげる必要•しかし，人間ですら「似てる具合」はバラバラ... ●また，食べ物と顔では適切な「似てる具合」が違いそ
九州大学数理・データサイエンス教育研

● ｢どこが｣似ている？同じミカンなのに、 「似てない」としてしまうのはマズいミカンと玉ねぎ，違うものを「似てる」としてしまうのはマズい●「どれぐらい」似ている？ ●色の似てる具合をどう測る？ ●形の似ている具合をどう測る？数学っぽいので" 「厳密な近さ」とか，決まってればいいのに，竜外と「あやふや」な人間臭い話だなぁ… 4.0
九州大学数理・データサイエンス教育

●そもそも「ミカン」って何だ？ ●食べられない（腐った）ミカンはミカンなのか？ •食べ終わったミカンの皮はミカンなのか？ •ジュースにしたものはミカンなのか？ •温州ミカンとオレンジは同じなのか？ •レモンとミカンの境界はあるのか？もえたこともなかった…ヨシタケシンスケさんの発本「りんごかもしれない」も面白いのでおススメ●「平均的なミカン」というのはどんなミカン？ •どうして     な絵で「ミカン」とわかるのか？ •どうして「ミ」+「カ」+「ン」の３文字が特定の果物と結びつくのか？ ●などなど，認識論はギリシャ哲学時代からの難問です.. •面白いのは「なぜか人間はそれでも生きていける」ところ...
九州大学数理・データサイエンス教育研究センター
パターン認識と機械学習大量データでAI（深層ニューラルネットワーク）を機械学習して,パターン認識を環現する42
九州大学数理・データサイエンス教育研究センター

•大量のデータを準備して，コンピュータに境界線を引いてもらう●その際，例えば，だれかが「犬」と思っているデータは，とりあえず「犬」と信じる• ＝データがたくさんあれば，多少妙なデータが入っていても，大多数は正しい4.3
●境界線ができれば，あとは，それのどちら側にあるかで，犬猫の認識が可能！犬猫境界"犬"の領域44
九州大学数理・データサイエンス教育研究センター

●最近のトレンドは（以前見た）深層ニューラルネットワーク深層ニューラルネットワーク，どのように動くかを非常にざっくり説明すると... •入力データに対して，様々な数を「かけたり」「足したり」することを何回も繰り返すことで，最終的な答えが出てくる•この「様々な数」＝パラメータ（よくわからない人は次のスライド） ●この深層ニューラルネットワークがどのように「境界線」を引いているか，イメージ図で見てみよう
46
47
もう一回曲げてみた48九州大学数理・データサイエンス教育研究センター
切り分けにくいものでも,分けられる側の状況を工夫することで,切り分けやすくなる！ 49九州大学数理・データサイエンス教育研究センタ
それぞれ空間を1回曲げる層スパッと切る層ただし，最初から適切な折り曲げ方がわかっているわけではないので，試行錯誤的に折り方を決めていく必要あり（＝深層ニューラルネットワークの学習） 50参考：折り曲げるってどいうこと？気になる人は→付録実は線形代数(足し算と掛け算の世界)の話です51 •欠点•どのようなルールを設定すればよいかが明らかではない•手動で設定したルールでは性能が出ない場合もある52九州大学数理・データサイエンス教育研究センター
九州大学数理・データサイエンス教育研究センター
53
•自動運転•白線認識，先行車認識，歩行者認識，運転者の眠気認識•自動診断●病気の自動診断，機械の故障診断，適性診断●食料品（果物・魚）の等級診断•自動管理●無人店舗，無人工場，植物工場•自動採点...?! ●手書き答案の採点はまだまだ難しそう..
九州大学数理・データサイエンス教育研究センター

●異常検出＝普通でない状態を認識●人々を対象とした異常検出•エレベータ内のカメラで人々の動きを認識し，さらに普通でない動きを判断•独居者の異常検出：日常と異なる行動パターンを検出し通知•病院内での患者の異常検出：特に気づきにくい早期の異常検出●食品や生産物の異常検出●表面の傷の検出，異物の検出•機械•建造物•コンピュータシステムの異常検出●サイバー攻撃の検出●機械の故障の検出●橋や道の異常検出56 【何籤】コンピュータに画像が保存されるまでの処理①標本化いわゆる「アナログ→ディジタル変換」と画像圧縮その① 57
九州大学数理・データサイエンス教育研究センター
/ 2021年12日版標本化(sampling)：デジタル画像生成の第一歩58 / 2021年12日版
59篇〈べき事実：遊もできる！連続的点（画素）の集合九州大学数理・データサイエンス教育研究センター / 2021年12日版60籠〈ベッティ！
●ある条件を満たせば，のぞき穴からの情報だけで，壁の向こうが完全に復元できる！ ●ディジタル画像からアナログ世界が戻せる！ •そんなバカな！バと穴の間の見えてない部分がもともとうにつたかとか，そんなのわかるわけがない！ • 「ある条件を満たせば」のところが怪しい… 61
2021年12日時
標本化定理連続データの最高周波数がfmaxのとき,周期T< 1/(2 fmax )毎に標本化すれば,標本化結果(三ジタル)から連続データデを再現可能●周波数とは？
九州大学数理・データサイエンス教育研究センター
/ 2021年12日版
余談：画像にも「周波数」成分があります時系列データ(1次元信号) AAAAA [低い周波数-wwww AAA語は戻って，標本化定理条件連続データの最高周波数がfmaxのとき,周期T< 1/(2 fmax )毎に標本化すれば,標本個「エクジル」の写連続デーティン司（を再現可能
九州大学数理・データサイエンス教育研究センター
/ 2021年12日版
壁の向こうの世界に含まれる最も細かい変化菌は戻って，標本条件連続データの最高周波数がfmaxのとき,周期T< 1/(2 fmax )毎に標本化すれば,細かければ細かいほど標本年間短い周期で標本化すれば連続データ  1標本化定理の「タネアカシ」最高周波数がわかっている1. 2 .その最高周波数に応じた周期で標本化している
●最高周波数fmaxが0であること（＝壁の向こうは変化なし＝一定色の世界が広がっている）がわかっているならば，条件●周期は無限大でOK ●=標本点(穴)は1つでOK連続データの最高周波数がfmaxのとき,周期T< 1/(2 fmax )毎に標本化壁の向こうはこの色1色の世界が広がっていることがわかる
/ 2021年12日版

最高周波数が低い条件の基準になるもの(画像の細かさ＝周波数)最高周波数が高い‡を満たすサンプリング間隔
ん!？ 68標本化されたデータを介して，画像を見ている！アナログ標本化結果を送受信・蓄積復元結果(アナログ)久教育研究センター 6, 2021年12日版69菅声のような時系列データも同様！そのおかげでデジタル機器やCDで音楽が聴けるアナログx(t)標本化結果を送受信・蕃積丁復元結果(アナログ) 70 【何籤】コンピュータに画像が保存されるまでの処理0年710いわゆる「アナログ→ディジタル変換」と画像圧縮そのの71
九州大学数理・データサイエンス教育研究センター
/ 2021年12日版

●連続量→（四捨五入的処理)→キリのよい数字に（有限桁数に） •必ずロスが発生（＝もとには戻らない＝標本化定理のようなものはない）標本化された信号(1.74, -2.034, 2.897, .....)標本化＋量子化された信号(4,0,4,4,3,3,3,4,2,1,3,1,3,1,3,1, 21年12日版
73
九州大学数理・データサイエンス教育研究センター / 2021年12日版74
76最近傍法と特徴抽出：最も基本的なパターン認識77
九州大学数理・データサイエンス教育研究センター

豚肉=(色，形，模様) =(10, 2.5, 4.3) ※これらの数字はテキトーですテクスチャ(模様)特徴こんな感じで，各パターンはベクトルで表されているとしますquité色特徴78
九州大学数理・データサイエンス教育研究センター

テクスチャ(模様)特徴こんな感じで，各パターンはベクトルで表されているとします各要素のことを「特徴」と呼びます「特徴として何を使うか」はこれまで経験的に決められていた豚肉=(色,形,模様) =(10, 2.5, 4.3) ※これらの数字はテキトーです79
元州大学数理・データサイエンス教育研究センター

豚肉=(色，形，模様,...,なんちゃら) =(10, 2.5, 4.3,..., 5.9) ※これらの数字はテキトーですテクスチャ(模様)特徴なんちゃら特徴3つ以上の特徴で表されると，その分だけ座標軸が要りますが，以後省略します色特徴
九州大学数理・データサイエンス教育研究センター

テクスチャ(模様)特徴色特徴81
九州大学数理・データサイエンス教育研究センター

テクスチャ(模様)特徴色特徴82
九州大学数理・データサイエンス教育研究センター

色特徴83
九州大学数理・データサイエンス教育研究センター
最近傍法
白、ルキバルこの場合,最近傍がミカンだから，入力xはミカンに識別される発センター
深層ニューラルネットワークによるパターン認識のイメージ図(5/5)九州大学数理・データサイエンス教育研究センター
●折り曲げ，ざっくり言うと，データの位置が変わるということ●データの位置が変わるということは，ざっくり言うと，データ自体が違うデータになったということ
10 Oテータx (この絵では2次元ベクトル) 87
o o新しいデータx’データx
(続形代数でならったかもしれない)行列●行列は「あるべクトルを新たなべクトルに変換」できる！ ●実際の変換法は線形代数の教科書を見てみてください•ちなみに掛け算と足し算だけです...
行列を何度も作用させて，変換を繰り返し，都合の良いようなデータに加工していく！
データ(ベクトルシザという感じで「プラスアルファ」の処理が加わりますこの「プラスアルファ」を詳しく知りたい人は「活性化関数」で検索(実はそんなに難しくなくて，例えば「変換の結果，マイナスの成分が出てきたら，それをゼロにしてやる」程度の処理） (「折り曲げ」ではないけど）「折り曲げ」になんとなく近い変換が実現しますその結果,この付録で言いたかったこと●最近のAIの代表格である，深層ニューラルネットワークでは，変換を繰り返して，データを扱いやすいものに変えている●例えば，認識しやすいデータに変換している●この変換には行列が用いられる●行列は，ベクトルを違うベクトルにする機能がある！ ●難しそうだが，「足し算と掛け算」だけ！ •というわけで，AIって，実は線形代数（行列とかが出てくる数学の分野）と非常に密接に関係する•別の言い方をすれば，AIは足し算と掛け算(+α)でできている！余談：バベルの図書館(梨空の図書館)会談中の会談.なぜパターン認識の単元でこの余談が出てくるのか，考えてみて94
九州大学数理・データサイエンス教育研究センター

● 1冊410ページ●さらにどの本も1ページに40行• 1行に80文字●結果的に，どの本も131.2万字/冊
九州大学数理・データサイエンス教育研究センター

• A-Zの26文字と、(空白)が並んでいる●文字の並び方が違うので，同じ本はない131.2万文字
X冊目: E AP……… ............OE Y冊目: YOU  ARE   REALLY……… Z冊目:
九州大学数理・データサイエンス教育研究センター

• 131.2万の文字それぞれが，27種類の文字のいずれかを取れるのどすべての組み合わせは, 27131.2万= 1.8 × 101877949ちなみに全宇宙の原子数は1080
•バベルの図書館には「考えうるすべての（131.2万字以内の）本」が所蔵されている●その数は(宇宙の全原子の数よりは多いが)有限である•ほとんどは「意味のない文字列でできた本」だが，ときどき，「完璧に意味のある文ばかりでできた本」も入っている●従って，よく探すと「みんなが知ってる有名な書籍」も入っている•まだ誰も思いついていない「すごい真理を記した本」もそこにある•私が昨日書いた英語の論文も，すでにその図書館の1冊として存在するというような図書館を，我々は実現することはできないが，考えることはできる
九州大学数理・データサイエンス教育研究センター