Locally Typical Sampling
Clara Meister, Tiago Pimentel, Gian Wiher, Ryan Cotterell
TACL 2023
読む人: 持橋大地
統計数理研究所
最先端NLP 2023
2023-8-27

どんな話？
l Locally Typical Sampling:

Nucleus samplingやTop-k sampling よりも高性能で理論的背景のある、言語モデルからの新しいサンプリング法
l 情報理論での「典型集合」(Typical set) の考え方を
1単語ごとに局所的に適用– 実際の言語データからの認知的なエビデンス
l 言語モデルからの生成の際に、無意味な繰り返しや短すぎる文を避けて、より高精度に生成できる

背景
l 言語モデルからの生成は、大規模言語モデルの使用に不可欠の要素l 確率のもっとも高い単語列を選ぶと、空文字列になったり (Stahlberg+19)、情報量の少ない文になる
l 単純にランダムサンプリングをすると、たまたま確率の低い語が生成された後が壊滅
à Top-k sampling (ACL 2018)
à Nucleus sampling (ICLR 2020) [最先端NLP2020]l しかし、これらでもまだ無意味な繰り返しなどが生成されてしまう情報理論と典型系列

l ISMIR 2016 (音楽情報処理のトップ国際会議)での共著論文– 産総研音楽グループの中野さんとの共同研究

情報理論と典型系列 (2)l 確率2/3で0, 1/3で1を出す情報源があったとして、そこから出る典型的な系列は0と1が混じっているはずl 「もっとも確率の高い」0000...00 の確率は、指数的に小さいà実質的に、ほとんど出力されない情報理論と典型系列 (3)l MacKay “Information Theory, Inference, and Learning

Algorithm” p.78: 1と0を(0.1,0.9)で出力する情報源

典型系列と典型集合
l 言語モデルに含まれるほとんどの文の確率は、

エントロピーが一定à 典型系列の集合＝典型集合l 確率最大の文が典型集合に含まれる確率は、ほぼゼロ
l エントロピーとは？

情報理論と自然言語処理エントロピー＝(対数)平均確率
H(x) =

X

p(x) log p(x) =x<latexit sha1_base64="9a1vplHqqAKm682SIPjtD6XPiz0=">AAAHrHichZXNbtNAEMenLZASPtrCBYlLRNSqHBptAhIIqagVVErVqmrTr1R1FXnddbCysS3bSZNGeQFegAMnkDggJF6CCw8Ahx7gjjgWiQsHxmuHpPG0OEp29z+//2bGu15zV1p+wNjJyOjYpctXUuNX09eu37g5MTl1a8d3Gp4htg1HOl6Z676Qli22AyuQoux6Qq9zKXZ57VkY320Kz7cceytou+Kgrldty7QMPUCpMlkszrbuz89pfqNeaWVcHGjSqapOej6jcasqNanbVSkyc/8iSvc0T+mVTih1K5NZlmPqyiQ7+biThfhad6bGZkCDQ3DAgAbUQYANAfYl6ODjZx/ywMBF7QA6qHnYs1RcQBfS6G0gJZDQUa3hbxVH+7Fq4zic01duA/9F4tdDZwam2Vf2np2yz+wD+8H+nDtXR80R5tLGlkde4VYmXt7Z/P1fVx3bAF70XRc4ONIX1xSACY9VLRbW5iolrNKI5m8evzrdfFKa7sywt+wn1veGnbBPWKHd/GW82xCl12r2Q/SY2DaxNSCLd7iDo16mHGMdpXbjbPp8iyBbBNcmuDbBHRPcMcEdEdwRwZkEZxJcjeBqBLdIcIsEt0xwywS3QnArBFcmuDLB7RHcHsExgmMJjsfrG+5Dal15vK5RPLmeXO3iXlwQ8Tru2D6hqXGScjFH6wwXKRTpJ0ifJMPcAqx/kO1pSTq8Sz1+0NHXu4RLqmeeozLsG4xQzvVExevnVLyJalWt5CDdV5OO1TNZ9T2rQzkNutbi/A2MSTxZ1hLE0tCO4jheSlAlgiolqOfqtMlCQdEmns/huRetZu/Ej/KITiU6UgjnxfdPfvhtk+zsFHL5B7nCxsPswtP4TTQOd+EezOL8j2ABinj/tzGHj/AFvsH3VC61ldpPHUTo6EjsuQ1nrpT5F6orm1k=</latexit>⌦↵

log p(x) p(x)l よって、exp( H(x)) は「平均的な確率」を表す<latexit sha1_base64="3W6n0Ztiz3LTMQxrXor8mYLJUe4=">AAAHbXichZXPaxNBFMdfW21q/dFWEQRFiqE1PRgmUVA8SIsWWlpKmpg2JSlldzsbl2x2l91Nmh/kH/AuHgRFwYP4Z3jxH/DQP0E8eKjgxYNvZzdsknltNyQz897n+/LezOyM6piG5zN2PDY+ceHiZGLq0vTlK1evzczOXd/x7Iar8aJmm7ZbUhWPm4bFi77hm7zkuFypqybfVWvPA/9uk7ueYVsv/bbD9+tK1TJ0Q1N8NJUrvOWkHqylWktLB7NJlmbimZc7maiThOjJ2XMTi1CBQ7BBgwbUgYMFPvZNUMDDTxkywMBB2z500eZizxB+Dj2YRm0DKY6EgtYa/lZxVI6sFo6DmJ5Qa/gvJn5dVM7DAvvBvrAT9p19ZT/Zv1NjdUWMIJc2tmqo5c7BzOtbhb/nqurY+vAqVp2hUJE+uyYfdHgiajGwNkdYgiq1MH6z8/ak8DS/0F1kn9gvrO8jO2bfsEKr+Uf7vM3z70T0Q9To2Dax1SCJM9zFUT9TFX1dYe1F2cR8iyBbBNcmuDbBdQiuQ3BHBHdEcDrB6QRXI7gawa0Q3ArBrRPcOsFtENwGwZUIrkRwewS3R3CM4JjEqdH6BvuQWlc1WtfQL6+nKnZx388Jfx13bExUxFimHMzRGOJCC0V6EumRZJCbj/UPsn2bTAez1OcHFbG9R6hM8c6raBnVDXooZU6qOHdKxQW0VsVKDtKxVVZsDmUVazZHchpUbUX5a+gz8WTZkojVkR2l4nhVovIElZeoF+K0SUJW0Dqez8G5F65m/8QP8whPJdqTDeLi/ZMZvW3kzk42nXmYzm4/Si4/i26iKbgN9yCF8R/DMqzh/BfFffEG3sOHyd+Jm4k7ibshOj4WaW7A0JO4/x/Rg4Sx</latexit>

à

0.39

à

0.25

[0.7, 0.1, 0.1, 0.1]

[0.25, 0.25, 0.25, 0.25]

典型集合
l ある情報源から出る長さTの系列で、対数確率がその期待値とε以内であるような系列の全体
T✏(T ) =<latexit sha1_base64="0TD29Fpoow1FXarDndzzy4qOcAA=">AAAH5XichZVRT9NQFMfPQB1OEdBETXxpXCCQCLmbJhqjBqIkEAiBMWCE4tKW29GsW5u2DEbpg68mvhl98MFo4oPxY/jiF/CBT2CMj5j44oOntx0b6wG7bPfe//n9b8/pvbtVbdNwPcYOUz29585fSPddzFy63H9lYHDo6qpr7TgaX9Es03JKquJy06jzFc/wTF6yHa7UVJOvqdWnYXytwR3XsOpFr2nzzZpSqRu6oSkeSuXBF76sKaZUDMoyt13DtOrP/dHiWJB5LMkm1z3Zz8g1xdtWdb8ZyHekg4yQsdEdRfPHZdOqSPZomxkL/GIgjUszx9p6MJaRHaOy7R1Ij6TWbWJJDsqDWTbBxCUlO7m4k4X4WrSGekdAhi2wQIMdqAGHOnjYN0EBFz8bkAMGNmqb4KPmYM8QcQ4BZNC7gxRHQkG1ir8VHG3Eah3H4ZyucGt4FxO/DjolGGbf2Wd2xL6xL+wn+3vqXL6YI8ylia0aebldHnh5c/nPf101bD3YbrvOcKhIn12TBzo8ELUYWJstlLBKLZq/sf/2aPlhYdgfYR/ZL6zvAztkX7HCeuO39mmJF96J2bfQo2PbwFaDLD5hH0etTFWM+UIN4mza/B5B7hFck+CaBLdPcPsEt0twuwSnE5xOcFWCqxLcFMFNEdwswc0S3BzBzRFcieBKBLdOcOsExwiOJTg1Xt9wH1LrqsbrGsWT66mKXdyKcyJewx3bJmQxTlI25mic4CKFIt0E6ZJkmJuH9XeyLS1Jh0+pxXc62npAuEzxn1dR6fZ1RijnYqLixVMqXka1Ilayk26rScf8iazanvmunDpdC3H+GsZMPFkWEsR0145ScTydoAoEVUhQz8Rpk4W8oHU8n8NzL1rN1okf5RGdSnQkH86L759c99sm2VnNT+TuTuSX7mUnn8Rvoj64BbdhFOe/D5Mwg89/BXP4kepPXU/dSFfSr9Kv028itCcVe67BiSv9/h/3LbC2</latexit>⇢y|log p(y)T

H(Y) < ✏l Tが大きくなると、– 典型集合に含まれない系列が出る確率は0に収束する– 典型集合内の系列の確率はどれも、ほとんど期待値と同じ (漸近等分割性)

局所典型系列
l 典型系列/典型集合は、1つの系列全体の確率を考えていた– 普通に言語モデルからサンプリングすると、これらの系列が得られる
l 実際の人間の言語は、文末があるのでエルゴード的ではなく、情報の無駄をなくすために各単語の条件付き確率が、その期待値に近いと考えられる– これを局所典型性 (local typicality)と定義する

実際の観測データ
l 本論文のタスクで、言語モデルで計算した次の単語の確率の対数と、予測分布からの期待値との差
log p(yt |y<t ) H(Yt |y<t )の分布<latexit sha1_base64="kJ+DSeTvalr5H3bI9PVJ3/vv9sw=">AAAHi3ichZW/b9NAFMdfWyClUJrCgsQSEbWEodElRQJVFWoFkVq1qtKEtImaKrLdc7Di2FbspHVM/gEkZgYmkBgQIytMLPwDDP0TEGORWBh4PjvKD7+2jpK7+77P9/Ke73yWLV2zHcZOJyanrly9Fpu+PnPj5uytufj87T3bbLcUXlJM3WyVZcnmumbwkqM5Oi9bLS41ZZ3vy41nfny/w1u2ZhovHNfih02pbmiqpkgOSrX4g6WqbtYTVsqtOa+qHbfmrTq9h4mlxEaqMqzU4kmWZuJKRDuZsJOE8Mqb81OLUIUjMEGBNjSBgwEO9nWQwMbPAWSAgYXaIXiotbCniTiHHsygt40UR0JCtYG/dRwdhKqBY39OW7gV/Bcdvy10JmCB/WSf2Bn7wT6zX+zfuXN5Yg4/FxdbOfByqzb3+m7x76WuJrYOvBy4LnDISF9ckwMqPBG1aFibJRS/SiWYv9N9e1ZcKSx4i+wD+431vWen7DtWaHT+KB93eeGdmP0IPSq2HWwVSOId9nDUz1TGmCfUXpjNgD8hyBOCcwnOJbguwXUJ7pjgjglOJTiV4BoE1yC4dYJbJ7hNgtskuC2C2yK4MsGVCa5CcBWCYwTHIpwcrq+/D6l1lcN1DeLR9ZTFLu7HORFv4o4dEFUxjlIW5qiNcIFCkXaEtEnSz83B+ofZvhal/bvU54cdA71HuHTxzMuojPuGI5QzH6k4f07FRVTrYiWH6YEadWyPZDXwbI/lNOzaCfNXMKbjybITIXJjO0rGcS5CFQiqEKGei9MmCVlBq3g+++desJr9Ez/IIziV6EjWnxffP5nxt020s5dNZ5bT2d1HybWn4ZtoGu7BfUjh/I9hDTbw/pcwhzfwBb7Ct9hsbDm2ElsN0MmJ0HMHRq5Y7j9EVI+J</latexit>l 左の数字=中央値、右の数字＝平均

どちらも、ほとんど0アルゴリズムl 各時刻tで、予測分布のエントロピー H(Yt |y<t ) を<latexit sha1_base64="J9yTvCvUsYtZQ/wIV3TpW9GlVrE=">AAAHc3ichZXPTxNBFMcfoBTxR4teTLgQKgQPNtNqojHGQJQEAiHQWmhDSbOzzNZNt93N7rbQrv0H/Ac8cNLIwfhnePEf8MCfYDyi8eLBt7PbbNt9wDbtzLz3+b6+NzM7wy1Dd1zGzsbGJ65dn0xM3Zi+eev2nWRq5u6uY7ZsVRRV0zDtElccYehNUXR11xAlyxZKgxtij9df+f69trAd3Wy+cTuWOGgotaau6arioqmaSq4tlavuu0q7U/VeuL2H1VSaZZh85uKdbNhJQ/hsmzMTi1CBQzBBhRY0QEATXOwboICDn33IAgMLbQfgoc3Gni79AnowjdoWUgIJBa11/K3haD+0NnHsx3SkWsV/MfBro3IOFtgP9oWds+/sK/vJ/l0Yy5Mx/Fw62PJAK6xq8v39wt8rVQ1sXXgbqS5RcKQvr8kFDZ7JWnSszZIWv0o1iN/ufjgvPM8veIvsE/uF9X1kZ+wbVths/1ZPd0T+REY/RI2GbRtbFdI4wx6O+ply9HnS2guzifhjgjwmuA7BdQiuS3BdgjsiuCOC0whOI7g6wdUJboXgVghuneDWCW6D4DYIrkRwJYIrE1yZ4BjBsRjHw/X19yG1rjxc18AfX08ud3HfLwh/A3dsRFTkOE5ZmKM+xAUWinRipEOSfm4u1j/I9m1x2p+lPj+oiOw9QmXId56jZVQ36KGU27GKty+ouIDWmlzJQTqyxhWbQ1lFms2RnAZVW2H+KvoMPFm2YsTqyI7iOF6NUXmCyseo1/K0SUNO0hqez/65F6xm/8QP8ghOJdqT8+Pi/ZMdvW3ind1cJvs4k9t5kl5+Gd5EUzAL87CE8Z/CMqzh/BfljXQCn+F08k9iNjGfeBCg42Oh5h4MPYlH/wEsLYdl</latexit>

計算する
l 予測確率の対数 p(yt |y<t ) との差の絶対値が小さい順に、単語を予測集合に追加
l 確率の総和がτになったら終了
l 予測集合の中から、p(yt |y<t ) に従って単語をランダムにサンプリング<latexit sha1_base64="82PtLvJQjL/LgNPS8VDSIobYl5U=">AAAHc3ichZXPTxNBFMcfoBTxR4teTLgQKgQPNtNqojHGQJREAiGltVBCSbOzzNZNt93N7rawXfsP+A944KSRg/HP8OI/4IE/wXhE48WDb2e32dJ94DbtzLz3+b6+NzM7wy1Dd1zGTsfGJ65cnUxNXZu+fuPmrXRm5va2Y3ZsVVRU0zDtKlccYehtUXF11xBVyxZKixtihzdfBP6drrAd3Wy/dj1L7LeURlvXdFVx0VTPpK0lr+6+rXW9uv/M7d+vZ7Isx+Qzl+zko04WoqdozkwsQg0OwAQVOtACAW1wsW+AAg5+9iAPDCy07YOPNht7uvQL6MM0ajtICSQUtDbxt4GjvcjaxnEQ05FqFf/FwK+NyjlYYN/ZZ3bGvrEv7Af7e2EsX8YIcvGw5aFWWPX0u7vlP/9VtbB14U2sukTBkb68Jhc0eCJr0bE2S1qCKtUwfrf3/qz8tLTgL7KP7CfW94Gdsq9YYbv7Sz3ZEqVjGf0ANRq2XWxVyOIM+zgaZMrR50trP8om5o8I8ojgPILzCK5HcD2COyS4Q4LTCE4juCbBNQluheBWCG6N4NYIbp3g1gmuSnBVgtsluF2CYwTHEhyP1jfYh9S68mhdQ39yPbncxQO/IPwt3LExUZPjJGVhjvo5LrRQpJMgHZIMcnOx/mF2YEvSwSwN+GFFbO8TKkO+8xwto7phD6UsJiouXlBxGa0NuZLDdGxNKjbOZRVrNkZyGlZtRvmr6DPwZNlMEKsjO4rjeDVBlQiqlKBeytMmCwVJa3g+B+deuJqDEz/MIzyVaE8hiIv3T370tkl2tgu5/MNcYetRdvl5dBNNwSzMwxLGfwzL8ArnvyJvpGP4BCeTv1OzqfnUvRAdH4s0d+Dck3rwDyezh60=</latexit><latexit sha1_base64="82PtLvJQjL/LgNPS8VDSIobYl5U=">AAAHc3ichZXPTxNBFMcfoBTxR4teTLgQKgQPNtNqojHGQJREAiGltVBCSbOzzNZNt93N7rawXfsP+A944KSRg/HP8OI/4IE/wXhE48WDb2e32dJ94DbtzLz3+b6+NzM7wy1Dd1zGTsfGJ65cnUxNXZu+fuPmrXRm5va2Y3ZsVVRU0zDtKlccYehtUXF11xBVyxZKixtihzdfBP6drrAd3Wy/dj1L7LeURlvXdFVx0VTPpK0lr+6+rXW9uv/M7d+vZ7Isx+Qzl+zko04WoqdozkwsQg0OwAQVOtACAW1wsW+AAg5+9iAPDCy07YOPNht7uvQL6MM0ajtICSQUtDbxt4GjvcjaxnEQ05FqFf/FwK+NyjlYYN/ZZ3bGvrEv7Af7e2EsX8YIcvGw5aFWWPX0u7vlP/9VtbB14U2sukTBkb68Jhc0eCJr0bE2S1qCKtUwfrf3/qz8tLTgL7KP7CfW94Gdsq9YYbv7Sz3ZEqVjGf0ANRq2XWxVyOIM+zgaZMrR50trP8om5o8I8ojgPILzCK5HcD2COyS4Q4LTCE4juCbBNQluheBWCG6N4NYIbp3g1gmuSnBVgtsluF2CYwTHEhyP1jfYh9S68mhdQ39yPbncxQO/IPwt3LExUZPjJGVhjvo5LrRQpJMgHZIMcnOx/mF2YEvSwSwN+GFFbO8TKkO+8xwto7phD6UsJiouXlBxGa0NuZLDdGxNKjbOZRVrNkZyGlZtRvmr6DPwZNlMEKsjO4rjeDVBlQiqlKBeytMmCwVJa3g+B+deuJqDEz/MIzyVaE8hiIv3T370tkl2tgu5/MNcYetRdvl5dBNNwSzMwxLGfwzL8ArnvyJvpGP4BCeTv1OzqfnUvRAdH4s0d+Dck3rwDyezh60=</latexit>

アルゴリズム’ (確率版)
l 各時刻tで、予測分布から予測確率の期待値<latexit sha1_base64="MUT/zfwLNxG+9L6NYYs7xaR/64Y=">AAAHgnichZXPaxNBFMdff2hq/dFUL4IgxdCSCoZJKihSpUULLS0lTUyb0JSws52NSzbZZXeTJllz8+Q/4MGTggf1qP+BF/8BD/0TxGMFLx58O7shafa1bkhm5r3P9+W9mdkZbhm64zJ2PDY+MXnhYmzq0vTlK1evzcRnr+86ZtNWRUE1DdMucsURht4QBVd3DVG0bKHUuSH2eO2p799rCdvRzcZzt2OJg7pSbeiarioumirx22Wu2J7Ve1wWbSt5bz1Zqrgvy61OxVt2e4uLlXiCpZh85qKddNhJQPhkzdmJBSjDIZigQhPqIKABLvYNUMDBzz6kgYGFtgPw0GZjT5d+AT2YRm0TKYGEgtYa/lZxtB9aGzj2YzpSreK/GPi1UTkH8+wH+8hO2Hf2mf1kf8+M5ckYfi4dbHmgFVZl5vXN/J//qurYuvBioDpHwZE+vyYXNHgoa9GxNkta/CrVIH6r++Yk/yg37y2w9+wX1veOHbNvWGGj9Vv9sCNyb2X0Q9Ro2LawVSGBM+zhqJ8pR58nrb0wmwHfJsg2wXUIrkNwXYLrEtwRwR0RnEZwGsHVCK5GcKsEt0pwGwS3QXCbBLdJcEWCKxJcieBKBMcIjkU4Hq6vvw+pdeXhugb+6HpyuYv7fkH467hjB0RZjqOUhTnqp7jAQpFOhHRI0s/NxfqH2b4tSvuz1OeHFQN7j1AZ8p3naBnVDXsoZTZScfaMivNorcqVHKYH1qhi61RWA83WSE7Dqu0wfxV9Bp4s2xFibWRHcRyvRagcQeUi1DN52iQgI2kNz2f/3AtWs3/iB3kEpxLtyfhx8f5Jj9420c5uJpVeSmV27idWnoQ30RTcgjuQxPgPYAXWcf4LmMMr+ARf4GtsMnY3lo4tBej4WKi5Aaee2PI/ilqMWQ==</latexit>p̄ = exp( H(Yt |y<t )) を計算

l 各単語について、予測確率 p(yt |y<t ) と期待値 p̄ との<latexit sha1_base64="82PtLvJQjL/LgNPS8VDSIobYl5U=">AAAHc3ichZXPTxNBFMcfoBTxR4teTLgQKgQPNtNqojHGQJREAiGltVBCSbOzzNZNt93N7rawXfsP+A944KSRg/HP8OI/4IE/wXhE48WDb2e32dJ94DbtzLz3+b6+NzM7wy1Dd1zGTsfGJ65cnUxNXZu+fuPmrXRm5va2Y3ZsVVRU0zDtKlccYehtUXF11xBVyxZKixtihzdfBP6drrAd3Wy/dj1L7LeURlvXdFVx0VTPpK0lr+6+rXW9uv/M7d+vZ7Isx+Qzl+zko04WoqdozkwsQg0OwAQVOtACAW1wsW+AAg5+9iAPDCy07YOPNht7uvQL6MM0ajtICSQUtDbxt4GjvcjaxnEQ05FqFf/FwK+NyjlYYN/ZZ3bGvrEv7Af7e2EsX8YIcvGw5aFWWPX0u7vlP/9VtbB14U2sukTBkb68Jhc0eCJr0bE2S1qCKtUwfrf3/qz8tLTgL7KP7CfW94Gdsq9YYbv7Sz3ZEqVjGf0ANRq2XWxVyOIM+zgaZMrR50trP8om5o8I8ojgPILzCK5HcD2COyS4Q4LTCE4juCbBNQluheBWCG6N4NYIbp3g1gmuSnBVgtsluF2CYwTHEhyP1jfYh9S68mhdQ39yPbncxQO/IPwt3LExUZPjJGVhjvo5LrRQpJMgHZIMcnOx/mF2YEvSwSwN+GFFbO8TKkO+8xwto7phD6UsJiouXlBxGa0NuZLDdGxNKjbOZRVrNkZyGlZtRvmr6DPwZNlMEKsjO4rjeDVBlQiqlKBeytMmCwVJa3g+B+deuJqDEz/MIzyVaE8hiIv3T370tkl2tgu5/MNcYetRdvl5dBNNwSzMwxLGfwzL8ArnvyJvpGP4BCeTv1OzqfnUvRAdH4s0d+Dck3rwDyezh60=</latexit>

比<latexit sha1_base64="2h5ZssWMYamLTmVjPZPGL6wkHfc=">AAAHg3ichZXNbtNAEMenLcWlfDSFCxIHKqJWRUjRJlQCIUCtoBJVqypNSJuqqSKvuw5WnMSynbSO8ZELL8CBE0gcUK/wBFx4AQ59BMSxSFw4MF47yoenxVGyuzO//2Rmd73LLdNwXMZOxsYnLkxeVKYuTV++cvXaTGr2+rbTatuaKGkts2WXueoI02iKkmu4pihbtlAb3BQ7vP4s9O90hO0YreZL17PEfkOtNQ3d0FQXTdXU7Ypuq5pvLXpV93Wl41X9x25wN/ArXLV9KwiqqTTLMPnMJTvZuJOG+Mm3ZicWoAIH0AIN2tAAAU1wsW+CCg5+9iALDCy07YOPNht7hvQLCGAatW2kBBIqWuv4W8PRXmxt4jiM6Ui1hv9i4tdG5RzMsx/sMztl39kx+8n+nhnLlzHCXDxseaQVVnXm7c3in/+qGti68KqvOkfBkT6/Jhd0eChrMbA2S1rCKrUofqf77rT4qDDvL7CP7BfW94GdsG9YYbPzW/u0JQrvZfQD1OjYdrDVII0z7OOolylHny+tQZxNnz8iyCOC8wjOI7guwXUJ7pDgDglOJzid4OoEVye4FYJbIbg1glsjuHWCWye4MsGVCW6X4HYJjhEcS3A8Xt9wH1LryuN1jfzJ9eRyF/f8gvA3cMf2iYocJykLczSGuMhCkU6CdEgyzM3F+gfZni1Jh7PU4wcVfXtAqEz5znO0jOoGPZQyn6g4f0bFRbTW5EoO0n1rUrExlFVfszGS06BqM85fQ5+JJ8tmglgd2VEcx6sJqkBQhQT1XJ42achJWsfzOTz3otXsnfhRHtGpRHtyYVy8f7Kjt02ys53LZO9ncltL6eWn8U00BbfgDixi/AewDC9w/kuYwxs4hi/wVZlU7ik5ZSlCx8dizQ0YepQn/wBft44v</latexit><latexit sha1_base64="8j4uN47IR+uIdKZKJ/nGCT/ty08=">AAAHaXichZXNbtNAEMenLTSlfLSBSwWXCqsVp2gTkEAcUCuoRNWqahPSpGqqyuuugxUntmwnbWLlBbhxQqInkDggHoMLL8Chj4B6LBIXDozXjpxkp8VRsrszv/9kxrsec9e2/ICxs4nJqWvXpzMzN2Zv3rp9Z24+e3fXd9qeIcqGYzteleu+sK2WKAdWYIuq6wm9yW1R4Y2Xkb/SEZ5vOa03QdcVB0293rJMy9ADNFVqXPdCt384r7Eck9eiOsknEw2Sa9vJTi1DDY7AAQPa0AQBLQhwboMOPn72IQ8MXLQdQIg2D2eW9Avowyxq20gJJHS0NvC3jqv9xNrCdRTTl2oD/8XGr4fKRVhiP9lXdsF+sG/sF/t7aaxQxohy6eLIY61wD+feLZT+/FfVxDGAt6nqCgVH+uqaAjDhmazFwtpcaYmqNOL4nd6Hi9Lz4lK4zD6zc6zvEztj37HCVue38WVHFE9l9CPUmDh2cDRAwzsc4mqQKUdfKK39JJuUPyHIE4LrElyX4HoE1yO4Y4I7JjiT4EyCaxBcg+BWCW6V4NYJbp3gNghug+CqBFcluD2C2yM4RnBM4Xiyv9E5pPaVJ/sa+9X95PIUD/yC8DfxxKZETa5VysUcrREutlCkr5A+SUa5BVj/MDuwqXR0lwb8sCK19wmVLZ95jpZx3bCHUm4rFW9fUnEJrXW5k8N0alUVmyNZpZrNsZyGVVtJ/gb6bOwsWwqxNnaiOK7XFKpIUEWFeiW7jQYFSZvYn6O+F+/moOPHecRdifYUorj4/smPv23UyW4hl3+cK+w80VZeJG+iGXgAD+ERxn8KK/Aa739Z9t738BFOp88z2cxC5n6MTk4kmnswcmW0f2THhEo=</latexit>p(yt |y<t )p̄

が1に近い順に、単語を予測集合に追加
l 注意：– Nucleus sampling, Top-k samplingでは、単純に確率の大きい方から単語を予測集合に追加する

実験
l 文生成と要約の両タスクで実験
l Nucleus sampling, Top-k sampling, 温度付き

サンプリング, Mirostatと比較
l 評価指標：– REP (Welleck+ 2020)：繰り返しが多いかのスコア– D：nグラムの多様性 (n=1..4)– Zipf：Zipf係数、ロングテールの度合い

文生成タスクl REP (繰り返し) がTop-kなどより少ない
l 人間による評価値は、Typicalが一番高い

要約タスクl REPは、変わらず低い
l 温度付きサンプリングの性能が意外と高い

繰り返しの多さ (REP)l 横軸はハイパーパラメータ、青がTypical sampling、

黒が正解の繰り返し率l 繰り返しは、一般に確率が高い系列

à 確率の高い語を選ぶサンプリングでは、繰り返しが生じやすい生成例

はプロンプトから予測できないもの
l τ=0.2でデコーディング (＝確率の高い語を優先して生成)lまとめと感想l 従来のように確率の高い順に単語を予測集合に加えるのではなく、その文脈での平均予測確率との比で加える、Locally Typical Samplingを提案
l 予測分布のエントロピーが大きい (＝平均予測確率が小さい) ときに、より低い確率の語が予測集合に含まれる
l 局所典型性が成り立つことを実データで確認– どんな場合でも一様にそうなのか？
– 差の分布が左右非対称なのは、単なる数学的なartifactか？

最後に
l 情報理論については、MacKay(2003)は非常に素晴らしい教科書ですl 情報理論を忘れている人が多いので、岩波書店から刊行
予定の私の教科書では、基礎を丁寧に説明しています(ご意見募集中)http://chasen.org/~daiti-m/
textmodel/