言語処理学会 第30回年次大会 発表論文集（2024年3月）

日本語 GPT の蒸留における損失関数の比較
西村稜真 1

狩野芳伸 1

1 静岡大学大学院{rnishimura,kano}@kanolab.net

概要
本研究では日本語を対象に，蒸留を用いて GPT-2の小型化のための事前学習を行った. 蒸留に際しては，通常の事前学習におけるマスク言語モデルの損
失と蒸留の損失の混合率や，蒸留の損失において計算対象とする層など，異なる損失関数を用意して比較した. パープレキシティによる主観評価では，small サイズのベースラインに対しその 68%のサイズの生徒モデルでよりよい値を達成し，文生成結果の主観評価では上回らなかったものの，大きなモデルの性能に匹敵するより小さいモデルへの蒸留の可能性を示した.

1

はじめに自然言語処理の言語モデルは年々パラメータ数，学習データ量，そのための計算量とコストが連動して増え続けている. もし性能を担保したままより小さいモデルが実現できるならば，有用であることは言をまたない. また，モデルの冗長な部分を探る手掛かりになる.
自然言語モデルの軽量化手法にはいくつかよく知られたものがある. Zafrir[1] らは量子化と呼ばれる手法によって BERT[2] の小型化を行い， 99%の精度を保ったまま 4 倍軽量なモデルである Q8BERT を構築した. これはモデルパラメータ等の精度を落とすことで軽量化する手法であり，最新の生成モデルにも適用されている [3]. Hinton ら [4] は DNN における蒸留を（はじめて）行った. 蒸留とは，教師モデルの持つ情報を生徒モデルに移す手法である. Sanh ら[5] は教師モデルである BERT の 97%の精度を保ったままパラメータ数を 40%削減した DistilBERT を作った.
一方で GPT-2[6] をはじめ GPT の蒸留についてはあまり研究されていない. 英語版の DistilGPT2 モデルは Hugging Face によって学習されたものが公開されている [7]. RAIL-KD[8] は中間層の出力をランダムに選択し比較する手法であり，RoBERTa に適用している. Li ら [9] は，GPT-2 の蒸留について複数の蒸留手法を検討しており，これには RAIL-KD が含まれる. また同論文では GPT-2 の蒸留の際のパラメータ初期化についても検討している.
日本語版の DistilGPT2 モデルは公開されている[10] ものの学習が収束していないためか，繰り返し同じパターンを生成してしまう状態である. また，
GPT の蒸留の際にどのような損失を加えると生徒モデルの生成文の流暢性や一貫性，魅力のいずれに影響が大きいのか検証した論文は知る限りない.
本研究では日本語を対象に，GPT の蒸留について異なる損失を用いて比較し，自動評価および主観評価を行った.

2

関連研究

DistilBERT[5] は教師モデルである BERT の 97%の精度を保ったままパラメータ数を 40%削減した.
DistilBERT は，BERT の通常の事前学習の損失，蒸留の損失，および隠れ層の損失の線型結合を損失関数として用いている [5]. DistilBERT の論文には明示的に式が書かれていないが，該当部分の実装 [11] によると，コサイン類似度の計算には最後の隠れ層の出力のみを用いている.
DistilGPT2 の実装は DistilBERT の手法を適用したとのことなので，これも同様だと思われる. この損失の効果は論文中で検証されているが，中間の隠れ層の出力同士を比較することについての検証はなされていない.

3

提案手法

3.1

生徒モデル

12 層の日本語 GPT-2 モデルである rinna 株式会社の japanese-gpt2-small[12] をベースとして，生徒モデ― 3249 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ルを次のような方法で初期化した. まず，ベースと表1

ベースに利用した各モデルのパラメータ数

層数 パラメータ数なるモデルの層数を半分すなわち 6 層にしたモデルを用意した. その後，japanese-gpt2-small の 1, 2, 5, 8,

rinna/japanese-gpt2-small

12

134,994,432

11, 12 層目のパラメータを用いてモデルパラメータrinna/japanese-gpt2-medium

24368,896,000を初期化した. パラメータ数を表 1 に示す.

生徒モデル

692,467,200

3.2

蒸留

表 2 使用した Wikipedia データの統計（行数）

蒸留に際しては以下の異なる損失を用い，結果を訓練データ テストデータ比較する.

7,364,598

CLM Loss

𝐿𝐶 𝐿 𝑀

920,562

検証データ
919,977

GPT-2 のオリジナルのマスク

言語モデルによる事前学習の損失. 予測確率と正解ラベルとのクロスエントロピー誤差をとっている.
学習文 𝑆 における i 番目の単語を 𝑤 𝑖 ，生徒モデルの出力する単語 𝑤 𝑖 の予測確率を 𝑝 𝑠𝑡𝑢𝑑𝑒𝑛𝑡 (𝑤 𝑖 ) とすると，式 1 の通りである.
1 ∑𝐿𝐶 𝐿 𝑀 = −𝑙𝑜𝑔( 𝑝 𝑠𝑡𝑢𝑑𝑒𝑛𝑡 (𝑤 𝑖 ))}|𝑆| 𝑖=1

学 習 の 際 の 損 失 関 数 に は，先 に 挙 げ た CLM
Loss（ 𝐿 𝐶 𝐿 𝑀 ），Distillation Loss(𝐿 𝐶𝐸 )，Cosine embedding
Loss(𝐿 𝐶𝑂𝑆 ) を組み合わせたものを用いた.
具体的な組み合わせとしては，まず 𝐿 𝐶 𝐿 𝑀 と 𝐿 𝐶𝐸

|𝑆 |Distillation Loss

𝐿 𝐶𝐸

損失関数

3.3(1)との線型結合をいくつか用意した. 𝐿 𝐶 𝐿 𝑀 に比べてDistilBERT と同様の蒸留な学習を行うために 𝐿 𝐶𝐸 に適当な数を掛ける必要

𝐿 𝐶𝐸 の値が 2-3 桁ほど小さな値をとったため，適切の損失. 生徒モデルの出力する予測確率分布と教師モデルの出力する予測確率分布とのクロスエントロがあると考えたためである.
また同様の理由で，𝐿 𝐶 𝐿 𝑀 と 𝐿 𝐶𝐸 の相乗平均をピー誤差をとっている. 語彙の集合を 𝑊，生徒モデ取ったものを用意した. 最後に，隠れ層の出力をルの出力する単語 𝑤 の予測確率を 𝑝 𝑠𝑡𝑢𝑑𝑒𝑛𝑡 (𝑤)，教師利用した蒸留の効果を確認するため，𝐿 𝐶 𝐿 𝑀 ，𝐿 𝐶𝐸 ，モデルの出力する単語 𝑤 の予測確率を 𝑝 𝑡𝑒𝑎𝑐ℎ𝑒𝑟 (𝑤)とすると，式 2 の通りである.

𝐿 𝐶𝑂𝑆 を足し合わせたものを用いた.
な お，GPT-2 の 通 常 の 事 前 学 習 の ロ ス で あ る∑には，学習が収束しなかったため，対象から除外

𝐿 𝐶𝐸 = −𝐿 𝐶 𝐿 𝑀 を用いず，𝐿 𝐶𝐸 のみを用いて学習を行った際{𝑝 𝑡𝑒𝑎𝑐ℎ𝑒𝑟 (𝑤) · 𝑙𝑜𝑔( 𝑝 𝑠𝑡𝑢𝑑𝑒𝑛𝑡 (𝑤))}(2)𝑤 ∈𝑊

Cosine embedding Loss𝐿 𝐶𝑂𝑆

隠れ層のコサイン類似度. 本研究においては，中間の隠れ層の出力同士を比較し損失に組み込むことを提案する. 入力側と出力側の 2 層のパラメータが生徒モデルと教した.

4

実験設定

4.1

データセット師モデルでそれぞれ一致するように初期化を行っ日本語版 Wikipedia の全文をデータセットとしてているので，これらの対応が取れていると考えた.

用いた. Wikipedia データは 01-Sep-2023 18:05 版のもすなわち，生徒モデルの第 2 層と教師モデルの第 2のを使った. 合計の文字数は 11 億文字程度であった.

層の出力，および生徒モデルの第 4 層と教師モデル

doc タグと空行を削除するなどの前処理を行い，その第 10 層の出力を取り出し，これらのコサイン類のうち文字数が 30 以上の行だけを取り出し，訓練似度をとった. 生徒モデルの i 層目の隠れ層の出力

データ: テストデータ: 検証データ = 8 : 1 : 1 となるを ℎ 𝑠𝑡𝑢𝑑𝑒𝑛𝑡 ,𝑖 ，教師モデルの j 層目の隠れ層の出力をようランダムに分割した. それぞれのデータ数は表2 の通りであった.

ℎ𝑡𝑒𝑎𝑐ℎ𝑒𝑟 , 𝑗 とすると，実際の計算方法は以下の式 3 である. 各項は，損失関数として用いることを想定して 1 から引いた.
𝐿 𝐶𝑂𝑆 = {1 − 𝑐𝑜𝑠(ℎ 𝑠𝑡𝑢𝑑𝑒𝑛𝑡 ,2 , ℎ𝑡𝑒𝑎𝑐ℎ𝑒𝑟 ,2 )}+{1 − 𝑐𝑜𝑠(ℎ 𝑠𝑡𝑢𝑑𝑒𝑛𝑡 ,4 , ℎ𝑡𝑒𝑎𝑐ℎ𝑒𝑟 ,10 )}ハイパーパラメータは表 3 のようにした. バッチ
サイズについては，教師モデルや実行環境によって表の範囲で変更した. 検証時の損失は 𝐿 𝐶 𝐿 𝑀 のみを(3)用い，この損失において性能の向上が見られなくなった段階で学習を終了させた.

― 3250 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 3 学習条件
パラメータ値（生徒モデルの）層数
6
ヘッド数
12
隠れ層の次元
768
語彙数
32000
最大トークン長
128
最適化手法
Adam
学習率0.001
バッチサイズ128-256
最大エポック数
10

表5A
B

C

表4

モデルのパープレキシティ（低い方が良い値）
損失関数
教師
PPL
rinna, small
𝐿𝐶 𝐿 𝑀
—
23.9
rinna, medium
𝐿𝐶 𝐿 𝑀—
19.0
proposed model a 𝐿 𝐶 𝐿 𝑀—
22.0
proposed model b 𝐿 𝐶 𝐿 𝑀 + 𝐿 𝐶𝐸
small
21.9
proposed model c 𝐿 𝐶 𝐿 𝑀 + 5 × 𝐿 𝐶𝐸
small
22.4
proposed model d 𝐿 𝐶 𝐿 𝑀 + 10 × 𝐿 𝐶𝐸
small
21.8
proposed model e 𝐿 𝐶 𝐿 𝑀 + 20 × 𝐿 𝐶𝐸small
22.1√
proposed model f
𝐿 𝐶 𝐿 𝑀 × 𝐿 𝐶𝐸
small
22.4
proposed model g 𝐿 𝐶 𝐿 𝑀 + 𝐿 𝐶𝐸
medium 21.5
proposed model h 𝐿 𝐶 𝐿 𝑀 + 𝐿 𝐶𝐸 + 𝐿 𝐶𝑂𝑆 small
22.4

人手評価のための書き出し
文章
引用元
夏目漱石
吾輩は猫である。名前は『吾輩は猫である』
生命、宇宙、そして万物
huggingfaceについての究極の疑問のrinna のデモ [13]答えはイギリスからは紅茶だけでなく、伝統的なティーWikipedia
タイムの習慣もオースト
ラリアにと比較して性能の低い model c および model e を除外し，残った 8 個のモデルについて評価した.
評価に用いるデータは，それぞれのモデルに同じ書き出しから 100 トークンの文章を生成させて作成した. 書き出しとして，表 5 に示す３種類を用意した. 書き出し A は小説的な文章，書き出し B は哲学的な文章，書き出し C は百科事典的な文章を生成させることを意図している. 書き出し C は wikipedia に含まれる文章であるが，モデルの学習およびパープレキシティの測定に用いなかったデータを用いた.

5

実験結果

5.1

自動評価

文章生成の際のパラメータは以下のようにした.
• temperature: 1.0• top k: 500• top p: 0.95

パープレキシティを指標としてモデルの性能を測定した. パープレキシティ測定用のデータには，テ生成された文章の例を付録 A に示す.

結果は表 4 の通りである. 表中の教師モデルのカラ生成された文章に対して，流暢性（構文），一貫性（意味・文脈），魅力（多様性）の三つの指標で主観ムについて，small および medium は，それぞれ rinna評価を行った. 評価に際しては，異なる二つのモデの small および medium を教師モデルとして用いてルの生成文を同時に提示し，それぞれの主観評価指蒸留したことを意味する.

標についてどちらが優れているか選択するペアワイ

ストデータのうち 3000 件を取り出して用いた. 測定

本研究で学習を行ったモデルは rinna の small の半ズ形式をとった. 選択肢は提示した二つの文と，「全分の層数であるが，いずれも rinna の small より良いく差がない」の三種類であるが，評価者にはできるパープレキシティを示し，rinna の medium より悪いだけ「全く差がない」を選ばないように求めた. 偏パープレキシティを示した.

りが生じるのを避けるため，モデルのすべてのペア

𝐿 𝐶 𝐿 𝑀 のみで通常の事前学習を行った model a では，rinna の small よりパープレキシティが 1.9 低いについて一度ずつ比較させた. すなわち，一つの書き出しにつき 28 通りの比較がなされた.

値を示した. 以下，この model a を基準とすると，主観評価の結果を表 6 に示す. 表の数値はそのモ

model b では 0.1，model d では 0.4，model h では 0.5デルの出力を他のモデルの出力と比較した際に，よ良いパープレキシティの値を示した. model c ではり優れていると判断された割合である.「全く差がな

0.4，model e では 0.1，model f では 0.4，model h ではい」が 1 回以上選ばれていた場合，その回数に 0.5を乗じた値をより優れていると判断された回数に算0.4 悪いパープレキシティの値を示した.

5.2

入した.

人手評価

新たに構築したモデルの人手評価の結果は，蒸3 名の評価者による人手評価を行った. 評価コス留を行わなかった model a を除いて，全ての項目でトのため，先に挙げたモデルのうち同系列のモデル教師モデルを下回った. 教師モデルを除いた評価の― 3251 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 6 モデルの人手評価（高い方が良い値）
流暢性 一貫性 魅力 3 項目の平均値
rinna, small
0.56
0.59 0.60
0.58
rinna, medium
0.59
0.54 0.65
0.59
proposed model a 0.52
0.56 0.47
0.52
proposed model b 0.41
0.44 0.30
0.39
proposed model d 0.54
0.49 0.56
0.53
proposed model f 0.54
0.48 0.38
0.47
proposed model g 0.41
0.45 0.52
0.46
proposed model h 0.43
0.44 0.51
0.46

用した model h では，パープレキシティは向上しなかった.
続いて人手評価の結果について考察する. まず
通常の蒸留の効果を確認するために，蒸留を行わなかった model a と 𝐿 𝐶𝐸 を加えた model b ，および10 × 𝐿 𝐶𝐸 を加えた model d を比較する. model b では全ての項目について model a を大きく下回ったが，model d では流暢性および魅力について model a より高い値を示した. パープレキシティによる評価を考結果は以下の通りである. 流暢性が最も高かったのえ合わせると，𝐿 𝐶𝐸 に掛ける値を適切に調整するこは model d および model f ，次いで model a であった.とが重要であると考えられる.

一貫性が最も高かったのは model a ，次いで modeld，model f の順であった. 魅力が最も高かったのはmodel d ，次いで model g ，model h の順であった. 3
項目の平均値では，model d がわずかに model a を上回り，model f がその次に高い値を示した.

6

評価項目別に見ると，流暢性では，model d および model f のみが蒸留を行っていない model a を上回った. 他のすべてのモデルと異なりこれらに共通しているのは，𝐿 𝐶𝐸 の効果が大きく出るように損失関数を再設計したという点であり，𝐿 𝐶𝐸 がモデルの流暢性に影響を与えると考えられる.

考察一貫性では，全ての蒸留モデルが model a を下すべてのモデルが rinna の small の 68%程度のモデルサイズであるにもかかわらず，より良いパープ回った. 蒸留は教師モデルの多様な表現を取り込むために，かえって一貫性を損なう可能性がある.

レキシティを示した. 蒸留をせずに通常の事前学習魅力では，流暢性と異なり，𝐿 𝐶𝐸 の影響は様々を実行した model a が既に良いパープレキシティをであった. 一方で中間層の出力のコサイン類似度で示していることから，これは蒸留の効果ではなく，ある 𝐿 𝐶𝑂𝑆 を考えると，これを利用した model h はモデルの初期化方法および Wikipedia による事前学

model b と比べて流暢性，一貫性では変わらなかっ習の効果である. 一因として，rinna の事前学習にたものの，より高い魅力を示した. 中間層の出力をは日本語 Wikipedia および cc100 を用いている [13]利用することで，教師モデルの表現の多様性を学習が，本研究においては日本語 Wikipedia のみを用いすることができたと考えられる.て蒸留を実行したため，Wikipedia を用いて測定し7たパープレキシティにおいては本研究のモデルが有利であったと考えられる.
𝐿 𝐶𝐸 を加えるとわずかにパープレキシティが改善した. 複数の条件について調べたところ，𝐿 𝐶𝐸 に掛おわりに本研究では生成モデルの蒸留を検討した. パープ

レキシティを指標とした自動評価では，通常の事前学習に加えて 𝐿 𝐶𝐸 を導入することでモデルの性能ける値によるパープレキシティへの影響はあまり安を向上させられることを示した. 主観評価では，一定していない. 特に 1 倍と 10 倍の場合には事前学習

貫性以外の項目で蒸留によって主観評価を向上させのみをしたモデルよりもパープレキシティが良かったが，5 倍と 20 倍の場合には事前学習をしたモデルよりも悪かった.
small からの蒸留より medium からの蒸留の方が性能が良かった. medium の確率分布は small の確率分
布よりも正確であると考えられるので，より正確なることのできる損失関数の組み合わせを発見し，特に 𝐿 𝐶𝐸 に掛ける値を適切に調整することが重要であることを改めて示した. また，蒸留のために追加された 2 種類の損失 𝐿 𝐶𝐸 および 𝐿 𝐶𝑂𝑆 について，前者はモデルの流暢性に，後者はモデルの魅力に大きな影響を与える可能性が示唆された.

確率分布がモデルの学習を助けると考えられる. つまり 𝐿 𝐶𝐸 を学習に用いること自体には意味があると考えられる.
𝐿 𝐶 𝐿 𝑀 と 𝐿 𝐶𝐸 との相乗平均を取った model f および中間層の出力のコサイン類似度である 𝐿 𝐶𝑂𝑆 を利― 3252 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本 研 究 は JSPS 科 研 費 JP22H00804, JP21K18115,
JP20K20509, JST AIP 加速課題 JPMJCR22U4, およびセコム科学技術財団特定領域研究助成の支援をうけ[12] rinna 株 式 会 社. rinna/japanese-gpt2-small · Hugging
Face,（accessed 2024-01）. https://huggingface.co/rinna/japanese-gpt2-small.
[13] rinna 株式会社. rinna/japanese-gpt2-medium · Hugging
Face,（accessed 2024-01）. https://huggingface.co/rinna/japanese-gpt2-medium.

たものです.

参考文献[1] Oﬁr Zafrir, Guy Boudoukh, Peter Izsak, and Moshe
Wasserblat. Q8bert: Quantized 8bit bert. In 2019 Fifth
Workshop on Energy Eﬃcient Machine Learningand Cognitive Computing - NeurIPS Edition (EMC2NIPS). IEEE, December 2019.

[2] Jacob Devlin Ming-Wei Chang Kenton and Lee KristinaToutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings ofnaacL-HLT, Vol. 1, p. 2, 2019.
[3] Elias Frantar, Saleh Ashkboos, Torsten Hoeﬂer, andDan Alistarh. Gptq: Accurate post-training quantizationfor generative pre-trained transformers. arXiv preprint
arXiv:2210.17323, 2022. https://doi.org/10.48550/
arXiv.2210.17323.
[4] Geoﬀrey Hinton, Oriol Vinyals, and Jeﬀ Dean. Distillingthe knowledge in a neural network. stat, Vol. 1050, p. 9,2015.
[5] Victor Sanh, Lysandre Debut, Julien Chaumond, andThomas Wolf. Distilbert, a distilled version of bert:smaller, faster, cheaper and lighter. arXiv preprint
arXiv:1910.01108, 2019. https://doi.org/10.48550/
arXiv.1910.01108.
[6] Alec Radford, Jeﬀrey Wu, Rewon Child, David Luan,
Dario Amodei, Ilya Sutskever, et al. Language models areunsupervised multitask learners. OpenAI blog, Vol. 1,No. 8, p. 9, 2019.
[7] Hugging Face. distilgpt2 · Hugging Face,（accessed 202401）. https://huggingface.co/distilgpt2.
[8] Md Akmal Haidar, Nithin Anchuri, Mehdi Rezagholizadeh, Abbas Ghaddar, Philippe Langlais, and Pascal
Poupart. RAIL-KD: RAndom intermediate layer mapping
for knowledge distillation. In Findings of the Association for Computational Linguistics: NAACL 2022, pp.
1389–1400. Association for Computational Linguistics.
[9] Tianda Li, Yassir El Mesbahi, Ivan Kobyzev, Ahmad
Rashid, Atif Mahmud, Nithin Anchuri, Habib Hajimolahoseini, Yang Liu, and Mehdi Rezagholizadeh. A
short study on compressing decoder-based language models. arXiv preprint arXiv:2110.08460, 2021. https://doi.org/10.48550/arXiv.2110.08460.
[10] knok/japanese-distilgpt2 · Hugging Face, （accessed 2024-01）. https://huggingface.co/knok/
japanese-distilgpt2.
[11] transformers/examples/research projects/distillation/
distiller.py at main · huggingface/transformers ·GitHub, （accessed 2024-01）. https://github.com/
huggingface/transformers/blob/main/examples/
research projects/distillation/distiller.py.

― 3253 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

付録
書き出しおよびモデルごとに，生成された文章の例を表 7 に示す. 紙幅の関係上，生成文の 126 文字目までを掲載したが，実際にはこの倍程度の長さの文章を生成し、主観評価に用いている.
表7

rinna, small

rinna, medium

my model a

my model b

my model d

my model f

my model g

my model h生成された文章の例

書き出し A

書き出し B

書き出し C

吾輩は猫である。名前は「ハナコ」。
店長から、「アントラクト」と誤って呼ばれ入城した際、店のオーナーに感謝すると同時に、自分の居場所を告げてくれた。 アルバイトとして猫を飼っている。頭の数を数えて、全然わからないと言っていた。 店長から「ネコ」と呼び掛
吾輩は猫である。名前は未知。 ポエム
文章力不足で読みにくい文しか書けない
不自由な俺の日記 (書けたとしても大した内容ではない)。 え? 読んでくれ
たんだけど。読むときっと目が腫れちゃうからやめておこう。 作者は黒猫ではなく、真逆な自分に似たり寄ったりの男
吾輩は猫である。名前は「仏」の意で、姓は仏教に由来する。釈迦仏は釈迦仏に深い尊敬と尊敬をおかれている。ただし釈迦仏のみについては一説批判がある。
一方で、仏教の生物でさえも珍しい。また、仏国土の木として信仰されている。
また、サガラの鉢植えや昆虫の幼虫など
吾輩は猫である。名前は兎で、字は五光・龍。眉間・目は僧帽山 (現在の法界寺霊園) に由来する。尾は尾、眉は小手。
眉は老人で瘤が無い。年齢は不詳。江戸時代は牛馬にまとまって馬上槍試合に出ており、記録に残る限り無類の強さを誇る (現在の牛馬一本槍試合などの記録で吾輩は猫である。名前は、猫がそのうろたに抱えたい願いを込めて「うるおい・ぬう」(とらい) と猫の鳴き声から取られている。家中では「ぬうゃい」、「ぬうゃっし」と呼ばれている。そのため、上が白猫・下が鼠猫である。下が白猫である。そのことから「ぬう」は虎の俗称
吾輩は猫である。名前は、『一、二、六三』の「吾」と「猛」を合わせたもの。
お年寄りの者からは「吾」という字に掛けて「参」、お年寄りなら「竹の師」、関四郎なら「竹の師」、兵法三昧ならば「兵法三昧堂」や「兵法三昧堂」、「兵法正昧堂」などの字に通じる。このよう吾輩は猫である。名前は羅津から来ている。猫の鱗魚を捕る時、目の通りが、ウサギ耳になった。また、魚が魚を食べないとした時には、貝を美味そうに食べたという。のちに、それを「兎」と呼ぶようになり、さらに十数本の太い鱗魚を捕っていた。この事から、江戸時代には「吾輩は猫である。名前は「猪太郎」である。名前は猫ではなく、「熊五郎」と呼ばれている。年齢は猿楽と、二幕の映画で見られる「ネズミ (幽霊)」を合わせたもの。映画では「まがい物」を表す。
『吉宗』での有名な通り、「ごほうび」に出てくる太兵衛は、米粒の卵をかぶせ生命、宇宙、そして万物についての究極の疑問の答えは、この《私》にあると確信しています。 つまり、物の表面が、物全体と同じように見えなくても、物体として見て初めて、その物全体よりも、物はその全体そのものだと見出すことができるのです。 また、もう一つ重要な生命、宇宙、そして万物についての究極の疑問の答えは無限だ。 それは人間の生命の万物の愛よる永遠の哲学、それが宇宙の起源であることは確かだろうが、宇宙は、この星で「生き続ける」ことだ――生命が滅び、死が訪れるまで我々が理解できるように、宇宙のことは、宇宙
生命、宇宙、そして万物についての究極の疑問の答えは、「無限の創造可能的生命が存在する」ということである。つまり、無限の創造物が存在しながら、何が地球以外の諸王国の支配下にあったとしても、生命、宇宙、万物は存在するという主張である。宇宙は完全な創造物であ
生命、宇宙、そして万物についての究極の疑問の答えは、社会史的論争の中で、議論の基礎をなす。この主題はこの主題を含む宇宙論の中心的な分野を占めるものであり、たとえば、全ての生命体の生存は核によって決定されると述べられる。ところが、核を含む各生命体が、ある生命、宇宙、そして万物についての究極の疑問の答えは、科学の科学的方法論から生まれた。当初は問題を解くだけで科学的な発見もできず、後に原子や分子、あるいはその他の元素に由来する「科学」への批判が展開され、科学がその必要性を消滅させるという解釈もなされた。
生命、宇宙、そして万物についての究極の疑問の答えは、知識世界の形成と認識の重要さの向上、そして思考の世界の形成にある。これを達成するためには、主知や述語などの知的能力、想像力、想像力に関する知識が重要である。科学や技術に対しての知識、科学的知識、科学的生命、宇宙、そして万物についての究極の疑問の答えは、一般に神々が作ったことであると言われる。その根本となるものは神であって「新王国」には悪意を持っておらず、やがて神が滅びることとなる。またその自然法則によって「新王国」が存続・発展しないことも間違いではな
生命、宇宙、そして万物についての究極の疑問の答えは、心、思考、思考による精神と、思考と思考に基づく創造の可能性があると述べる。心と思考に基づく精神と思考は、究極の解決策であり、生命では、新たな制約を打ち消すと解釈される。さらに、善、悪と区別される。思考

イギリスからは紅茶だけでなく、伝統的なティータイムの習慣もオーストラリアに伝わった。 特にティータイムは、ミルク入りの紅茶が主流であった。 イギ
リスではお茶に含まれるカフェインが血流を良くし、利尿作用や血管拡張・眼精疲労などの副作用の発現が緩やかになる
イギリスからは紅茶だけでなく、伝統的なティータイムの習慣もオーストラリアに浸透している。 オーストラリアの紅茶には大きく分けてハーブティー、ジンジャーティー、スパイスティーという 3 つのタイプがある。 一般的にはハーブティ
ーにはルー、スパイスティーにはスパイ
イギリスからは紅茶だけでなく、伝統的なティータイムの習慣もオーストラリアに広がり、このティータイムは紅茶の輸出港と輸出区域の入り交じった商業的なプランテーション農業の産物であった。
しかし、イギリス本土の貿易路が整備されていなかったため、イギリス本国やアイギリスからは紅茶だけでなく、伝統的なティータイムの習慣もオーストラリアにはなかった。紅茶はスペアレバーのかわりに茶葉から作った湯により作られた。テーブル上に置かれた茶葉をバターとバターで炒め、緑色の葉だけを使用して焼いた。フランスからは非常に高価な紅イギリスからは紅茶だけでなく、伝統的なティータイムの習慣もオーストラリアに定着した。ミルクティーに紅茶をセットすることも。ただし紅茶はチャクナジ
ャコ (チャクナジャコ) と呼ばれて大衆的飲料とされ、「チャクナジャコ (caco)」の語はより一般的なものとなりイギリスからは紅茶だけでなく、伝統的なティータイムの習慣もオーストラリアに引き継がれている。このティータイムは、第一次世界大戦前後から飲まれていながら紅茶を飲むというサービスだった。紅茶以外の飲み物も同様に紅茶と同質の紅茶とみなす。また、第二次世界大戦
イギリスからは紅茶だけでなく、伝統的なティータイムの習慣もオーストラリアにもたらされた。それは英国の紅茶ブランド『ブレンド (rread)』の中心となり、イギリスの茶の生産量を伸ばし、この上質な紅茶がオーストラリアの主な輸出品となった。しかし、1960 年
イギリスからは紅茶だけでなく、伝統的なティータイムの習慣もオーストラリアに受け継がれている。イギリスで紅茶といえば紅茶と紅茶が広く飲まれている。
インドでは紅茶専門店がさほど増えておらず、紅茶の消費量は少なく、紅茶の一大輸出国になっていたこともある。また、― 3254 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).