【GPT-2】GPUクラウド「Gradient」でGPT-2を使ってみる（英語・日本語）

## 環境
+ Gradient
+ PyTorch 1.11

## コード確認＆実行
[![Gradient](https://assets.paperspace.io/img/gradient-badge.svg)](https://console.paperspace.com/github/probabilityhill/try-gpt2/try_gpt2.ipynb)

コードは GitHub からも確認できる。

https://github.com/probabilityhill/try-gpt2


### 英語
```py
from transformers import pipeline, set_seed
generator = pipeline('text-generation', model='gpt2')
set_seed(42)
generator("ここに書き出しを入れる", max_length=50, num_return_sequences=8)
```

### 日本語
```py
from transformers import T5Tokenizer, AutoModelForCausalLM
tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-gpt2-medium")
tokenizer.do_lower_case = True  # due to some bug of tokenizer config loading
model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt2-medium")

input = tokenizer.encode("ここに書き出しを入れる", return_tensors="pt")
output = model.generate(input, do_sample=True, max_length=50, num_return_sequences=8)
print(tokenizer.batch_decode(output))
```

## 生成例
書き出しと関連のある文が生成されているが、違和感のある文も多いように感じる。

### 英語
```:I like lemons.
I like lemons. I like lemons, too. In the summertime, after you get to be on the team, you eat the stuff you love — you call them lemons. It works great, in that time of year. But
I like lemons. What\'s wrong with you?" Her voice was sharp, almost inhuman.\n\n"Why isn\'t that a sign that the sun\'s really out, too?"\n\n"Just don\'t give it any attention. It\'s
I like lemons. But I don't like mustard and that's probably one reason I didn't order the stuff.\n\nG. L. Roo's $16.99 GALCONNIS TARO BLUES: I was
I like lemons. I like my grapes. I love my strawberries."\n\nIt is not that her father has changed. Her grandfather, George C. Bennett, told her that he could not remember a time when he had told her the same
I like lemons. It is kind of just as good as the ones we use in yogurt. And because I work mostly outside, it's all in the refrigerator, so just take it home. It sounds ridiculous, but don't worry. It
I like lemons. I am not too sure why they didn't get a whole bunch of them from New York back in the same year with '80s-era versions.\n\nMARKY.J.: Yes, you have my number
I like lemons. I like apples. Aye. I like a lot of apples.\n\nWhen he died, he wrote poetry, and this is what he told himself when he entered into that fateful year of his career. In that letter
I like lemons.\n\nKirkman: How does it feel?\n\nLambert: It feels like I kind of get excited about the way you grow up. You're just just kind of on the edge and you're just
```

```:What a beautiful landscape.
What a beautiful landscape. I will be able to see the sun in the sky as well as the clouds and everything in between.\n\nMy first day as pilot here was amazing. It turned out to be one-of-a-kind.
What a beautiful landscape. What\'s so beautiful about it?"\n\nBut the other day, it was a story to me — it wasn\'t the original story, and if I had only known it would\'ve been a one-shot story, and
What a beautiful landscape.\n\nAs for the rest of our team, I think their work was all the right thing for him to do for the club. He was very excited about his career and his work ethic and his desire to make the next
What a beautiful landscape.
What a beautiful landscape.
What a beautiful landscape. I am not ashamed of myself after so many years because it is so beautiful. There is no excuse for not enjoying it.\n\nThis isn't to say that you shouldn't take great selfies, just be careful. People
What a beautiful landscape.\n\nHow do you say that? Oh wow, really? You said, you'd be proud of your outfit. Why do you think that? Oh man, that was so exciting, it's truly exciting! What a
What a beautiful landscape.\n\nThe next moment, I'm sitting on my bike and a windmill is starting to blow, then the wind is blowing the windmill down in a very rapid pattern and it makes me feel like I'm in a
```

```:Just kidding!
Just kidding! We will see. You can be proud." But there was no reason for it to be. They wanted to be the first. The next day was March 25th, 1917, one day in that time.\n\nThe United States
Just kidding! What\'s wrong with you guys?!"\n\nHan Ying shook his head, "I didn\'t have to do anything. Why did you come and meet us?"\n\n"Just leave it at that. It\'s just that right now
Just kidding! This would be awesome! We just want to give our backers access to the new build!"\n\nWe made our demo at OculusCon 2013. Here\'s the whole thing:\n\nAs of May 22nd, we\'re releasing the
Just kidding! I'd say that you're being generous. I could actually make a big batch of tea for you without so much as eating it. That's what we have to do. It should only take 30 minutes for some of the ingredients to
Just kidding! It is.\n\nNow this might sound like a joke (I am going to try to explain it very briefly). But in fact, I am just going to say that it sounds ridiculous, in most cases.\n\nFor example
Just kidding! I am not going to give ANY EXPERIENCES, so please let me explain...I have been watching YouTube for a long time.\n\nWhen I first saw Youtube I was curious if there was ANY news that mentioned any
Just kidding! I like that song."\n\nIn August, Disney released two teaser titles for The Legend of Zelda: Breath of the Wild. Those titles involved a full game of Zelda, but it only featured one playable character, meaning the game would
Just kidding!\n\nThe real issue is not with his relationship with the media (what he does and doesn't tweet at the moment), but the way you treat him. While he didn't seem angry on the campaign trail (and apparently still says
```

```:I love shoegaze songs.
I love shoegaze songs. I will be buying some of his new album\'s if he gives it a try and I can be sure to say the same." The studio version was released more than two weeks ago via V-Sonic.\n'},
I love shoegaze songs. What's the worst you ever did to your sister, a real love, I love that?\n\nSo, it's my real love and my real love goes after your sister all of a sudden.\n\n"},
I love shoegaze songs. I loved these songs and would always want to listen to them. I think all the stuff we wrote and made and worked together.\n\n\nP.A.N.: What did you enjoy from writing this EP?'},
I love shoegaze songs. I'd say that there's a lot of them, and I don't know that I've ever heard of much shoegaze stuff from them.\n\nBut what the name of the project really matters to you"},
I love shoegaze songs. It is kind of what I have for Christmas. Like you said before, we have an opportunity to talk about art, to talk about history, we just really wanted to do it in a way that, it would
I love shoegaze songs. I am not ashamed of myself for not liking them because it is so popular and it has never worked out that way with me!" She smiles before addressing us in a tone of almost reverent, "I am so
I love shoegaze songs. I like shoegaze videos. I like a lot of bands that are really good and really good producers and that really has this great fanbase.\n\nC: I've done a lot of interviews where I'm
I love shoegaze songs.\n\nKABUL: How does it feel to meet you?\n\nSAHRAH: No. Well, my dad is very famous in India just so you know, he knows about kazoo
```

```:I listen to psychedelic rock.
I listen to psychedelic rock. I'm glad I've been brought up in the right area.\n\nIn fact, I'm not even convinced the next album will really be much better than the one we're currently listening in. I agree with most
I listen to psychedelic rock. What's the thing you listen to a lot?\n\nI love it when it's in the studio. If it's my old records and CDs, I'm very protective about it. I love it from the get
I listen to psychedelic rock. I listen to spiritual music. I listen to folk/postpunk. I listen to experimental rock and punk. I listen to R&B. I listen to all the genres you can put your name in. I listen
I listen to psychedelic rock. I listened to psychos and listen to a lot of new rock that came along during that very same period of time. One of the things that came along with the transition to psychedelic rock was how those two styles of music
I listen to psychedelic rock. It is kind of what I heard for the first time back in those days – there was no way I could get out of it. I just felt like I could have a good time exploring whatever I wanted."\n\n
I listen to psychedelic rock. I am not trying to give anyone anything or get thrown in prison, or even die of AIDS. I think there are a lot of people who could be imprisoned for drugs by their government's decision not to punish them.
I listen to psychedelic rock. I like psychedelia and then I take a few weeks of time off. It\'s a whole different feeling of feeling, and this is what I do."\n\n"That thing that\'s called LSD has a very
I listen to psychedelic rock. And then when I'm in the midst of listening to the same things over and over, it's sort of like, 'Wait a minute, that's it! Go to the next place on the menu and you're
```

### 日本語
```:花子さんは駄菓子屋へ向かいました
花子さんは駄菓子屋へ向かいました
 すると、ちょうどお父さんが出て来られ、おばちゃんと二人で話しています 私は、駄菓子屋のおばちゃんに、このあとの事を話し、駄菓子屋を出て行こう
花子さんは駄菓子屋へ向かいました
 。 私はその言葉を受けて、頭を撫でながら<unk> 子さんの手を取りました。 私はその言葉で、この女は自分の手ではなく、この女に支えられている存在である事を思いました
花子さんは駄菓子屋へ向かいました
 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
花子さんは駄菓子屋へ向かいました
 あのままずっとここで暮らしてきたらよかった でも今更、どこへ行っても駄菓子屋さんに連れて行ってくれないんです。 そう思ったら......あ～あ、なんだか涙
花子さんは駄菓子屋へ向かいました
 > 私はそう言って、2個ずつ袋に入れました。 > 袋を開封しました。 > そして、もう一人、 > 私は駄菓子に夢中にな
花子さんは駄菓子屋へ向かいました
 そのとき、娘さんは きっと父ちゃんと遊んでいたことでしょう だから ママ、ママ と 呼んでほしい 私も 母さん が そばにいるって 嬉
花子さんは駄菓子屋へ向かいました
 _ 萌え擬人化プロジェクト http://ameblo.jp/hiyakuragi/entry-1267821775.html 昨日の朝4時半頃
花子さんは駄菓子屋へ向かいました
 。彼女は店の棚から「おやつはどれですか」と聞いて、手当たり次第に自分のおもちゃを取ろうとしましたが、「ご飯の時はいいよ〜」と言われ、店を出て行きました。
```

```:太郎君は料理が得意です
太郎君は料理が得意です
 。 」←太郎君のことは太郎君のことです。 というわけで、またまた「第14話 太郎君が料理得意!」 の続きです。 太郎君のことが
太郎君は料理が得意です
 ・・・・・・・ ・・・・・・・・ ・・・・・・・・ ええと、この本、昭和3年発行でして、初版
太郎君は料理が得意です
 僕は君の家に行こうよ 私はただ食べているだけなのにね あなたの 気持ちはわかるような気もするんだけどね でも 私がいつも そばに居
太郎君は料理が得意です
 どうぞ 食べにおいでください 。 私はこのブログを書くために たくさん野菜を食べ、たくさん肉を食べ、 こんなにたくさん肉を食べたら、私ももうちょっと元気になるかも
太郎君は料理が得意です
 と答えると、太郎君はその笑顔でこう言いました さっそく太郎君に料理を教えてもらい、自分のお気に入りの料理を作って、大勢の人たちに振舞ってあげました。
太郎君は料理が得意です
 ———————————————————————————— この家では、太郎君を自分の娘のように想っているよう
太郎君は料理が得意です
 何とラーメンを作るのですか」 「私はラーメン作りが得意です、ただでさえ料理が多いのだから当然だと思います」 「僕のラーメンが一番好きです。だから料理は、自分で食べた
太郎君は料理が得意です
 と書いてあるのは、この太郎君が「日本料理」のお姉さんの事を示しているのだと思います。 太郎君の誕生日の日は、11月3日です。 太郎君
```

```:紅葉が綺麗です
紅葉が綺麗です
 いつもはこんなこと出来ないので、写真見て幸せです(笑) そして、お昼にお寿司とポテトフライとアイスを食べて帰ってきました!!! まだまだ寒い日続く中
紅葉が綺麗です
 ここへは昨日の帰りに 雨にぬれて 立ち寄ったのですが、 その奥にはお寺が建っていて、山の上にあり お寺をみながら お庭を散策することも
紅葉が綺麗です
 天気は悪いですが、風が気持ちよくて気持ちがいいですね いつもの池に行ってみると水の色が少し緑から黒へ変わ っていました 今日は、9月
紅葉が綺麗です
 私は、この色合い・・・・とっても好きです。 紅葉を眺めながらお茶をいただきました 久しぶりにいいお天気でした。 もうすぐ秋になりますね
紅葉が綺麗です
 pic.twitter.com/py0u5w3vy6 最近よく「紅葉、見に行けないのは寂しいですよね」っていうけど、本当。 「お
紅葉が綺麗です
 昨日は「さっしー」という人に会うことができて、とても嬉しかったです。 今朝、仕事から帰ってきたら、玄関先にたくさんのお客様に来ていただいたようで、この日
紅葉が綺麗です
 <unk> 私の部屋に遊びに来ませんか。 <unk> <unk> <unk> ( <unk> д<unk> )、ペッ イ 写真撮るのを忘れちゃいました。。。 <unk> <unk>
紅葉が綺麗です
 私はこんな感じ。 明日もお天気 良く釣り日和 <unk> (^。^)ノ <unk> (^。^)ノ 10月4日に予定していました「あじさいを
```

```:真っ暗な夜道を一人で歩いていた
真っ暗な夜道を一人で歩いていた
 僕はいつも、暗い道を歩いていて 僕はいつも、その道の脇の崖から 流れてくる岩の音を聞いているだけだった 少し 息苦しくて、呼吸が苦
真っ暗な夜道を一人で歩いていた
 いつもそうしていた」 と 語っています さて、昨日の続きです 朝から雨でしたので 私は朝からいつもよりも早く家を出て出かけました そのせいで
真っ暗な夜道を一人で歩いていた
 。 夜の学校は、いつもは生徒の姿や笑い声などもなく、ただ静かに通り過ぎるような雰囲気だった。 校門の外に出たり、校門から校舎へ入ろうと歩こう
真っ暗な夜道を一人で歩いていた
 _ 漫画『銀魂』 漫画『銀魂』は、沖田総司率いる「沖田総司隊」の一員が、沖田と出会った事件である。 沖田
真っ暗な夜道を一人で歩いていた
 俺は、その夜道に光り輝く明かりが見えたのをよく覚えている 真っ暗な中を歩く姿には、いつも不思議だった いつしか、そんな感じで俺は
真っ暗な夜道を一人で歩いていた
 、、、、、、、、。 俺が、、、、、、、、、、、、、、、、。俺が、、、、、俺が、、
真っ暗な夜道を一人で歩いていた
 。 すると、一人の男の頭を殴る蹴る蹴るの 激痛が走った。 俺は咄<unk> に、 「 こんなところに誰かいるんじゃねーか 」
真っ暗な夜道を一人で歩いていた
 が、その影には真っ直ぐな姿の美女 が立っていた。 さっそく、美女の正体を追っていくと、謎の黒い影と遭遇する。 彼女はこの謎のシルエット
```

```:昔々あるところに、
昔々あるところに、
 とてつもなく美しい、 心が静まる水のある水辺の景色がありました。 その景色には心が優しくなり、 しばし時を忘れてしまいました。 さて、
昔々あるところに、
 1年で5歳若返った、 若い夫婦がいた。 すると「あの夫婦こそ、人生の師」といわれた。 二人は... 続きを読む → 昔々ある所に、
昔々あるところに、
 何の変哲もない家の奥さまがおりました。 奥様とお子様、ご夫婦だけで営んでいる、ちょっと隠れ家的なお店です。 店内のテーブルは、奥様が一人で切り盛り
昔々あるところに、
 人里離れた山深い田舎に住んでるお爺ちゃんがいました。 子供の頃山に籠って遊んでいたお爺ちゃんは、時々親戚の家に遊びに来ていたのですが、そのうち
昔々あるところに、
 とある という、 人 がおりました それは、 「... 「 誰かが俺達の前に来た。 」 なんてセリフを叫んだり、... 以前、ふと思い出してふと
昔々あるところに、
 男と女がいた。 男は頭を冷やし、女はそれをやわらげる。 それはまるで、頭を冷やすために火を燃やすようだ。 男と女が火の粉を
昔々あるところに、
 人の頭を<unk> えて、 <unk> 然とする人がいる。 その人は 「この犬は、いったい何のために 生きているのだろう。 」 と不思議に思い、 <unk> 然自失になる
昔々あるところに、
 貧乏くじをひいた男が、 貧乏くじでもらったお金を 貯めたお小遣いを持って、 貧乏生活を楽しんでいました。 あるとき、 仕事の帰り道にある川辺へ寄って
```

## 参考
https://huggingface.co/docs/transformers/index

https://github.com/huggingface/transformers

https://huggingface.co/gpt2

https://huggingface.co/rinna/japanese-gpt2-medium

https://github.com/rinnakk/japanese-pretrained-models