電動こけし/肉
1979年頃、当時遠藤が居住していたアパートの向かいにあった喫茶店がパンク・ロックを中心に店内放送を行っており、その影響からセックス・ピストルズなどを愛聴するようになった。また、ディーヴォの初来日公演を観覧した遠藤は、その影響でエレクトリックギターを手にしたまま全身をビニールテープでぐるぐる巻きにするなどのライブパフォーマンスを行うようになった。それ以外にもパティ・スミスなどニューヨーク・パンクの影響を受けていた遠藤は、「コケシドール」、「バラシ」、「自閉体」などのバンドを結成しては解散を繰り返していた。当初は遠藤がギターを弾きながら歌う弾き語りの方式で演奏していたが、同時期に結成したパンクバンドINUのライブを見た影響で「自閉体」以降は遠藤はギターを持たず、ボーカルのみのスタイルに変更した。同年12月31日に映画『ウッドストック/愛と平和と音楽の三日間』(1970年)を鑑賞した遠藤はヒッピーに対する愛着が薄れ、パンクへの移行を決意し髪を短く散髪した。
1980年6月、「コケシドール」に在籍していたドラムスの乾純に加え、ギターの金子あつしと共にザ・スターリンを結成。バンド名の由来は大学在学時に学生運動に参加していた際に反帝国主義・反スターリン主義に影響された事で、ソビエト連邦の最高指導者であったヨシフ・スターリンに対する嫌悪感が強く、バンドでの世界進出を目論んでいた事や遠藤と同年代の人間にも注目される事を想定しあえてスターリンの名前を使用する事となった。9月には自主制作レーベルのポリティカル・レコードを設立した。