創設年代は不明だが、室町時代初期～中期と伝えられる。馬蹄型の郭を構成し堅城として有名で、上杉氏の会津転封後も代わって越後に入封した堀秀治の家臣・神子田政友が1万石で入城しているが、1610年に堀氏の没落に伴い廃城となっている。本庄氏の城であり上杉謙信が幼年～青年期を過ごし、謙信の父・長尾為景が死去した後跡目争いが起こった時の初陣の地として有名。その後、謙信死後の御館の乱で城主本庄秀綱は上杉景虎方につき、三条城の神余親綱らと共に上杉景勝に抵抗するが、天正8年（1580年）4月22日に栃尾城は落城。秀綱は会津方面へ逃亡した。土橋、複数の堀切、石積、郭跡や竪堀の遺構などが残り、主要部の遺構はほぼ完存している。山頂からは視界が開け、栃尾盆地が一望できる。
四姉妹のオーディションの最終選考は1980年4月25日。四人姉妹役を全員、プロアマ問わず公募してオーディションが行われ、9000人9500人の中から、奈津子・烏丸せつこ、波留子・佳那晃子、亜紀子・影山仁美、布由子・太田光子が選ばれた。四人姉妹の役はそれぞれ本人の希望する役を選び、個別にオーディションが行われた。二女・奈津子役は出演の条件としてフルヌードがあったとされるが、これを拒否する者はいなかったという。オーディション終了後、報道陣へのお披露目を含めた製作会見が改めて1980年5月12日、帝国ホテルで行われ、岡田東映社長、五木寛之、東陽一とオーディションで選ばれた四姉妹、Kを演じる阿木燿子らが出席。岡田社長は「配収目標は5億円」と話し、五木は「応募者は自分で役を選んで主張を持って参加してくれたことを嬉しく思う。同時に時代が変わったんだなと感じた。選ぶ我々の方が緊張した」と話した。烏丸のクラリオンガールとしてのCMがテレビ放映されたのは1979年10月で、それまでは全くの無名だったが、豊かなバストをレイで隠したクラリオンのCMが大きな反響を呼び、当時の男性誌のグラビアによく取り上げられかなり人気が出ていた。野田義治は巨乳を売り出す発想は烏丸のポスターを見て思いついたと話している。また騒がれる前に『テン』のプロモーションで来日したボー・デレクと伊豆の大沢温泉で撮った全裸写真（撮影はジョン・デレク）が『PLAYBOY国際版』に掲載され、これも騒ぎになった。国際版だから家族は見ないだろうと気軽に承諾したが、掲載写真は烏丸を温泉場の湯女扱いしていた。烏丸は元々、高校時代から名古屋の東京新社俳優養成所に通う女優志望ではあったが、レッスンには4、5回しか行かなかったと話しており、クラリオンガールに選ばれる前にもNHK朝ドラ『鮎のうた』や『太陽を盗んだ男』の最終選考まで残っていたが、演技はほぼ素人であった。意外に下積みが長く、クラリオンガール応募の条件は22歳以下だったが、2歳鯖を読み、選ばれたときは実際は24歳だった。東映のパンフレットのプロフィールの記載でマスメディアにも年齢詐称がバレた。クラリオンガールの応募者は1827人。チョイ役の『海潮音』に次いで映画は二作目だったが、本作が先に公開された。烏丸は五木作品について「読んでる分には面白いし、いろいろ連想もさせてくれるところあるのに、成功した映画化作品がない。この作家のものほど、映画化が難しいのはないのでないか」と東に話したと言い、東は「有名になりたいとはっきり言う子がとても好き。僕らの世代は本当はそう思っていても口に出せなかったけど、その点、烏丸さんは適役だと思う」と主役抜擢を決めた。烏丸は当時の雑誌インタビューで「作品が好きで応募したわけではない。映画をやりたいから応募した」と話した。三女・亜紀子役の影山仁美はテレビドラマには出ていた。影山の撮影は2日間で出番が少なく不満を述べた。四女・布由子役の太田光子は演技は素人の大阪の名門私立に通う現役高校二年生。自由な女・K役もオーディションで決める予定だったが、五木や東のイメージと合う女優が見つからず、五木と東が審査員だった第一回ニッポン放送青春文芸賞のパーティに来ていた阿木燿子を見て、東と五木が「あ、Kじゃないか、あれは！」と異口同音に叫んで口説き落としたとされる。阿木は美人の大ヒット作詞家として有名だったが、顔はあまり知られていなかったとされるが、映画関係者は「阿木を知らなかったなんてことはないはず。既に決まっていたのにパーティ云々で色付けしたのだろう」と皮肉られた。 宇崎竜童は、阿木に「どうしようかなぁ？と相談を受けたが、どうせもう決めてんだろ！」と出演を承諾したと話している。人気作詞家が女優デビューし、しかもヌードになるのは初めてのケースでマスメディアも大きく取り上げた。阿木は「人生の転機としてやります。丁度、今エネルギーが爆発する時期ですから」と決意を述べたが、スポーツ紙で全裸シーンがあると大きく報道され、ナーバスな性格で取材拒否が敷かれた。東は阿木や詩人の田村隆一の起用について「今の日本の俳優の演技はどうも嘘っぽくてね。決局、俳優自身の人間性に重みがないと劇中の人物に奥行きが出てこない。今の日本映画はかつての様式美の時代が終わったというのにまだ現実を見つめることすら始めていない。俳優の演技の問題もその現れです」という考えからの起用と話した。「ぼくにとっては、俳優さんてのは存在しないんでね、プロとか素人とか決められない。人生のプロなら俳優をやれると思う。日本映画はぼくも含めて監督も、カメラマンも、役者もまだダメだと思う。どこかで固定観念を壊さなきゃいけない。人間は経験に対する決まりきった回答が出てくるでしょう。それが恐い。要するに手慣れた仕事になってくるのが嫌いなんで、そういう意味じゃぼくはプロの監督じゃないかもしれません。見方によればかなりチャランポランな撮り方かもしれませんが」などと話した。映画監督の役で出演の映画評論家・白井佳夫は、心臓発作で入院した伊丹十三の代役。東監督が白井と親しいことからの抜擢。白井の映画出演は『蜘蛛巣城』『黄金の犬』に次いで三度目だが、『黄金の犬』では雑誌で酷評し監督と疎遠になった。東から「作品を褒めてくれなくていい」と言われ出演を承諾した。