大筋は大島があらかじめ拵えており、内藤は細部を埋めていく作業をした。この時点で美術は戸田重昌が、アクションは崔洋一というスタッフ配分が非公式に決まっていた。しかしラストシーンが決まらず、日下部がアドバイスしたが「その終わり方だとぼくの映画にはならない」と拒否した。四方田犬彦は『大島渚著作集』の解説で、締め切り日になっても二人が納得のいくところまで脚本が完成せず、東映は「あと、五日、いや三日」という脚本家の要求を無下に拒絶した、そこで大島が旅館の卓をひっくり返し、すべての企画が中止になった、東映はただちに代打監督を起用したと書いている。日下部は、大島は時間切れでさっさと京都から引き上げていった、封切に間に合わないため、急遽、大島に叩きつけられた高田に再び脚本の仕上げを頼んで、降旗康男に監督を交代させ何とか公開日に間に合わせた、などと話している。本作の助監督・土橋亨（本来の"土"表記は"圡"）は「休暇を取って四国の田舎でのんびりしてたら、岡田茂さんから電話がかかってきて『おい、土橋、お前撮れ』て、言われたんで、すぐ帰って『さあ、やろう』と思っていたら、主演の佐分利信さんが『（監督が）こんな若い奴では、俺はできない』と言うので、どんでん返しで降板になったんです。それで、監督が降さんになったんで、僕はチーフ助監督をやることになった」と話している。大島は『シナリオ』1983年10月の大森一樹との対談で、「その頃『戦場のメリークリスマス』の脚本が入ってきて、こちらも上手くいかず、それで（『日本の黒幕』の方を）やめたいと岡田茂東映社長に言ってくれと言っても誰も言わないから、それで非常手段で、昔だったらやっていた。でもやって『天草四郎時貞』になるんなら止めたほうがいいでしょ、と岡田社長に頼んで、結局やめた」と話している。四方田は「もし原案の企画通り大島作品として完成していれば、東映映画としても異色の大作として記憶されたであろうし、1980年代の大島の方向にも大きな変化がもたらされていたかと想像すると、実に残念である」と述べている。採用されなかった大島と内藤の共同脚本は内藤が長く保管し、2008年の『大島渚著作集』第三巻に掲載された。
高田宏治が「フィクサーの暗殺を狙う足の悪い少年がフィクサー宅に侵入するが、監禁されやがて暗殺者に育てられていく」という構想を大島に伝えると大島も賛同したため、脚本を完成させ大島に見せたが、「こんなつまらんものができるか!」と脚本を投げつけられた。高田はこれに耐え、大島に「どんなものをやりたいのですか?」と聞いたら「精神を病んだ児玉誉士夫の娘が地下に監禁されて、赤い靴を履いた女の子と踊っているというイメージのようなものだ」と言われた。大島の構想は闘いのドラマではなく、児玉の話とは融合しないと高田は考え、大島が「高田の脚本ではやれない」というので高田が降板し、大島は内藤誠を京都に呼んで、大島と内藤の共同で脚本を書き始めた。
「日本の首領シリーズ」をヒットさせた日下部五朗が、大島渚にヤクザ映画を撮ってもらいたいと、いくぶん政治的なものがいいだろうと「日本の首領シリーズ」で取り上げた児玉誉士夫をモデルにした映画を企画し、「大島渚、『日本の黒幕』、お客が来ますよ」などと大島を口説いた。大島は『仁義なき戦いシリーズ』の緻密な分析を行うなど、ヤクザ映画に対するシンパシーを表明していた。当時の大島は1976年の『愛のコリーダ』、1978年『愛の亡霊』で国際的な知名度を高めていた時期だった。編成上、1979年の10月末の公開が先に決まっていて取り掛かりが遅く、大作の割りに時間がなかった。児玉誉士夫は、自身もモデルとして登場する1974年の『あゝ決戦航空隊』（山下耕作監督）で東映の試写会に訪れ、観劇後に倒れたことがあり、東映の幹部とは面識があった。
IRTの計画では路面電車をトンネルに通す予定であったが、これは通常の地下鉄列車の運行に変更された。地下鉄列車の運行にあたってトンネルを測定したところ、サードレールを設置するための僅かな拡張のみで済むことが分かった。また、両端にあったループ線は半径が10メートル、路面電車線への連絡線は60‰の急勾配であったためループ線・連絡線ともに地下鉄車両での使用はできなかった。路盤および線路の取り替えは必要なかったが、トンネル内の集合ダクトは交換された。駅のホームの拡張は容易にでき、トンネルの幅は既存のIRT地下鉄車両に対応していた。1913年に改修工事が始まり、1914年に地下鉄車両に対応するようになった。グランド・セントラル駅 - バーノン・ブールバード駅（現：バーノン・ブールバード-ジャクソン・アベニュー駅）間の最初の試運転列車が1915年6月13日に運行され、6月22日から定期シャトル便の運行が開始された。計画されていた地下鉄路線はクイーンズ区側トンネル終端よりフラッシング地区へ向けて延伸することになっていた。IRTはこの路線を運営し、クイーンズボロ・プラザ駅以東はブルックリン・ラピッド・トランジット（BRT、後のブルックリン・マンハッタン・トランジット (BMT)）と路線を共用する予定であった。建設工事は予定されたルートに沿って進められ、1916年2月15日にハンターズ・ポイント・アベニュー駅が開業した。ハンターズ・ポイント・アベニュー駅より先は地上へ出て高架線となり、同年11月5日にクイーンズボロ・プラザ駅まで延伸された。なお、路線は建設時の経緯から他のIRT路線との接続が無く、1928年までは暫定的にトンネルへのランプで車両のメンテナンスが行われていた。1922年にトンネル西側へも延伸工事が始まり、1926年3月23日に5番街駅、1927年3月14日にタイムズ・スクエア駅まで延伸された。なお、路面電車時代のループ線は延伸工事の際に撤去されているがマンハッタン区側ループ線の天井の給電用レールは残されている。フラッシング線はフラッシング-メイン・ストリート駅の開業した1928年1月21日に全線開通した。クイーンズ区側のトンネルの勾配は40‰とIRTの他路線と比べるとかなり急で、スタインウェイ・トンネル通過のために特別車両を作る必要があった。スタインウェイ・トンネル対応の車両は既存のIRTの地下鉄車両と寸法などは共通していたが、ギアボックスのみ急勾配に対応させるために変更されていた。当初は12両が使用されていたが、路線の延伸により更に126両が追加された。1939年のニューヨーク万国博覧会の際に投入された50両の万博対応車両はスタインウェイ・トンネル対応車両と同じギアボックスを使用していた。1948年にR12電車とR14電車が登場し通常の地下鉄車両でも勾配を通過できるようになったため特別車両での運行の必要性が無くなった。また、同年にBMTはクイーンズボロ・プラザ駅以東への乗り入れを廃止し、フラッシング線はIRTの単独運行となった。