大ナチス帝国ではヒトラーが病気で弱り、後継者たちは日本に戦争を仕掛けてアメリカ西海岸も手に入れようと画策する。戦争を避けようとするナチス国防軍大佐のルドルフ・ウェゲナーと、日本太平洋合衆国の田上貿易大臣は密かに協力し、劣勢の日本政府にナチスの核兵器の秘密をもたらして両国の戦力を互角にしようとする。木戸憲兵隊大尉はフィルムを追い、ジュリアナのボーイフレンドでユダヤ人のフランク・フリンクを尋問してその家族を殺し、フランクは日本への復讐を誓う。日本人相手に卑屈に骨董品を売るロバート・チルダンは、フランクと組んで模造品を日本人に売りつける。日本の皇太子がサンフランシスコ訪問中に狙撃され、木戸はフランクを容疑者として追う。皇太子を狙撃したのは、実は日本との開戦の口実が欲しいナチスの一勢力であるが、敗北が必至の戦争を避けたい木戸は隠蔽する。ジョーは新しいフィルムを追ってニューヨークからサンフランシスコに来るが、スパイとしての使命とジュリアナへの愛の板挟みとなる。
東部でも白人はナチスにおもねりユダヤ人と黒人を絶滅させ、ジョーの上司であるアメリカ人のナチス親衛隊大将ジョン・スミスは冷酷にレジスタンスを追い詰める。だが息子の不治の病を知って、義務である安楽死処理を躊躇する。ウェゲナーはラインハルト・ハイドリヒにヒトラー暗殺を強制されるが失敗して自殺し、ハイドリヒはスミスに逮捕される。ジュリアナはフィルムの秘密を知るため、レジスタンスに近づく。易に頼り平和を求める田上はジュリアナを雇い援助するが、不意に別世界のサンフランシスコに移動し、その光景を見て驚く。
それぞれ異なる時間線をもつ多数の別世界が存在し、一部の人間は世界間を移動する能力を持ち、「高い城の男」やヒトラーは様々な別世界の映像を収めたフィルムを収集し研究する。別世界の未来を参考にすることで、この世界の未来を改変できることが分かる。
日本太平洋合衆国では、フランクはヤクザの力を借りてエドを憲兵隊から取り戻すが、日本への憎しみからレジスタンスに参加して将軍を暗殺し、フランクの生死は不明となる。田上は日本が敗れた別世界で、死んだはずの妻と息子、その嫁となっているジュリアナに会い、ビキニ環礁水爆実験のフィルムを見て、核戦争を阻止するためにフィルムを元の世界に持ち帰る。