En juillet 1937, six ans après l'invasion de la Mandchourie, l'armée impériale japonaise pénètre à nouveau sur le territoire de la République de Chine, déclenchant la seconde guerre sino-japonaise. En décembre 1937, la ville de Nankin, alors capitale de la Chine, est bombardée puis envahie. Rabe crée avec d'autres ressortissants étrangers, comme Georges Rosen, Lewis S. C. Smythe, Robert Wilson et Minnie Vautrin, un comité et une zone internationale pour fournir aux civils de Nankin nourriture et abri. Lui et les administrateurs de la zone internationale entreprennent de circonscrire le massacre perpétré par les soldats nippons en protégeant de leur mieux les civils. Ses efforts aboutissent à la création d'une zone de sécurité, qui sauve de la mort plusieurs dizaines de milliers de personnes. Le nombre de Chinois sauvés grâce à John Rabe est estimé à environ .