纳粹德国高层对大岛的重视从另一件事也可见一斑：1939年德国与苏联签订苏德互不侵犯条约，事先未知会（长期以苏联作为假想敌的）日方。日方为表达不满而召回大岛，代之以来栖三郎任驻德大使。然而在德方的强烈坚持下，大岛于1941年四月又返回德国重任大使，直到1945年德国投降。除了里宾特洛甫，大岛与希特勒本人以及希姆莱等都建立了私人情谊。由于精通德语并且极其了解德国，大岛浩对于纳粹德国的大政方针和军事计划的了解，比之一般的外国人要深入许多。《第三帝国的兴亡》的作者威廉·夏伊勒，就曾在书中评价大岛为“比纳粹党人还要道地的纳粹分子”——而在日本的外务省和帝国海军中，则有人称大岛为“驻德的德国人大使”（日语：駐独ドイツ大使），揶揄其对纳粹德国的醉心和崇拜。