在断断续续的早期驻德生涯中，大岛浩与当时迅速崛起的纳粹党高层人物建立了深厚的交情。得益于流利的德语，大岛很快就与希特勒在外交方面的亲信顾问约阿希姆·冯·里宾特洛甫成为好友。那时，这位前香槟销售员尚未执掌外交部，但他的“里宾特洛甫办公室”却已是希特勒所实际倚重的外交机构了。从这一点上说大岛的地位与里宾特洛甫颇有相似之处：虽然大岛的身份仅是使馆武官，却在纳粹高层和日本参谋本部的支持下掌握了德日外交的实际主导权。在1936年11月反共产国际协定达成后，当时的美国驻日大使约瑟夫·格鲁就曾判断：该协定完全是由大岛一手推动，而外务省则几乎不曾参与其中。事实上，当时外务省的政策是与纳粹德国保持距离，而大岛却自作主张，极力推动德日同盟——这与时任日本驻英国特命全权大使、亲近英美的吉田茂，可谓处于截然不同的两个极端。在先后推动反共产国际协定和三国同盟条约（1940年11月）的签署的同时，大岛本身的地位也迅速窜升，1938年三月升为中将，半年后一跃而升任日本驻德国大使。