Japan var blant de første landene til å anerkjenne Norges selvstendighet ved unionsoppløsningen i 1905, noe som har sin bakgrunn i den russisk-japanske krigen. Etter den andre verdenskrig var det noe spenning i forholdet som følge av motstridende interesser i skipsfarten, hvilket forsinket et japansk medlemskap i OECD med flere måneder. Utenriksminister Halvard Langes besøk i Japan i 1962 markerte begynnelsen på en normalisering av forholdet.