Navnet har sammenheng med at det i fordums tider bodde en mann av japansk herkomst i kvartalet, og drev sin forretningsvirksomhet der. Dette er i tråd med andre stedsnavn i Sagene bydel, jfr. «Afrika» og «Israel» på Sagene,, «Italia» og «Frankrike» på Torshov osv. Et av borettslagene i kvartalet heter enda i dag Japan borettslag.