Maa pääsi mukaan vuoden 1936 olympialaisten koripalloturnaukseen, jolloin laji oli ensimmäistä kertaa mukana. Kisoissa Japani sijoittui lopulta yhdeksänneksi yhdessä viiden muun maan kanssa. Vuonna 1960 järjestettiin ensimmäiset koripallon Aasian-mestaruuskilpailut, joihin maa osallistui. Japani sijoittui turnauksessa kolmanneksi ja voitti ensimmäisen arvokisamitalinsa. Vuonna 1963 maa pääsi ensimmäistä kertaa MM-kilpailuihin, mutta sijoittui turnauksen viimeiseksi. Vuosina 1965 ja 1971 Japani voitti Aasian-mestaruuskilpailut. Maan viimeisin esiintyminen MM-tasolta on vuodelta 2006, jolloin Japani sijoittui kotikisoissaan seitsemänneksitoista.