ફ્યુજીમોરીના માતાપિતા જાપાનમાં જન્મેલા હતા, પરંતુ 1920 માં પેરુમાં સ્થાયી થયા હતા, જ્યાં તેમના પિતાને દરજી અને ટાયર રિપેરમેન તરીકે કામ મળ્યું હતું.