En nombre original de Isami fue "Katsugorō", hijo de Miyagawa Hisajirō, un campesino residente del poblado de Kami-Ishihara en la Provincia de Musashi, lo que hoy es la ciudad de Chōfu.