Era hijo de Andō Genuemon, un capitán de bomberos ("hikeshi dōshin") de casta samurái, que ejercía como inspector de incendios en el distrito de Yayosugashi —actual barrio de Marunouchi—, por lo que recibía un sueldo directamente del Shogunato.