No tenía un linaje samurái evidente; su padre, llamado Yaemon, había servido como "ashigaru" en los ejércitos de Oda Nobuhide, padre de Oda Nobunaga, hasta que fue herido en batalla y tuvo que regresar a las labores de agricultura.