Nació en la ciudad de Edo (actual Tokio) como hijo ilegítimo de un pintor de la corte que vivía en el Castillo Edo, y fue adoptado como el hijo de Takahashi Kakuji, un samurái de clase baja (ashigaru) que estaba al servicio del daimyō del clan Date en el Sendai han.