According to the published records of his family, Saitō left Edo in 1862, after accidentally killing a hatamoto.
Menurut catatan yang dipublikasikan tentang keluarganya, Saito meninggalkan Edo pada tahun 1862, setelah secara tidak sengaja membunuh seorang hatamoto.