Como miembro del Shinsengumi, se decía que Saitō era introvertido y misterioso; una descripción común de su forma de ser es que "no era un hombre inclinado a las charlas triviales".