En 1863 Yamanami, Kondō y otros miembros del Shieikan se unieron al Roshigumi, una unidad militar enviada a Kioto por el shogunato Tokugawa.