Năm 1856, ông phụ trách giảng dạy kiếm thuật tại "Kobukan". Năm 1863, ông đảm nhận việc giám sát nhóm "Rōshigumi" (đội quân gồm toàn "rōnin" hoặc "samurai vô chủ" đóng vai trò như một lực lượng lính đánh thuê trợ giúp quân đội Mạc phủ). Năm 1868, ông được Mạc phủ bổ nhiệm làm đội trưởng nhóm "Seieitai", đội cận vệ tinh nhuệ cho vị Tướng quân đời thứ 15 Tokugawa Yoshinobu. Ông phụng mệnh Tướng quân đi đến Sunpu tiến hành đàm phán với Saigō Takamori, và dàn xếp buổi hội kiến giữa Saigō với Katsu Kaishū, qua đó góp phần khiến toàn thành Edo mở cổng đầu hàng quân triều đình mà không gặp phải kháng cự nào cả. Từ sau Minh Trị Duy Tân, ông là viên chức của phiên Shizuoka, kế đến được tân chính phủ bổ nhiệm làm thống đốc tỉnh Imari trong một thời gian ngắn. Ít lâu sau, ông tình nguyện phụng sự triều đình của Thiên hoàng Minh Trị trong cương vị là thị vệ và phụ tá thân cận hoàng đế. Yamaoka qua đời ở tuổi 53 vào ngày 19 tháng 7 năm 1888 vì bệnh ung thư dạ dày. Trước khi mất, người ta cho rằng ông đã viết bài thơ về cái chết của mình trước giây phút lâm chung, rồi ngồi theo tư thế xếp bằng và nhắm mắt lại, bình thản đón nhận giờ phút cuối đời.