야마가타 아리토모
1886년 가바야마는 해군 차관이 되어 미국과 유럽을 방문하였다. 그리고 제1차 야마가타 아리토모(山縣有朋) 내각과 마쓰카타 마사요시(松方正義) 내각에서는 해군 대신을 역임하였다. 제2차 제국의회에서 사쓰마 번과 조슈 번 파벌이 장악한 해군이 개혁되지 않으면 예산안을 승인할 수 없다고 부결시키자, 그는 국가안보를 내세우며 대의민주제와 군대에 대한 문민 통제를 강하게 비난하는 연설을 하여 한바탕 소동을 일으켰다.