Ab dem 9. Juni 1921 diente Yamanashi nacheinander in den Kabinetten der Premierminister Hara, Takashi und Katō als Heeresminister. Mit der Auflösung des Kabinett Katō am 2. September 1923 gab er den Posten des Heeresministers ab. Nach dem Großen Kantō-Erdbeben vom 1. September 1923 wurde er zum überwachenden Offizier des ausgerufenen Ausnahmezustands in der Region Tokio und blieb dies bis zur Abschaffung des Postens im November des Jahres. Vom 16. November 1923 bis zum 20. August 1924 war er Oberbefehlshaber des Verteidigungskommando Tokio. Bis zum August des Folgejahres war er noch Kommandeur der Polizeikräfte im Großraum Tokio.