Cuando fue Ministro de Guerra, construyó una casa en Tokio basado en el modelo de un castillo alemán; sin embargo, su esposa reclamó e insistió que las recámaras de los niños fueran remodelados al estilo japonés, para hacer énfasis en recordar su origen japonés.