Né dans le domaine de Satsuma, Shibayama participe en tant que samouraï à la guerre anglo-Satsuma dans sa jeunesse. Bien qu'étant proche de Tōgō Heihachirō, il ne rejoint pas l'armée et ne participe pas à la guerre de Boshin contre le shogunat Tokugawa. Cependant, après la restauration de Meiji, et l'établissement du nouveau gouvernement de Meiji, il s'enrôle dans le programme de développement et de colonisation et est envoyé aux États-Unis pendant deux ans en 1872.