防国吉敷郡二岛村（今 山口县山口市秋穗二岛），是长州藩山尾忠治郎的二子。1863年，经中国上海秘密航行去英国伦敦，与伊藤博文、井上胜、井上馨、远藤谨助并称为“长州五杰”，在伦敦大学学院学习近代科学技术，导师亚历山大·威廉·威廉姆逊。他后来移居苏格兰格拉斯哥，在纳皮尔造船厂做为学徒半工半读。1868年，山尾庸三回国，出掌工部，历任工部大丞、工部少辅、大辅、工部卿和法制局长官。山尾庸三是今东京大学工学院的创建者，曾长期担任日本工学会会长达36年，被称为日本的“工业之父”。