渋谷は弘化3年(1846年)に下総国小金佐津間村(現・千葉県鎌ケ谷市)の名主の次男として生まれる。