徳川幕府の御家人である小牧辰蔵の四男として江戸小石川(後の東京府東京市小石川区、現・東京都文京区)に生まれ、幕府の没落により3歳のとき一家で静岡へ移住し富士の裾野に帰農。