出生前父亲已过世，六岁时母亲亦过世，而由二哥喜六夫妻俩扶养长大。十一岁时在江户上野的「松坂屋和服店」（现在松坂屋上野店）当学徒，但不久即因和前辈争执而返回日野。十七岁时至江户传马町的和服店工作，亦因为和上司不和而回到日野。之后以其家相传的秘方伤药「石田散药」四处行商 ，并在此时至各地的剑道道场修业及比试。在日野的佐藤道场, 通过姐夫佐藤彦五郎结识了之后的天然理心流第四代传人岛崎胜太（之后的新选组局长近藤勇）。岁三在安政六年（1859年）3月29日、正式成为天然理心流的入门弟子。文久3年2月，岁三随着近藤