岁时至江户传马町的和服店工作，亦因为和上司不和而回到日野。之后以其家相传的秘方伤药「石田散药」四处行商 ，并在此时至各地的剑道道场修业及比试。在日野的佐藤道场, 通过姐夫佐藤彦五郎结识了之后的天然理心流第四代传人岛崎胜太（之后的新选组局长近藤勇）。岁三在安政六年（1859年）3月29日、正式成为天然理心流的入门弟子。文久3年2月，岁三随着近藤道馆的师兄弟一起参加幕府上京都的浪士组召募。
新选组副长.文久3年（1863年）八月十八日政变后，他与近藤勇所参加的壬生浪士组因功赐名为新选组