六兄弟姐妹中最小的，近年的史料发现可能实为十兄弟姐妹中最小的。土方家出身为平民。出生前父亲已过世，六岁时母亲亦过世，而由二哥喜六夫妻俩扶养长大。十一岁时在江户上野的「松坂屋和服店」（现在松坂屋上野店）当学徒，但不久即因和前辈争执而返回日野。十七岁时至江户传马町的和服店工作，亦因为和上司不和而回到日野。之后以其家相传的秘方伤药「石田散药」四处行商 ，并在此时至各地的剑道道场修业及比试。在日野的佐藤道场, 通过姐夫佐藤彦五郎结识了之后的天然理心流第四代传人岛崎胜太（之后的新选组局长近藤勇）。岁三在安政六年（