出身.武藏国多摩郡石田村（现在东京都日野市石田）出生。一般认为他是六兄弟姐妹中最小的，近年的史料发现可能实为十兄弟姐妹中最小的。土方家出身为平民。出生前父亲已过世，六岁时母亲亦过世，而由二哥喜六夫妻俩扶养长大。十一岁时在江户上野的「松坂屋和服店」（现在松坂屋上野店）当学徒，但不久即因和前辈争执而返回日野。十七岁时至江户传马町的和服店工作，亦因为和上司不和而回到日野。之后以其家相传的秘方伤药「石田散药」四处行商 ，并在此时至各地的剑道道场修业及比试。在日野的佐藤道场, 通过姐夫佐