Willards foreldre var handelsmannen Simon Willard og Mary Sharpe som hadde utvandret fra England og til New England i 1634, først bosatt i Cambridge som da het . I 1635 sammen med presten Peter Bulkley var de med på å grunnlegge byen Concord i Massachusetts hvor Samuel ble født som det sjette barnet og andre sønn. Etter at hans mor døde, giftet hans far seg to ganger, og Samuel ble til sist et av sytten barn født i familien.