Samuel May Williams nació en 4 de octubre de 1795 en Providence, Rhode Island, hijo de Howell Williams and Dorothy Wheat Williams Sus antepasados llegaron a América del Norte en los años 1630. Tuvo antepasados importantes, como un firmante de la Declaración de Independencia de los Estados Unidos y un presidente de la Universidad Yale. Samuel tuvo cuatro hermanos y tres hermanas. La casa de Williams incluyó muchos marineros y comerciantes. Su padre era capitán marinero y su tío, Nathaniel Felton Williams, era un comisionista en Baltimore. Samuel asistó a una escuela en Providence y después trabajó como aprendiz para su tío Nathaniel en Baltimore.