Pieter-Jan de Smet ble født i Dendermonde i Øst-Flandern, del av bispedømmet Gent. Hans far var kremmer som opparbeidet en betydelig formue. Som 19-åring begynte han på presteseminar i Mechelen. Han dro første gang til Amerika i august 1821, ledsaget av Charles Nerinckx, for å tre inn som novise i White Marsh, et sted ved Baltimore drevet av jesuittene. I 1823 ble novisiatet flyttet til Florissant ved Saint Louis i Missouri.