Veltman emigrerte til Canada med sine foreldre og ble canadisk statsborger. Han studerte historie ved York University i Toronto der han tok bachelorgrad (1969) og mastergrad (1970) i renessansehistorie. I 1975 tok han doktorgrad (historie, vitenskapsfilosofi) ved Warburg Institute i London, der han hadde studert under B.A.R. Carter, Alistair Cameron Crombie, Ernst Gombrich, A.I. Sabra og Charles B. Schmitt.