Faren var garver, og nedstammet fra eller var knyttet til de franske hugenotter som var kommet til danne delen av Skottland lenge før. Morssiden var bønder eller selveiere i Annandale. Første del av skolegangen fikk han på en skole drevet av Peggy Paine, i slekt med Thomas Paine (forfatter av ), og deretter gikk han på Annan Academy der han ble undervist av Adam Hope, som er omtalt i av Thomas Carlyle. Irving studerte så ved universitetet i Edinburgh.