Irvings foreldre var den skotske innvandrer William Irving og hans engelske hustru Frau Sarah (f. Sanders). I de var 1763 utvandret fra Europa til New York og hadde klart å bygge opp et lite handelsforetak som gav dem en rimelig velstand. De hadde i alt elleve barn, tre døtre og åtte sønner - tre av sønnene døde i spebarnsalder.