Han ble født i Namsos, der faren, Peter Jæger-Leirvik, var redaktør i bondepressen. I 1926 flyttet familien til Foldereid, hvor faren ble gårdbruker og ordfører. Sveinung Leirvik stiftet egen familie og drev slektsgården Nedre Leirvik i Foldereid.