Han ble født som sønn av lensmann Lars Abraham Qvisling (1816–1876) og Gro Jonsdatter Spokkeli (1821–1900) i Fyresdal i en gammel Telemarksfamilie. Qvisling-navnet stammet fra den danskfødte presten Laurits Ibsøn Quislinus. Navnet er en latinisert utgave av Kvislemark på Sjælland, som Lauritz Quislinus antok da han kom til Christiania som slottsprest i slutten av 1600-årene.