Familien Quisling var stadig på flyttefot, og Jons prestegjerning førte dem fra Fyresdal til Drammen, og senere Gjerpen. Vidkuns første seks skoleår var ved Drammen Latinskole, der han oppnådde til avgangseksamen. Alle Quisling-barna ble presset hardt av foreldrene til å fokusere på skole og læring, og alle fire søsken fikk særdeles som hovedkarakter ved Skien Latinskole. Yngstebroren Arne slo seg ned New York i 1923 etter å ha utdannet seg til ingeniør ved NTH og Sorbonne. Arne ga i 1930-årene innspill til Nasjonal Samlings økonomisk politikk ved brevveksling fra USA. Arne Quisling fikk en datter som var Annas og Jons eneste barnebarn.