Swingler var fra en velstående anglikansk familie fra den britiske og han vokste opp i nærheten av Nottingham. Swingler ble utdannet ved Winchester College og New College i Oxford. Han var allerede i ung alder en dyktig fløytist, og senere var dypt involvert i musikalsk samarbeid som librettist.