Alvar Lidell hadde svenske foreldre. Hans far John Adrian Lidell importerte tømmer. Moren var Gertrud Lidell (født Lundström). Lidell gikk på King's College School i Wimbledon og Exeter College i Oxford. Som barn lærte han seg piano, pikkolofløyte, cello og sang, og var en aktet skuespiller under tiden ved Universitetet i Oxford.