Victor Danielsen Norman ble født 24. juli 1946 i Risør. Foreldrene var Mads Victor Norman (1920–1986) og husmor Elisabeth Prebensen (1920–1976). Faren var skipsmegler, ordfører for Høyre i Risør og vararepresentant til Stortinget 1965–1969. Victor Norman gikk ut fra Kristiansand Handelsgymnasium i 1965 som bestemann i sitt kull. Han studerte økonomi i ett år ved Porterville College, og deretter tre år ved Yale University, der han tok bachelorgrad med i samfunnsøkonomi i 1969. Han hadde også en doktorgrad fra Massachusetts Institute of Technology (MIT) fra 1972. I 1975 ble han forsker og senere professor i samfunnsøkonomi ved Norges handelshøyskole (NHH) i Bergen, hvor han var rektor i perioden 1999–2001. Victor Norman var fra 2006 gift med økonomen Christine B. Meyer, som i 2023 ble byrådsleder i Bergen.