Cowell ble født i Brighton i East Sussex i England og vokste opp i Elstree i Hertfordshire. Faren Eric Philip Cowell var eiendomsmegler som også jobbet i musikkbransjen, og moren Julie Brett (født Josie Dalglish) var tidligere ballettdanser og kjendis.