Panton ble født i Gentofte. Han ble utdannet ingeniør på Odense Tekniske Skole, deretter studerte han på Kunstakademiets Arkitektskole ved Det Kongelige Danske Kunstakademi i København fra 1947 til 1951.