Pettyfer ble født i Stevenage i Hertfordshire og er sønn av skuespiller Richard Pettyfer og den tidligere fotomodellen Lee Robinson. Han har også en yngre halvbror, James Ireland, fra sin mors ekteskap med eiendomsutvikleren Michael Ireland. Forfatteren av boken , Anthony Horowitz, beskrev Pettyfer som en person som kom fra «en bemerkelsesverdig samling gener». Pettyfer begynte sin karriere som barnemodell i en alder av syv år, og var modell for blant annet Gap etter at han møtte Ralph Lauren i en lekebutikk i New York.