Magee ble født i en arbeiderklassefamilie i Hoxton i London i 1930. Familien hans bodde i en leilighet over familiens klesbutikk, hvor han delte seng med sin storesøster, Joan. Han hadde et nært forhold til sin far, men et vanskelig forhold til sin voldelige og nedlatende mor.