Han ble født Julian Wyatt Glover i Hampstead, London som sønn av BBC-journalist og radioprodusent . Foreldrene ble skilt i 1940-årene. Han er halvbror til musikeren Robert Wyatt.