Gregory hadde kjend medlemmane i The Human League i fleire år. Han hadde sunge og spelt bass i band med Ian Craig Marsh sidan 1973. Tidleg i 1981 vart han kontakta av Martyn Ware etter dei originale medlemmane i The Human League gjekk frå kvarandre, og han vart spurt om å bli med i Heaven 17, eit nytt band som oppstod etter The Human League.