Pyles musikalske karriere startet i 1966 da han og barndomsvennen Phil Miller samt Phils bror Steve Miller grunnla bandet , som kort tid etterpå ble til Delivery. Han forlot bandet i 1970 etter en krangel med sangeren Carol Grimes og spilte deretter sporadisk i bluesbandene Chicken Shack og Khan. I 1971 fikk Pyle et tilbud av Robert Wyatt (fra Soft Machine) om å spille for han på et spor på Daevid Allens soloutgivelse . Etter denne innspillingen ble Pyle med Allen videre til Gong hvor han var medlem av bandet i rundt åtte måneder og deltok på studioutgivelsene og (begge utgitt i 1971). Pyle ble erstattet av Laurie Allan, men ble igjen medlem av bandet i en periode på 1990-tallet.