Miller startet for alvor sin musikalske karriere i 1966 med Delivery sammen med trommeslageren Pip Pyle, pianisten Steve Miller og saksofonisten Lol Coxhill. I 1970 ble han spurt av trommeslageren Robert Wyatt (fra Soft Machine) om å bli med Matching Mole sammen med keyboardisten Dave Sinclair (fra Caravan og bassisten Bill MacCormick (fra Quiet Sun). Etter å ha deltatt på to utgivelser med dette bandet, ble han i 1972 igjen medlem av Delivery, men denne gang sammen med Dave Sinclair, Pip Pyle (trommer, fra Gong) og Richard Sinclair (bassgitar og vokaler fra Caravan). Denne besetningen (med Steve Miller som erstatter for Dave Sinclair) skiftet så navn til Hatfield and the North og ga ut to studioalbum før bandet ble oppløst.