Vestaby begynte først fast i gruppa Shuffle, som senere skiftet navn til Bazar, men bare få år etter startet han sin egen gruppe, Veslefrikk, med noen av de gamle medlemmene fra Bazar. Mens han spilte i Bazar var han en periode også med i rockegruppa Folque. I 1983 startet han sammen med Anne Grete Preus, som også hadde vært i Veslefrikk, bandet Can Can. Senere var han også en av medlemmene i Mercury Motors. Han turnerte også med Jan Dahlen and the Shotgun Riders og med Andrej Nebb i De Press (mest i Polen).