Han studerte med Carl Flesch, George Enescu og Jacques Thibaud. 11. desember 1968 spilte han sammen med The Dirty Mac på The Rolling Stones Rock and Roll Circus, i en supergruppe satt sammen av John Lennon (gitar) med Yoko Ono (sang), Eric Clapton (gitar), Mitch Mitchell (trommer) og Keith Richards (bass). Gitlis var da solist på fiolin sammen med Yoko Ono på «A Whole Lotta Yoko».