Ruff gikk på Yale School of Music som student. Der fikk han undervisning fra blant andre Paul Hindemith, og under stusietiden spilte han i Benny Goodmans studio. I 1955 arbeidet han med Lionel Hampton. Mitchell-Ruff Duo ble dannet senere i 1955, da Mitchell og Ruff fant ut at de ville danne sin egen musikk-gruppe.