Graf studerte fløytespill i Zürich med André Jaunet og senere ved konservatoriet i Paris med Roger Cortet og Marcel Moyse. Han kom til å vinne en rekke konkurranser og priser, deriblant i 1953 og i 1958. Graf har jobbet med en rekke orkestre og dirigenter, som f.eks. English Chamber Orchestra, og Helmuth Rilling. Siden 1973 har han selv undervist ved ved musikkakademiet i Basel.