Koelman begynte å studere fiolin i 1972 i Amsterdam for Jan Bor og Herman Krebbers. 1978–1981 var han en av Jascha Heifetz' siste elever ved University of Southern California i Los Angeles. Fra 1996–1999 var Koelman ansatt som konsertmester i Royal Concertgebouw Orchestra i Amsterdam.