Fra 1983 til 1987 studerte Sveen orgel og kirkemusikk på Bergen Musikkonservatorium. Han tok diplomeksamen i cembalo i Amsterdam i 1993. Fra 1992 til 2023 var han ansatt som lærer på Griegakademiet, som er underlagt Universitetet i Bergen. Der underviste han i tidligmusikk (historisk informert framføringspraksis) og cembalo.