Nacido en Vejle, Gravesen comenzó su carrera en 1995 con el club local Vejle Boldklub (VB) en la Superliga Danesa, junto con un puñado de jóvenes que pasan por el esquema juvenil de VB, incluido ex-futbolista Kaspar Dalgas.