La primera mención de la ciudad de que se tiene registro histórico es en un documento de 1256, y la primera vez que Vejle recibió privilegios de ciudad comercial ("købstad") es en 1327, en una carta del rey Valdemar III expedida en Nyborg.