En 1703, el rey Federico IV construyó un pequeño castillo en la cima de la colina conocida como Valby Bakke, nombrándolo como Frederichs Berg.