Slottet har i flere perioder vært i kongehusets eie. I 1708 kjøpte Frederik IV det til sin elskerinne Anna Sophie Reventlow. Vallø kom til å bli et av hennes yndlingsslott og hun var der ofte, også etter at hun var blitt kronet til dronning. Etter kongens død ble hun fratatt alle sine eiendommer inkludert Vallø.