Era el favorito entre los palacios reales para Carlos XIV Juan y la reina Desideria Clary, los primeros de la línea Bernadotte, quienes pasaban los veranos en Rosersbeg, y fueron los últimos reyes que lo usaron como residencia.