Im Zweiten Schleswigschen Krieg 1864 diente das Schloss als Quartier für Carl von Preußen und wurde später sogar als Lazarett und Kaserne genutzt. Mit dem Krieg endete die lange Personalunion von dänischem Königshaus und schleswig-holsteinischen Herzogtümern, und das Schloss ging in preußischen Besitz über. Am 16. September 1868 besuchte der preußische König Wilhelm I. während eines Flensburgbesuchs das Schloss, um über dessen zukünftigen Verbleib und Nutzung zu entscheiden.