Po przejęciu zamku przez Prusaków, w roku 1774 zaczęto przebudowywać Zamek Wysoki na koszary, co doprowadziło do ogromnych zniszczeń. Wyburzono prawie wszystkie gotyckie sklepienia i przebudowano okna. Zamurowano krużganki i od południa wybudowano nową ozdobioną panopliami bramę do miasta. Wielki Refektarz przeznaczono na ujeżdżalnię koni. W Pałacu Wielkich Mistrzów urządzono fabrykę tkanin i mieszkania dla robotników. Dokonano rozbiórki wielu bram i murów na budulec. Szczególnie wielkie straty zamek poniósł w latach 1801–1804 gdy na rozkaz Fryderyka Wilhelma III zamek zaczęto przebudowywać na wielkie magazyny wojskowe. Wykuto nowe okna, otynkowano zamek wysoki oraz wyburzono średniowieczne sklepienia wprowadzając zamiast tego drewniane stropy. Po tych dewastacjach i protestach prasowych, nastąpiła zmiana postrzegania wartości zamku. Po bitwie pod Pruską Iławą, w dniu 22 stycznia 1807 roku do zamku weszły oddziały francuskie, które założyły w nim szpital dla żołnierzy. W szpitalu tym leczył się marszałek Bernadotte, którego 25 i 26 kwietnia 1807 roku odwiedził na zamku Napoleon Bonaparte.