После смерти Ганса Богислава фон Шверина в 1747 году опекуном его детей был назначен брат Курт Кристоф. 2 апреля 1757 года, за несколько недель до смерти в битве под Прагой, он продал дворец со всей обстановкой Стефану Петеру Оливеру, графу Уоллису, за 50 тыс. талеров. В 1769 году дворец приобрёл за 14 тыс. талеров государственный министр Валентин фон Массов. В 1777 году дворец перешёл в собственность рейхсграфа Карла фон дер Остен-Заккена. До 1811 года дворец находился в собственности его вдовы Кристианы Шарлотты Софии, баронессы фон Дискау. Её единственный ребёнок, дочь от первого брака с Юлиусом Гебгардом, рейхсграфом фон Хоймом, лишилась права на это наследство за крупные долги, и дворец перешёл в единоличное наследство её сыну князю Фридриху Августу Карлу фон Гогенлоэ-Нейенштейн-Ингельфингену. Он продал дворец в 1816 году, чтобы погасить долги отца. С 1816 года дворец использовался придворным издателем Георгом Андреасом Реймером в представительских целях: для семейных приёмов, под представительство издательства и литературный салон, а во флигелях размещались фабричные цеха. После смерти Реймера в 1842 году семейное дело во дворце продолжал до 1858 года его сын Георг Эрнст Реймер.