Замок оставался во владении баронов цу Гуттенберг до 1838 года. В конце концов владельцы решили продать Штернберг герцогу Эрнсту I Саксен-Кобург-Готскому. В 1846 году баварский король Людвиг I приобрёл поместье у герцога Эрнста II Саксен-Кобург-Готского. По слухам, любовница короля Людвига I ирландская танцовщица Лола Монтес нашла убежище в замке, когда ей пришлось покинуть Мюнхен во время беспорядков в 1848 году и последовавшей революции.