Ab dem Jahr 1278 stand die Herrschaft Drosenburg im Besitz der Habsburger, von denen sie allerdings immer verpachtet wurde. So hatten ab 1293 die Herrn von "Capelln", die in der Schlacht bei Dürnkrut und Jedenspeigen den Habsburger Rudolf I. unterstützten, die Herrschaft in Pacht. Um 1355 werden die Herrn von Wallsee als Pächter erwähnt. Im Jahr 1453 ging die Herrschaft an die Eitzinger. Weiterer Eigentümer war Johann Mrakesch von Noskau. Im Jahr 1606 kam das Schloss in den Privatbesitz der Familie von Mollard, die es aber bereits 1637 an die Grafen Kurz veräußerte. Von diesem kam es durch Heirat weiter an Ferdinand von Sprinzenstein, danach an die Familie Lamberg-Sprinzenstein. Seit 1882 ist es im Besitz der Familie Hoyos-Sprinzenstein.