1156 wird „Ruediger de Drozze“ erstmals urkundlich genannt. Die Schlosskapelle St. Georg wird bereits 1135 erwähnt. 1295 wurde die Burg landesfürstlich. 1427 gibt Albrecht V. die Burg unter Vorbehalt des Kirchenpatronats an Georg Mühlfelder in Ansehung der geleisteten Dienste bei der Hussitenabwehr zu Lehen. Seine Nachfahren werden von König Ladislaus Postumus mit der ganzen Burg Droß belehnt, jedoch wiederum mit Ausnahme des Droßer Kirchenpatronats.