В 1463 году замок Аггштейн осаждён другим разбойничавшим в этой местности рыцарем, . Фон Штейн разгромил Йорга и удержал у себя замок как возмещение долгов, сделанных у него герцогом Альбрехтом II. В свою очередь в 1476 году у него замок Аггштейн отнимает барон Ульрих фон Гравенек, владевший им в 1476-1477 годы, однако затем вынужденный его вернуть герцогу Австрийскому Леопольду III. Эрцгерцог Леопольд III роскошно замок обставил и оставил его за собой. В 1529 году, во время нашествия турок на Европу и осады ими Вены, Аггштейн был сожжён османским войском, однако затем восстановлен и вооружён артиллерией.