През Хуситските войни и през Тридесетгодишната война замъкът е обсаждан, но въпреки дълготрайните няколкомесечни обсади Карлщейн остава непревзет. Сигизмунд Люксембургски мести съкровищата на короната и замъкът е използван за имперски архив. В края на 16 век, дворцовите покои са преоборудвани в ренесансов стил, но след 1625 г. започва упадък на сградата, свързан с името на императрица Елеонора (съпруга на Фердинанд II), която отдава Карлщейн в залог на чешкия аристократ Ян Кавка и по този начин Карлщейн преминава в частни ръце. По-късно вдовицата на император Леополд I успява да върне замъка като кралска собственост, изплащайки залога. Императрица Мария Терезия предава замъка във владение на Храдчанския пансион за благородни девици, който се смята за последния собственик на обекта до прехода му в държавна собственост на Чехословакия.