После Шмалькальденской войны Хартенфельс, вместе с курфюршеским титулом и прочими земельными владениями, перешёл к альбертинской линии Веттинов. С переносом альбертинской резиденции из Майсена в Дрезден замок стал использоваться, прежде всего, для местных административных нужд, и лишь время от времени служил кратковременным местопребыванием двора.