Still on bad terms with the Saxons, his son and successor Henry IV between 1065 and 1068 had a sizable castle, the Harzburg, built on the Burgberg to control the region, where he was besieged in 1073 by the forces of Duke Otto of Nordheim during the Great Saxon Revolt.
При лоши услови со Саксонците, неговиот син и наследник Хајнрих помеѓу 1065 и 1068 година имал голем замок, Харцбург (Harzburg), изграден на Бургберг за да го контролира регионот, која била под опсада во 1073 година од силите на војводата Отон од Нордхајм во текот на Големиот саксонски бунт.