的十字军东征没有取得成果，最后瓦尔德马四世在没有教皇的许可下去了耶路撒冷朝圣他成功取得圣墓骑士头衔以纪念他的成就。但是因为他没有得到教皇克莱门特六世事先批准这次旅程而遭受谴责。在他的回程途中，瓦尔德马四世聚集了一支军队，并着手收回荷尔斯泰因主要总部沃尔丁堡城堡，在1346年底，瓦尔德马四世已经收复西兰岛各地作为他自己的国土。他以沃尔丁堡作为他个人住所和扩大了城堡，并建立了雁塔成为该镇的标志。瓦尔德马四世的因出名无情地对那些反对他提出的人令他们不敢贸然叛变。他的高压税收政策迫使农民只懂交税而不敢做任何事。