Ikke lenge etter at keiseren hadde vendt tilbake til Tyskland begynte Dirks plyndringstokt mot bispedømmene Utrecht og Liège. Han inngikk dessuten en pakt med hertug Gottfried II av Lothringen og grevene av Flandern og Hainaut. Dette resulterte i at keiseren på ny dro ut på en straffe-ekspedisjon mot Dirk i 1047. Denne gangen mistet Dirk både Vlaardingen og grevens borg i Rijnsburg som ble helt rasert av keiserens menn, men keiseren ble tvunget til retrett. Under retretten led keiserens hær store tap, og Dirks allierte gjorde da åpent motstand mot ham.