Vilhelm I, biskop av Utrecht, utnyttet den unge herskeren og okkuperte deler av områder han gjorde krav på i Holland. Vilhelms krav ble bekreftet av to skriftstykker fra keiser Henrik IV (30. april 1064 og 2. mai 1064). De eneste områdene Dirk fikk beholde lå vestenfor Vlie og rundt Rhinens utløp.