Dirk hadde ikke rett til å hindre handelen på noe vis, og at han skattla handelsmennene var imot kongens bud. Et handelsskip fra Tiel som var underveis til England nektet å betale skatt og ble plyndret av Dirks menn, og handelsmennene Tiel sendte protestbrev til kongene. Biskop Adelbold av Utrecht mente at beskatning i det området var hans sak, og ba den tyske keiseren om hjelp. Keiseren besluttet å ta fra Dirk grevskapene, og tilkjente områdene til biskopen av Utrecht. I mai 1018 fikk Dirk beskjed fra keiseren at han skulle forlate festningen han hadde ved Vlaardingen. Den lå der Maaslands sentrum ligger i Zuid-Holland idag.