Imidlertid begynte Venjum-ætten å falle i rang på 1600-tallet. Økonomiske nederlag, interne konflikter ved fogden og styremaktene og svekket politisk innflytelse førte til at deres posisjon ble svekket.