Den 24. oktober 1641 hadde han giftet seg i København med Anne Cathrine Budde (1619–1665), datter av Frederik Budde til Tøllist på Øsel og Karen Axelsdatter Urup. De fikk tre barn sammen. Vibe døde den 7. august 1658, og ble begravet i i Roskilde domkirke. Konen døde i august 1665 og ble begravet i samme krypt, hvor også to mindreårige døtre ligger.