Selve fylket var opprinnelig en del av Akershus stiftamt. I 1662 ble Brunla amt skilt ut, dette amtet ble i 1671 gjort om til Laurvigen Grevskab. I 1673 ble Tønsberg amt til Griffenfelt Grevskab, fra 1678 benevnt Jarlsberg Grevskab. Grevskapene ble oppløst i 1821 og gikk inn i Jarlsberg og Larvik Amt, det siste landdistrikt (amt) som er opprettet i Norge. Navnet ble endret til Vestfold 1. januar 1919, og man tok da i bruk et navn som var i bruk om regionen allerede i vikingtiden.