Det første amtsykehuset i Tønsberg ble åpnet i 1843 på Midtløkken. Dette brant ned i 1871, og pasientene ble evakuert til Tønsberg sykehus på Haugar (Møllebakken). Bysykehuset var i bruk fra 1841 og ble revet i 1918. Etter en del politisk behandling ble det bygget et nytt fylkessykehus med 50-60 sengeplasser på dagens tomt omtrent 300 meter øst for det gamle. Dette åpnet i 1879. På området der hovedsykehuset ligger, stod det frem til ca. 1870 en mølle, kalt Stormøllen. Etter åpningen i 1879 fikk amtssykehuset et isolasjonslasarett i 1887 og et tilbygg i 1893. Fylkessykehuset ble modernisert med nye bygninger 1916-1919, og fra da og fremover til 1970 ble det oppført en rekke sykehusbygninger på stedet. Sykehuset ble betydelig utbygget i direktørperioden til Nikolai Nissen Paus (1918–1947).