Bosetningen på Bolærne går ifølge skriftlige kilder tilbake til 1600-tallet. Midtre Bolærne er den største av øyene og hadde midt på 1800-tallet 33 fastboende. Frem til 1916 lå øyene under Jarlsberg hovedgård. Da ble Bolærne kjøpt av Forsvaret i forbindelse med utbygging av festningsanlegg i Ytre Oslofjord, og Bolærne fort ble etablert. Under andre verdenskrig opprettet tyskerne en fangeleir for russiske krigsfanger, og fangene som døde ble også begravet her. Nøtterøy kommune (nå Færder kommune) overtok Midtre Bolærne i 2004.