Den ble oppført cirka 1820 som lystgård av prost og skipsreder Johan Fredrik Sartz (1763-1839), som bodde i det nåværende Kirkestredet 5 (Larvik Sjøfartsmuseum). Han ble innvalgt til det første overordentlige Storting i 1814 og var én av grevskapseierne 1817-1835. Han og hans hustru Else, født Bugge, var besteforeldre til språkforskeren og folkloristen Sophus Bugge. Ved ektemannens død i 1839 overtok enken eiendommen. I 1847 ble den ervervet av brukseier Treschow, som innledet stordrift der. Fra 1852 tjente den som bolig for landbruksdriftens bestyrere. I 1923 ble Yttersø gård fredet - som den andre her i landet.