På begynnelsen av 1890-tallet kjøpte han halvøya Gjermundsholmen på Stathelle i daværende Bratsberg amt. Han engasjerte arkitekt Halldor Larsen Børve til å tegne en villa for seg og hustruen Maja, og byggingen begynte i 1892. Eiendommen ble hetende Croftholmen på folkemunne, og etter Frederic Crofts død ble den tatt i bruk som yrkesskole for sjømenn.