En viktig tilskyndelse til å dikte hadde Bergsøe mottatt fra Meïr Aron Goldschmidt, som han omgikkes med i Roma i årene 1862-63, og da han fant ut at han på grunn av øyesykdommen ikke kunne fortsette å arbeide under mikroskopet, slo han med stor suksess inn på den skjønnlitterære forfatterbanen. Nesten i blinde dikterte han sin store roman (1866, postdatert til 1867) for Elisabeth Berg, som var gift med hans lege og gode venn, Rudolf Berg. I dette verket utnyttet han bl.a. ungdomsminner fra Nord-Sjælland, inntrykk fra sin reise til Italia og vevet en skandalehistorie fra samtidens København inn i handlingen. Til tross for tidsbildene har verket også for ettertiden klart å bevare sin tiltrekningskraft. (1866) er ikke bare Bergsøes mest berømte og leste bok. Verket utkommer fremdeles, 150 år etter, med jevne mellomrom i nye opplag. regnes også for å være den første realistiske roman på dansk, selv om forfatteren både her og i sine senere frembringelser viste seg langt sterkere knyttet til romantikeren Goldschmidt enn til realisten Georg Brandes.