Gosses mest berømte bok er den selvbiografiske som handler om hans vanskelige forhold til sin far, Philip Gosse, en naturforsker, spesielt innenfor sjøbiologi. Boken ble dramatisert for fjernsyn av Dennis Potter. Senere i livet fikk han en betydelig innflytelse på Siegfried Sassoon. Dennes mor var en venn av Gosses hustru Ellen.