Han var en venn av Robert Louis Stevenson som han ble kjent med i tenårene, og etter 1879 da Stevenson kom til London på ferie ble han boende hos Gosse og hans familie. Gosse ble også kjent med pre-rafaelittene og dikteren Algernon Swinburne som også var assosiert, løslig, til pre-rafaelittene.