Gosse var sønn av Henry Gosse og Emily Bowes. Som voksen arbeidet han som assisterende bibliotekar ved British Museum fra 1867, og i 1875 ble han oversetter for Det engelske handelsdepartementet, en stilling han hadde fram til 1904. I mellomtiden fikk han utgitt sin første bok med poesi, (1873) og en bok om kunstkritikk, (1879).