Fra 1904 ble Gosse bibliotekar for overhuset i Det britiske parlamentet og hvor han utøvet betydelig innflytelse. Han skrev for Sunday Times, og var en ekspert på Thomas Gray, William Congreve, John Donne, Jeremy Taylor, og Coventry Patmore. Han kan også æres for å ha introdusert den store norske dramatikeren Henrik Ibsens verker for det britiske publikum.