Tras el derrocamiento del general Francisco Menéndez, Gavidia se exiló del país, y continuó su actividad periodística en Costa Rica, donde fue director de "La Prensa Libre" entre 1891 y 1892; y posteriormente en Guatemala trabajó como coredactor de "El bien público" de la ciudad de Quetzaltenango.