Nach dem Ende seiner Zeit im US-Repräsentantenhaus praktizierte Gantz wieder als Anwalt in Troy. Im Jahr 1904 war er Staatsbeauftragter von Ohio auf der Louisiana Purchase Exposition, der Weltausstellung in St. Louis. Zwischen 1892 und 1906 nahm er als Delegierter an allen regionalen Parteitagen der Demokraten in Ohio teil. Im Juli 1908 war er Delegierter zur Democratic National Convention in Denver. In den Jahren 1914 und 1915 fungierte Gantz als Vertreter des US-Außenministeriums im Vorstand der in Nicaragua ansässigen "El Banco Nacional de Nicaragua y El Ferrocarril del Pacífico de Nicaragua". Er starb am 10. Februar 1916 in Troy, wo er auch beigesetzt wurde.