Im Jahre 1860 wurde Gaupp Sekretär und Assistent des Präsidenten bei der Zentralstelle für Gewerbe und Handel in Stuttgart. 1862 und 1863 war er Abgesandter bei der Weltausstellung in London. Von 1863 bis 1866 wurde er mehrfach als Aktuar und Oberamtsverweser beim Oberamt Kirchheim eingesetzt. 1866 wechselte er als Kollegialhilfsarbeiter zur Regierung des Donaukreises in Ulm, vorübergehend war er auch Zivilkommissär und Bundesoberamtmann beim Oberamt Hechingen nach der Übernahme der hohenzollerischen Fürstentümer durch den Deutschen Bund. von 1866 bis 1870 war er als Regierungsassessor Dozent für Nationalökonomie und Rechtskunde an der Akademie Hohenheim mit Sitz und Stimme im Lehrerkonvent. Von 1870 bis 1877 leitete er als Oberamtmann das Oberamt Neuenbürg. Nach zwei Jahren als Regierungsrat bei der Regierung des Neckarkreises in Ludwigsburg war er von 1878 bis 1882 als Referent für Gewerbe und Handel sowie für Landwirtschaft beim Innenministerium in Stuttgart tätig. 1882 ernannte man ihn zum Vorstand der Zentralstelle für Gewerbe und Handel. Diese Position bekleidete der bis 1904. 1884 war er zum Kollegialdirektor und 1885 zum wirklichen Direktor befördert worden. 1893 erhielt er den Titel Präsident und 1900 wurde er zum Staatsrat ernannt. 1903 erhielt er noch den Ehrentitel Exzellenz, bevor er 1904 in den Ruhestand ging.