Als Vertreter der Ritterschaft des Neckarkreises besaß Varnbüler von 1845 bis 1849 und von 1851 bis zu seinem Tod ein Mandat in der Zweiten Kammer des Württembergischen Landtags. 1848 war er Mitglied des Vorparlaments. Als gewandter Debattenredner wurde Varnbüler bald Mitglied aller wichtigen Kommissionen, welche ihn öfter, insbesondere in volkswirtschaftlichen Fragen, zum Referenten ernannten. Am 21. September 1864 berief der eben zur Regierung gelangte König Karl Varnbüler zum Minister des Auswärtigen. Zwischen 1864 und 1870 war er de facto leitender Minister und als solcher Nachfolger Lindens. Schon im Jahre 1864 vereinigte Varnbüler die Verwaltung der Eisenbahnen mit dem Außenministerium und kümmerte sich um den weiteren Ausbau des württembergischen Eisenbahnnetzes. Als im Jahre 1866 der Deutsche Krieg zwischen Österreich und Preußen ausbrach, entschied sich Varnbüler für ein Bündnis Württembergs mit Österreich. Nach dem Sieg Preußens entsandte König Karl den Prinzen Friedrich und Varnbüler im Juni 1866 ins preußische Hauptquartier nach Nikolsburg. Von Nikolsburg ging Varnbüler nach Würzburg, um selbst am Abschluss des mit General von Manteuffel zu vereinbarenden Waffenstillstands teilzunehmen. Am 5. August forderte Otto von Bismarck die süddeutschen Staaten auf, zu Friedensverhandlungen entsprechend bevollmächtigte Gesandte nach Berlin zu schicken. Varnbüler begab sich sofort auf die Reise. Bereits nach einer Woche, am 13. August, war der württembergische Friedensschluss mit Preußen perfekt.