Adolf von Taube war evangelisch und heiratete am 20. Dezember 1846 Friederike Freiin von Varnbüler, eine Tochter des früheren Finanzministers Varnbüler und Schwester des gleichnamigen Außenministers Karl von Varnbüler. Aus der Ehe gingen zwei Söhne namens Erich und Axel hervor. Beide fielen am 2. Dezember 1870 in der Schlacht von Champigny. Ab dem 1. August 1874 hielt sich Graf von Taube im Sommer überwiegend in seinem eigens erbauten Haus in Kreuth auf. Die Wintermonate verbrachte er mit zunehmendem Alter meist in Meran, da das Klima für ihn in Stuttgart nicht mehr erträglich schien. Württemberg besuchte er im Frühjahr 1884 zum letzten Mal.