Sven-Bertil Taube var fra 1958 til 1962 gift med skuespilleren Inger Åhman; sammen fikk de sønnen Jesper Taube i 1960. I 1965 fikk han en datter med journalisten Gunilla Thorgren. I 1975 giftet han seg med skuespilleren og regissøren Ann Zacharias, men de ble skilt samme år. Sammen fikk de datteren Sascha Zacharias i 1979. Fra 1985 til sin død var han gift med danseren Mikaela Rydén (født i 1959). De fikk en sønn i 1994.