Konrads far er ukjent, men man antar at han var av greveslekta Althausen-Veringer. Denne antagelsen kommer av den store likheten mellom våpenskjoldet til grevene av Württemberg og det til grevene av Veringen. Det antas dermed også at de to adelsslektene er i slekt. Konrads mor, Luitgard av Beutelsbach var søsteren av hans forgjenger Konrad I.