Konrad var sønn av Henrik av Speyer, en adelsmann av middels rang, fra Franken. Hans mor var Adelaide av Alsace. Allerede som spedbarn arvet Konrad titlene greve av Speyer og Worms etter farens tidlige død. Konrad ble i 1000 sendt til biskop Burchard av Worms som tok seg av hans utdannelse. Etter hvert som Konrad vokste opp ble han godt kjent, også utenfor sin egen maktkrets.