Ildefons nedstammet fra vestgotisk overskikt. Hans gotiske navn betyr «kjemperen». Han var nevø av Eugenius III av Toledo og muligens en disippel av den hellige Isidor av Sevilla.