Han lengtet etter å bli munk, men familien satte seg mot dette. I ung alder trådte han likevel inn i klosteret Agli, tilknyttet regularkanonikerne i Toledo. I sin tid der grunnla og finansierte finansierte Ildefons et nonnekloster og ble senere forstander for klosteret i Agli. Han undertegnet som dette beslutningene fattet ved synodene i Toledo i 653 og 655.