Dynastiets eponymiske stamfar er Agilulf, en delvis legendarisk fyrste hos den germanske stammen sveberne, og en etterkommer av Hermenrik (død 441), en svebisk konge av Galicia. Denne stamfaren er muligens identisk med en Agilulf som var administrator av den vestgotiske kong Teoderik II og henrettet i 457.