Etwa einen Kilometer südlich des "Kalvarienberges" liegt die große frühmittelalterliche Ungarnschutzburg Haldenburg auf der Wertachleite. Nach der Schlacht auf dem Lechfeld diente die große Wallanlage noch einige Zeit als Sitz der Großvögte des Bistums Augsburg. Ende des 10. Jahrhunderts verlegten die Vögte ihren Sitz auf den "Weinberg", einer vorspringenden Geländezunge über dem heutigen Friedhof und der neugotischen Pfarrkirche. Das Geschlecht der Herren von Schwabegg stellte die bischöflichen Vögte von ca. 980 bis zu seinem Aussterben im Jahr 1167. Der letzte Namensträger Adelgoz fiel auf dem vierten Italienzug Kaiser Friedrich Barbarossas einer Seuche zum Opfer.