Historisk og kulturelt sett var det et nært forhold til Allgäu og Oberbayern. De nordlige delene av Außerfern hørte til Bayern inntil 1400-tallet. På det kirkelige plan varte tilhørigheten til Bayern (nærmere bestemt bispedømmet Augsburg) enda lenger.