Keluarga bangsawan tersebut awalnya tinggal di Bayern barat daya di kastil Ambras di dekat Innsbruck, yang mengendalikan jalan menuju Markgrafschaft Verona di jalur gunung Brenner, di Diesen am Ammersee dan Wolfratshausen. Seorang Comte Rasso ("Rath") didokumentasikan di Dießen, yang diduga berjuang melawan invasi Bangsa Hongaria pada awal abad ke-10 dan mendirikan biara Grafrath. Oleh leluhur mereka Comte Palatinus Berthold dari Günzburg, cucu Adipati Bayern, Arnulf I dari Bayern, Andechser mungkin berafiliasi dengan Wangsa Luitpold. Berthold muncul sebagai musuh sengit Kaisar Otto I dari Jerman dan dituding sebagai pengkhianat di Pertempuran Lechfeld tahun 955 melawan Bangsa Hongaria. Ia diduga menikahi putri Adipati Friedrich I dari Lorraine; keturunannya Comte Berthold II (meninggal 1151), dari sekitar tahun 1100 tinggal di Andechs, berjasa sebagai moyang dari dinasti komital.