La familia noble originalmente residía en el suroeste de Baviera en el castillo de Ambras cerca de Innsbruck, controlando la carretera a la Marca de Verona a través del Paso Brenner, en Dießen am Ammersee y Wolfratshausen. Un Conde Rasso ("Rath") está documentado en Dießen, quien supuestamente luchó contra los invasores magiares a principios del siglo X y fundó un monasterio en Grafrath. Por su ancestro el Conde Palatino Bertoldo de Reisensburg, un nieto del duque bávaro Arnulfo el Malo, los Andechs pudieron ser afiliados de la dinastía Luitpoldinga. Bertoldo aparece como un fiero enemigo del Rey Otón I de Alemania y fue declarado como traidor en la Batalla de Lechfeld de 966 contra los húngaros. Probablemente se casó con la hija del Duque Federico I de la Alta Lorena; su descendiente el Conde Bertoldo II (m. 1151), desde 1100 residente en Andechs, está acreditado como el progenitor de la dinastía condal.