Ejer Bavnehøj ligger i den sørlige delen av Skanderborg kommune mellom tettstedene Riis og Ejer.