Kaiserfjellene begrenses i nord av bl.a. Weißenbach (mot Chiemgau-Alpene), i øst av Kössener Ache (mot Steinberge), i syd av bl.a. Großache (mot Kitzbühel-Alpene), i vest av Inn (mot Brandenberg-Alpene).