Det ligger i distriktet Visp og kantonen Walais, i den sydlige delen av landet, nær Italia, 110 km syd for hovedstaden i Sveits Bern. Toppen av Klein Matterhorn er på 3 883 meter over havet. Det mer kjente fjellet Matterhorn ligger 6 km nord-vest for Klein Matterhorn.