Fagerhøy var opprinnelig ei sætergrend. Mot slutten av 1800-tallet ble det lagt til rette for turisme på stedet, og etter hvert ble det også bygget et sanatorium som fikk navnet «Fagerhøi Høifjellssanatorium». Utover på 1900-tallet ble det bygget både leirskole og fjellstue i grenda.