Åsen der Phnom Krom står er veldig steinete; lokale legender sier at bergartene ble eksponert av apegeneralen Hanuman under jakten på medisin i Ramayanaeposet. Området utenfor tempelet ved vestporten gir en spektakulær utsikt over Tonle Sap-sjøen.