लेकिन जिस पर्वत पर ये मंदिर बना है, उस जगह का पहला ज़िक्र मिलता है रामायण में। कहते हैं जब रावण सीता का अपहरण करने के बाद श्रीलंका रवाना हुआ तो पक्षीराज जटायु ने इसी जगह पर रावण का रास्ता रोका था। ऐसा माना जाता है कि ये वही जगह है, जहां रावण और जटायु के बीच भयंकर युद्ध हुआ और इसी जगह पर रावण ने जटायु को घायल कर दिया था। ये सिर्फ एक कहानी नहीं है, बल्कि इस मंदिर में मौजूद एक निशान को उस कहानी का गवाह बताया जाता है।