માન્યતા અનુસાર સોળમી સદીના ત્રાવણકોરના રાજાએ મંદિરમાં પદ્મનાથ સ્વામીની મૂર્તિની સ્થાપના કરવામાં આવી હતી.