Folk som bor i området har flere myter om tempelet og den tidligere byen som lå ved Mahabalipuram. Tempelet skal ha vært et av syv, som sammen med byen de hørte til en dag ble slukt av en flodbølge. Tsunamien i desember 2004 avdekket flere ruiner i Mahabalipuram som kan stamme fra enda et tempel og selve byen fra 600-tallet.