Tradisi menyatakan bahwa Nallur Kandaswamy dibangun oleh raja Aryacakravarti yang pertama.