इस मंदिर के पीछे भी एक कहानी प्रचलित है ऐसा बताया जाता है कि इस मंदिर का निर्माण चोल राजाओं ने करवाया था प्रचलित कथा के अनुसार ऐसा बताया जाता है कि यहां तीन भाई रहा करते थे जिसमें से एक भाई अंधा था दूसरा भाई गूंगा था और तीसरा भाई सुन नहीं सकता था यह तीनों यहां पर खेती बाड़ी करके अपनी आजीविका चलाते थे एक दिन इन्हें खेत में कुआं खोदने की जरूरत पड़ी कुआं खोदते समय इनकी कुदाल एक पत्थर से टकरा गई जब लोगों ने उस पत्थर को हटाया तो वहां खून की धारा निकलने लगी इसके पश्चात यहां पर एक मूर्ति नजर आई जब तीनों भाइयों ने मूर्ति के दर्शन किए तो तीनों की शारीरिक कमजोरी दूर हो गई इस चमत्कार को जानने के बाद जब इसकी सूचना गांव वालों को लगी तो वह सभी खेत की ओर पहुंचने लगे और यहां पर पहुंचकर भगवान के इस अद्भुत मूर्ति के दर्शन किए बाद में 11 वीं सदी के चोल राजा कुलोत्तुंग चोल प्रथम ने कनिपक्कम गणपति मंदिर बनाकर स्थापित किया था।