Skjebnen til det tidlige Pandya-dynastiet, som beskrevet i litteraturen fra Sangam-perioden (Sør-India 300 f.Kr.-300 AD), er uklar etter Kalabhras-dynastiets invasjon i det tredje århundre e.Kr. Dynastiet ble deretter gjenopprettet av Kadungon, som i begynnelsen av det sjuende århundre presset kalabhrasene ut av de tamilske områdene og etablerte seg i Madurai. Senere gikk det igjen nedover med riket da cholaene begynte å bli mektige i det niende århundre, og det var en konstant konflikt mellom pandyaene og cholaene. Pandyaene allierte seg med singaleserne og cheraene mot cholaene, og i slutten av det trettende århundre klarte de gjenopprette riket under Maravarman Sundara Pandyan.