Imperiet gikk inn i en sakte nedgang regionalt, selv om handelen med portugiserne fortsatte, og britene fikk et landområde for å etablere Madras. Tirumala Deva Raya ble etterfulgt av sin sønn Sriranga I og senere fulgt av Venkata II som gjorde Chandragiri til sin hovedstad, slo tilbake invasjonen til sultanatet Bahmani og reddet Penukonda fra å bli erobret. Hans etterfølger, Ramadeva, tok makten og hersket til 1632. Venkata III ble konge da Ramadeva døde og hersket i rundt ti år, da Vellore ble hovedstad. Riket ble til slutt erobret av sultanatene Bijapur og Golkonda. De største føydalstatene til Vijayanagar, Mysore, Keladi Nayaka, nayakene i Madurai, nayakene i Tanjore, Nayakas av Chitradurga og kongedømmet Nayak i Gingee, erklærte seg uavhengige og fortsatte å ha en betydelig påvirkning på historien i det sørlige India i de kommende århundrene. Disse Nayaka-rikene varte til det 18. århundret mens kongedømmet Mysore forble en fyrstestat til den indiske uavhengighetserklæringen i 1947, selv om de kom under Britisk India i 1799 etter at Tipu Sultan døde.