Etter freden i Paris i 1763 ble imidlertid Frankrikes innflytelse i India begrenset til de få enklavene som i dag utgjør Unionsterritoriet Puducherry. Som følge av Napoleonskrigene ble byen igjen holdt av britene mellom 1803 og 1814. Deretter var byen på franske hender helt fram til 1954. Avviklingen av de franske , handelsstedene, skjedde som følge av forhandlinger mellom India og Frankrike. I 1954 overtok India den reelle kontrollen av territoriet, mens overtakelseserklæringen først ble underskrevet 8. mai 1956. Puducherry ble så en del av , det som senere skulle bli delstaten Tamil Nadu. 1. juli 1963 ble imidlertid Forbundsterritoriet Pondicherry med enhetene Pondicherry (nå Puducherry), Karaikal, Yanam og Mahé skilt ut.