Utover på 1960-tallet møtte Ananda Marga kraftig motgang fra kommunistpartiet, som den gang stod sterkt nord i India. Dels skyldtes dette at kommunistene mente Ananda Marga drev med hjernevask og dels fordi de følte seg politisk truet av PROUT -Ananda Margas samfunnsideologi. Et stort antall av Ananda Margas munker og nonner ble drept. I 1972 bannlyste statsminister Indhira Gandhi organisasjonen og satte Sarkar og hundrevis av hans tilhengere i fengsel, hvorav mange ble torturert og drept. Sarkar selv ble sittende i fengsel i over seks år. Her ble han forgiftet, -noe som ødela helsen hans permanent. Selv om flere tusen av Ananda Margas barnehjem og skoler ble stengt i løpet av denne perioden opplevde organisasjonen en eksplosiv vekst i antall sympatisører, både i- og utenfor India. Da Sarkar kom ut fra fengsel hadde antallet tilhengere i India vokst til godt over halvannen million.