Swamy engasjerte seg særlig for adivasiene, en indisk urfolksgruppe, og for dalitene, de såkalte «urørbare».