ઇ.સ.૧૯૨૫ માં ગાંધીજી અન્ના મણિના શહેરમાં આવ્યા અને અને ત્યાં તેમણે આત્મનિર્ભરતા અને વિદેશી કપડાંના બહિષ્કારની વાત કરી. ગાંધીજીનો અન્ના મણિ પર ઘણો પ્રભાવ પડ્યો. તે સમયે તેઓ રાષ્ટ્રીય કોંગ્રેસ માં સામેલ ન હતા છતાં પણ ખાદી પહેરવાનો નિર્ધાર કર્યો અને આજીવન ખાદી જ પહેરી. વ્યક્તિગત આઝાદી માટે પણ તેમ્ણે નિર્ધાર કર્યો અને પોતાની બહેનોની જેમ લગ્ન ન કરીને શિક્ષિત થવાનો નિર્ણય કર્યો અને આજીવન અવિવાહિત રહ્યા.