રાષ્ટ્રપતિ પદેથી નિવૃત્ત થયા પછી રાજેન્દ્ર બાબુને સત્તાવાર રીતે દિલ્હીમાં કે પટનામાં સરકારી બંગલો મળતો હતો છતાં એનો અસ્વીકાર કરી પટનામાં પોતે સ્થાપેલ સદાક્ત આશ્રમમાં રહેતા હતા.