પત્નિના મોત બાદ ભૈયુજી પર આશ્રમની એક મહિલા સાથે સંબંધોનો આક્ષેપ પણ મુકવામાં આવ્યો હતો.