તેમના પૈતૃક કાકા તારાકનાથના મૃત્યુ પછી, તેમની પત્ની, જ્ઞાનદાસંદિરે, વિવેકાનંદના કુટુંબીજનોને તેમના પૂર્વજોના ઘરમાંથી કાઢી નાખ્યા હતા અને અદાલતમાં દાવો દાખલ કર્યો હતો.