ભિખારીના પાડોશીઓએ જણાવ્યું કે, પહેલા બીરભીચંદ આઝાદ સાથે તેનું કુટુંબ પણ રહેતું હતું, પરંતુ પાછળથી તેનું આખું કુટુંબ જતું રહ્યું અને તે એકલો રહેવા લાગ્યો.