બાદમાં ધીરજભાઇ રાજકોટ ગયા ન હતા અને અણિયારી ગામે જ રહેતા હતા અને પત્ની ના અવસાન બાદ તેઓ સતત ગુમસુમ જ રહેતા હતા અને તેઓને એવી ચિંતા સતાવતી હતી કે માતા વગર પોતાના સંતાનોને કેવી રીતે મોટા કરશે.