১৮৭২ সালে পুত্র সুরেন্দ্রনাথ যখন জন্ম নেন তখন এই দম্পতি পুনায় থাকতেন। পরের বছর কন্যা ইন্দিরা দেবী জন্ম নেন বিজাপুরে। এসময় সাহসিকতার আরেক ধাপ হিসেবে জ্ঞানদানন্দিনী সন্তানদের জন্য একজন মুসলিম সেবিকা নিয়োগ করেন। সেসময় শিক্ষিত হিন্দু সম্প্রদায়ের নার্স কিংবা গভের্নেসদের তত্ত্বাবধানে বাচ্চা রাখার বিষযটি ভারতীয় অভিজাত পরিবারগুলোতে ছিল একটি সাধারণ রীতি । এরপর ১৮৭৬ সালে পরিবার থেকে দূর প্রবাসে সিন্ধু প্রদেশের হায়দারাবাদে তার তৃতীয় পুত্র কবীন্দ্রনাথের জন্ম হয়।