মাতামহ নরেন্দ্রনাথ চৌধুরী পেশায় ছিলেন উকিল; স্বদেশি, রাজবন্দিদের কেস করতেন বলে যথেষ্ট পসার ছিল না তাঁর। তিনি নিজে প্রবন্ধ লিখতেন এবং ‘বঙ্গীয় সাহিত্য পরিষদের’ ঢাকা শাখার সম্পাদক ছিলেন। পাবনা জেলার ভারেঙ্গা গ্রামে ছিল তাঁর পিতৃনিবাস। নরেন্দ্রনাথ-কিরণময়ী দেবীর চার পুত্র ও চার কন্যার প্রায় প্রত্যেকেই যশস্বী হয়েছিলেন। বড় ছেলে শচীন্দ্রনারায়ণ ইকোনমিক অ্যান্ড পলিটিক্যাল উইকলি পত্রিকার অন্যতম প্রতিষ্ঠাতা ও সম্পাদক ছিলেন। দ্বিতীয় পুত্র পদার্থবিদ দেবনারায়ণ পশ্চিমবঙ্গের ‘ইলেকট্রনিক শিল্পে’র অন্যতম প্রতিষ্ঠাতা। তৃতীয় পুত্র হিতনারায়ণ চিত্রজগৎ ও রাজনৈতিক মানুষের খুব ঘনিষ্ঠ ছিলেন। নেহেরু, ইন্দিরা গান্ধী, সরোজিনী নাইডু, দিলীপকুমার সকলের সঙ্গেই তিনি ঘনিষ্ঠ ছিলেন। সর্বকনিষ্ঠ পুত্র নরনারায়ণ (শঙ্খ চৌধুরী) ছিলেন ভাস্কর। বিশ^ভারতীর সঙ্গে তিনি যুক্ত ছিলেন এবং ললিতকলা আকাদেমির চেয়ারম্যান হয়েছিলেন। বড় মেয়ে শান্তিময়ী গৃহবধূ, মেজ মেয়ে ধরিত্রী দেবী মহাশে^তার মা, তৃতীয় মেয়ে শকুন্তলা লীলা রায়ের সঙ্গে শ্রীসঙ্ঘ ও জয়শ্রীতে কাজ করতেন, ছোট মেয়ে স্বপ্নময়ী শান্তিনিকেতনে সংগীতভবনের স্কলারশিপ লাভ করেন।