তিনি ও তাঁর দাদা স্নেহাশীষ গাঙ্গুলী একই সাথে বড় হয়ে ওঠেন চন্ডীদাস পরিবারে | তাঁর দাদাই আসলে ক্রিকেট খেলতেন কিন্তু পরে সৌরভকেও তাঁর বাবা চন্ডীদাস গাঙ্গুলী দশ বছর বয়সে, কোলকাতার একটা নামী ক্রিকেট একাডেমিতে ভর্তি করে দেন |