সেলসিটের নাগোয়ায় তাঁর জন্ম ও সেখানেই শৈশবকাল অতিবাহিত করেন। ১৯৪৭ সালে দেশ বিভাজনের সময় ডি’সুজার বাবা পাকিস্তানের করাচীতে স্থানান্তরিত হন। সেখানকার সেন্ট প্যাট্রিক্স হাই স্কুলে অধ্যয়ন করেন। তাঁর অন্য দুই ভাই - মার্শাল ও পল ডি’সুজা উভয়েই প্রথম-শ্রেণীর ক্রিকেটে অংশগ্রহণ করেছিলেন।