इनके पुरखे सलामत खान सन्1408 में अफगानिस्तान से भारत आए थे। सलामत के पोते अल्फ खान ने मुग्लों का कई लड़ाइयों में साथ दिया था। उसी के चलते अल्फ खान को राजस्थान और दिल्ली में तोहफे के रूप में जमीनें मिली। इसके बाद सन् 1917 से 1952 तक इफ्तिखार अली हुसैन सिद्दिकी, पाटौदी रियासत के आठवें नवाब बने थे। पहले पिता इफ्तिखर अली खान भारतीय क्रिकेट टीम के कप्तान थे, फिर मंसूर ने 70 दशक में भारतीय क्रिकेट टीम की कप्तानी हासिल कर ली।

जिन लोगों ने मंसूर अली खान पटौदी के विशाल महल को देखा होगा, उन्हें उसकी भव्यता और खूबसूरती ने अपनी तरफ अवश्य खींचा होगा। दरअसल उनके पुश्तैनी महल और राजधानी के सबसे नामचीन बाजार कनॉट प्लेस के बीच बेहद गहरा रिश्ता है। यह संबंध इसलिए बनता है क्योंकि जिन रोबर्ट टोर रसेल ने कनॉट प्लेस का डिजाइन तैयार किया था उन्होंने ही पटौदी के महल का भी डिजाइन बनाया था। कहते हैं कि पटौदी के वालिद साहब इफ्तिखार अली खान पटौदी कनॉट प्लेस के डिजाइन से इस कदर प्रभावित हुए कि उन्होंने निश्चय किया कि उनके महल का डिजाइन भी रसेल ही तैयार करेंगे।

इफ्तिखार अली खान बेहतरीन बल्लेबाज थे। उन्होंने इंग्लैंड की तरफ से भी टेस्ट खेला और आगे चलकर भारत की भी नुमाइंदगी की। वे भारतीय टीम के कप्तान भी रहे। पटौदी हाउस के आगे बहुत से फव्वारे लगे है। फव्वारों क साथ ही गुलाब के फूलों की क्यारियां हैं। महल के भीतर भव्य ड्राइंग रूम के अलावा सात बेडरूम, ड्रेसिंग रूम और बिलियर्ड रूम भी है। महल का डिजाइन बिल्कुल राजसी अंदाज में तैयार किया गया। इसका डिजाइन तैयार करते वक्त रसेल को ऑस्ट्रेलिया के आर्किटेक्ट कार्ल मोल्ट हेंज का भी पर्याप्त सहयोग मिला।

दुर्भाग्यवश पटौदी हाउस बनने के चंद सालों के बाद ही पटौदी सीनियर की 1951 में एक पोलो मैच के दौरान दुर्घटना होने के कारण मौत हो गई थी। उसी साल तत्कालीन प्रधानमंत्री जवाहरलाल नेहरू ने मंसूर अली खान की मां साजिदा सुल्तान के नाम पर लुटियंस दिल्ली में त्यागराज मार्ग पर एक बंगला आवंटित कर दिया समाजसेविका के रूप में। उसके मिलने के बाद पटौदी परिवार का पटौदी स्थित अपने घर में आना-जाना काफी कम हो गया।

इधर ही पटौदी लेकर आए शर्मिला को अपनी बहू बनाकर। साजिदा सुल्तान की साल 2003 में मृत्यु के बाद पटौदी परिवार को उस बंगले को खाली करना पड़ा। मंसूर अली खान पटौदी को उनके पुश्तैनी गांव में दफना दिया गया है। 
कुछ इतिहासकार लिखते है पटौदी के नवाबों के पूर्वज खाऩजादे राजपूत थे। 
हालांकि वस्तुस्थिति यह है कि उनके पुरखे सलामत खान अफगानिस्तान से भारत आए थे साल 1480 में। यह जानकारी खुद पटौदी ने मुझे दी थी जब वह पत्रकारों की टीमों के बीच एक मैच खेलने राजधानी के मॉडर्न स्कूल में आए थे।

यह बात 1992 की हैं। तब वह एक खेल पत्रिका का संपादन भी कर रहे थे। वह मैच तो नहीं खेल थे, पर दोनों टीमों की हौसला अफजाई कर रहे थे। साक्षात्कार के दौरान पटौदी ने बताया कि उनके पुरखे गजब के घुड़सवार थे। उस दौर में अफगानिस्तान से बहुत बड़ी तादाद में लोग भारत बेहतर जिंदगी की तलाश में आते थे। बाद के दौर में सलामत के पोते अल्फ खान ने मुगलों का कई लड़ाइयों में साथ दिया। उसी के चलते अल्फ खान को राजस्थान और दिल्ली में तोहफे के रूप में जमीनें मिलीं। पटौदी रियासत की स्थापना साल 1804 में हुई।

अंग्रेजों ने फैज खान को यहां का पहला नवाब बनाया। वह भी सलामत खान का ही वशंज था। फैज ने अंग्रेजों का मराठों के खिलाफ लड़ी गई जंग में साथ दिया था। पर इस पाप को पटौदी के तत्कालीन नवाब ने उस समय धो दिया जब उन्होंने राष्ट्रवादी ताकतों का सन 1857 की क्रांति में साथ दिया था। उस मुलाकात में सैफ की कहीं कोई चर्चा नहीं हुई क्योंकि तब तक संभवत: उन्होंने बॉलीवुड में कदम नहीं रखा था। मंसूर अली खान पटौदी को अपने पुरखों के बारे में सवालों के जवाब देने में बड़ा आनंद आ रहा था। साफ लग रहा था कि वह अपने परिवार की पृष्ठभूमि बताना चाह रहे हैं।

हालांकि उनका उठने-बैठने का सारा अंदाज बिल्कुल राजसी था और वह हिंदी में पूछे जा रहे सवालों के अंग्रेजी में ही उत्तर दे रहे थे। वह मजे-मजे में बतिया रहे थे। मैच खत्म होने के बाद वह दोनों टीमों के खिलाडि़यों से हाथ मिलाकर अपनी काले रंग की मर्सीडीज कार में बैठकर चले गए गए थे।