એમનો કોઈ પૂર્વજ શાહ વલી મહંમદ લગભગ સોળમી સદીના અંતમાં દિલ્હીથી ગુલબર્ગા આવીને વસ્યો. એ ધાર્મિક માણસ હતો અને એક દરગાહમાં વસ્યો. આદિલશાહે એને વેતન આપવાનું શરૂ કર્યું. એના મૃત્યુ પછી એના દીકરા મહંમદ અલીએ પણ દરગાહની સેવાચાકરી કરી પણ એના ચાર દીકરાઓએ લશ્કરની નોકરી પસંદ કરી. આમાંથી એક ફત મહંમદને ઘેર ૧૭૨૧માં હૈદર અલીનો જન્મ થયો. એનો એક મોટો ભાઈ શાહબાઝ પણ હતો. ફત મહંમદ મરી ગયો ત્યારે દેવું છોડીને ગયો હતો. લેણદારે કરજ વસૂલ કરવા માટે આઠ વર્ષના શાહબાઝ અને પાંચ વર્ષના હૈદર પર દમન ગુજાર્યું અને એમની બધી મિલકત પડાવી લીધી. ફત મહંમદનો ભત્રીજો હૈદર સાહેબ મૈસૂરના રાજાના એક અધિકારી દેવરાજના તાબામાં કામ કરતો હતો. એણે કુટુંબને છોડાવ્યું. કુટુંબ ત્યાંથી સેરિગપટમમાં હૈદર સાહેબને આશરે સ્થાયી થયું.