Hans far, Fath Muhammad, var født i Kolar, og kommanderte en styrke på 50 mann i bambusrakettartilleriet (for det meste benyttet til signalisering) i nawaben av Karnatiks hær. Fath Muhammad begynte senere i tjeneste for wodeyar-rajaene av kongedømmet Mysore, der han ble en mektig militær kommandant. Wodeyarene gav ham Budikote som jagir (landkonsesjon), der han tjente som naik (guvernør). Haider Ali ble født i Budikote. Han var Fath Muhammads femte barn, og den andre av hans tredje hustru.