Haider Alis tidlige år er ikke så vel dokumentert, men han gikk inn i det militære sammen med sin bror Shahbaz etter at deres far døde i kamp. Haider Ali tjenestegjorde for herskeren av Arcot før han gikk i tjeneste for maharajaen av Mysore. Han deltok fra 1749 i krig mot Hyderabad og fikk befal over stadig større avdelinger.