Ershad verhuisde in 1947 met zijn ouders naar Oost-Pakistan, het huidige Bangladesh. Hij studeerde in 1950 af aan de Universiteit van Dhaka en nam dienst bij het leger. Hij klom door de jaren op in de rangen en leidde anno 1971 een eigen regiment. Na het uitbreken van de Bengaalse Onafhankelijkheidsoorlog in 1971 werd Ershad krijgsgevangen genomen door Pakistan, samen met andere officieren die in West-Pakistan gestationeerd waren. Na het Verdrag van Shimla dat in 1973 gesloten werd door de Pakistaanse president Zulfikar Ali Bhutto en de Indiase premier Indira Gandhi, keerde Ershad na huis terug.