Osmanis karriere spente over fem ti-år som startet med tjeneste i den britisk-indiske armé i 1939. Han kjempet i Burma under andre verdenskrig, og i den pakistanske armé frem til 1967. Osmani ble utnevnt til øverstkommanderende for den bengalske motstandsbevegelse i 1971 av Bangladesh' midlertidige regjering, og betraktes som grunnleggeren av Bangladesh' militære styrker.