Do IOS vstoupil v roce 1959, kdy hebraizoval příjmení na Barak (v hebrejštině znamená „blesk“). Dobrovolně se přihlásil do elitní průzkumní jednotky Sajeret Matkal a v roce 1971 se stal jejím velitelem (jedním z jeho důstojníků byl pozdější premiér Benjamin Netanjahu). V průběhu šestidenní války v roce 1967 sloužil jako velitel průzkumné jednotky a díky své vynalézavosti, mimořádné statečnosti a rozvážnosti se dostal do povědomí nadřízených. Během jeho působení v Sajeret Matkal se tato jednotka stala předním izraelským protiteroristickým útvarem. Mezi nejvýznamnější operace, které vedl, patří záchrana izraelských rukojmí z uneseného letounu společnosti Sabena při operaci Izotop v roce 1972 či likvidace teroristů z Organizace pro osvobození Palestiny po masakru izraelských sportovců na mnichovských olympijských hrách při operaci Jaro mládí v roce 1973. Během jomkipurské války sloužil jako velitel tankové jednotky na sinajské frontě.