Barak vervet seg i den israelske hæren i 1959 og tjenestegjorde i 35 år. Da han forlot militæret hadde han graden generalløytnant (den høyeste i det israelske forsvaret).