Begge hans foreldre slo seg ned i Israel under den første aliyah, og Ben-Nun sluttet seg til Palmach i 1941. Ved utbruddet av den arabisk-israelske krigen i 1948, grunnla han den militære spesialstyrken Shayetet 13. Ben-Nun ble utnevnt til øverste sjef over den israelske marinen i 1960. Selv om han pensjonerte seg fra militæret i 1966, så tjenestegjorde han som frivillig i flere militære operasjoner og på Golanhøyden under seksdagerskrigen i juni 1967. Yohai Ben-Nun døde den 6. juni 1994 i New York, og ble begravet i en kibbutz i Israel.