В начале Второй мировой войны служил в 3-м парашютном батальоне, 3-й парашютной бригаде. Затем стал командиром 1-й парашютной бригады в Северной Африке, принимал участие в Сицилийской операции. Был ранен в спину и оба бедра, за проявленный героизм был награждён крестом «За выдающиеся заслуги». Новое ранение он получил в ходе операции Голландской операции (1944), на этот раз оказался поврежден позвоночник и Латбери был временно парализован. Он был оставлен на попечении местной голландской семьи и стал военнопленным. Ему пришлось скрывать своё звание, выдавая себя за ефрейтора. По выздоровлении ему удалось бежать. Вместе с другими бывшими британскими военнопленными участвовал в побеге через Рейн, оказавшись в расположении 506-го парашютно-пехотного полка 101-й воздушно-десантной дивизии.