Etter en periode i et barnehjem i Deal i Kent rømte Norman hjemmefra da han var elleve år, men kom tilbake for å bli visergutt i en matbutikk etter å ha sluttet på skolen da han var 13 år. Etter at han ifølge seg selv hadde gått til fots til Cardiff, hvor han ble messegutt i handelsflåten. Han arbeidet også som kullgruvearbeider, kelner og hotellarbeider. Han ble deretter innrullert som trommeslager i 10. kongelige husarer i den britiske hæren og i 1930 ble hans stasjonert i Lucknow i India som orkestermedlem.