Hill-Norton var sønn av en pilot i det britiske Royal Flying Corps, og nedstammet fra en lang rekke marineoffiserer på morssiden. Han ble innrullert som kadett ved marineakademiet i Dartmouth i 1929, da han var fjorten år gammel. Siden tjenestegjorde han under den andre verdenskrig som offiser på de britiske konvoiene som seilte gjennom Arktis. Hill-Norton steg raskt i gradene, og ble forfremmet til kaptein i 1952. Han ble også utnevnt til medlem av den britiske adelen og ble gitt tittelen baron.