Sharp ble offiser i Royal Artillery i 1938. Han tjenestegjorde i andre verdenskrig med 5. Medium Regiment og deretter med 4. Regiment, Royal Horse Artillery. Han gikk deretter på Staff College ved Quetta i India i 1944 og ble til feltmarskalk Bernard Montgomery i 1945.