Jeffs wurde 1911 Offiziersanwärter bei der United States Navy. Er absolvierte die Militärakademie. Im Ersten Weltkrieg diente er als Leutnant bei einer Zerstörerflottille bei Irland. Bis 1922 war er bei der U-Bootwaffe aktiv. Danach studierte er und erwarb 1928 seinen Magister im Bereich Ingenieurswesen an der Columbia University. Er war danach Marineingenieur bei der US-Navy. Von 1938 bis 1942 kommandierte er eine Patrouillenflottille von Kanonenbooten auf dem Yangtse-Kiang in der Republik China. Von 1942 bis 1944 lehrte er am Naval War College in Newport, Rhode Island. 1944 wurde er Kommandant eines Schlachtschiffes und er nahm an einigen Gefechten (u. a. Battle of Leyte) gegen Japan im Zweiten Weltkrieg teil.