Holloway war ein Sohn des Admirals James L. Holloway junior (1898–1984). Ab 1939 besuchte er die United States Naval Academy in Annapolis. 1942 schloss er die Akademie ab. Er wurde zunächst im Zweiten Weltkrieg auf einem Zerstörer im Geleitzugschutz im Nordatlantik und Mittelmeer eingesetzt. 1944 war er als Artillerie-Offizier auf dem Zerstörer USS Bennion im Pazifik eingesetzt. Er nahm an mehreren Schlachten, darunter die See- und Luftschlacht im Golf von Leyte, teil. Der Zerstörer USS Bennion war an der Versenkung des Schlachtschiffes Yamashiro durch Torpedos beteiligt. Er erhielt für den Einsatz bei dieser Seeschlacht im Golf von Leyte die Orden Bronze Star Medal und Navy &amp; Marine Corps Commendation Medal.