Né dans l'Indiana dans une famille pauvre, Shoup rejoint l'armée pour des raisons financières. Gravissant les échelons dans l'Entre-deux-guerres, il est déployé deux fois en Chine pendant la guerre civile chinoise. Il sert en Islande après l'entrée en guerre des États-Unis dans la Seconde Guerre mondiale et comme officier d'état-major sur le théâtre Pacifique. inopinément, il obtient le commandement du régiment de Marines et mène l'invasion initiale de Tarawa, pour laquelle il reçoit la Medal of Honor et l'Ordre du Service distingué. Il participe ensuite à la campagne des îles Mariannes et Palaos, et devient par la suite, un officier de haut niveau chargé de la logistique militaire.