I 1941 vervet Vaughn seg i Nasjonalgarden og ble sendt til Europa. Han ble der til slutten av andre verdenskrig og bestemte seg for å satse på en musikkarriere da han kom hjem. Vaughn studerte musikkomposisjon ved Western Kentucky State College (nå Western Kentucky University). Han livnærte seg som pianist ved lokale nattklubber og som frisør. Tre andre studenter ved universitetet, Jimmy Sacca, Donald McGuire og Seymour Spiegelman, hadde dannet en vokaltrio, og rekrutterte Vaughn som pianist til gruppen The Hilltoppers. Han ble raskt den fjerde stemmen, og skrev også deres første hitlåt, «Trying», som entret hitlistene i 1952.