Yankovic zaciągnął się do wojska w 1943 roku. Na wojnie walczył w bitwie o Ardeny, gdzie odmroził sobie dłonie i stopy. Groziła mu amputacja palców, jednak na szczęście udało mu się pokonać gangrenę. Otrzymał odznaczenie Purpurowe Serce przyznawane dla rannych żołnierzy. Po powrocie do domu dalej prowadził bar i zespół. Ważnym członkiem grupy stał się wtedy Johnny Pecon, śpiewający w chórkach z Yankoviciem, a także grający na akordeonie.