1944 wurde er zur Armee eingezogen und kämpfte unter anderem in der Ardennenschlacht. Im Jahr 1945 kam er mit der 63. US-amerikanischen Infanteriedivision nach Deutschland und blieb bis 1946 in Mannheim stationiert. Unter dem Künstlernamen "Joe Bari" trat er als Sänger mit verschiedenen Militärorchestern auf. Nach seiner Rückkehr in die USA behielt er den Namen zunächst bei, vertiefte seine musikalische Ausbildung und arbeitete in zahlreichen kleineren Musikclubs seiner Heimatstadt. 1949 verpflichtete ihn die Sängerin Pearl Bailey für ihr Vorprogramm; dort wurde er von Bob Hope entdeckt und nannte sich auf Hopes Anregung hin fortan "Tony Bennett".