In seiner Jugend begann er, in Bars seiner Heimatstadt aufzutreten. In einer davon lernte er den ungarischen Jazzpianisten Laszlo Les Czimber (genannt „Tarzan“) kennen, der 1956 nach dem Volksaufstand von Budapest nach Milwaukee geflohen war; dieser brachte ihm bei, wie man Lieder ausarbeitet. Von 1958 bis 1962 studierte Jarreau am Ripon College in Wisconsin Psychologie und schloss das Studium mit dem Bachelor of Arts ab. Während seines Studiums trat er an den Wochenenden lokal mit einer vierköpfigen Gruppe namens The Indigos auf. Danach absolvierte er an der University of Iowa einen Masterstudiengang (Master’s Degree in Vocational Rehabilitation).