Hoes groeide op in Katendrecht als zoon van een Nederlandse zeeman. Zijn moeder was Belgische. Hij volgde de HBS en speelde covers met "The Four Dutch Serenaders", waar ook de vader van Joke Bruijs deel van uitmaakte. Tijdens de Meidagen 1940 leerde hij als gemobiliseerd sergeant zijn latere echtgenote kennen in Weert. Hij dook onder, en speelde na de bevrijding voor Amerikaanse militairen.