Av vekst var han heller liten, kanskje fordi han hadde fått for lite mat under oppveksten. Som mange av hans samtidige hadde han overlevd kopper, og ansiktet var kopparret. Biografen Albert Christoph Dies skrev at Haydn ikke kunne forstå hvorfor så mange vakre kvinner hadde vært glad i ham: «Det kan ikke ha vært min skjønnhet som gjorde det». Portrettmalerne som tegnet eller malte Haydn i hans levetid forsøkte på forskjellig vis å trekke fram hans attraktive personlighet i stedet for utseendet, og derfor finnes det ikke to portretter som ligner på hverandre.