I tredje klasse fikk Warhol chorea som gav ham fobier for sykehus og leger. Han var mye borte fra skolen og knyttet seg derfor sterkt til sin mor. Warhol likte ikke at andre rørte ham, og ettersom sykdommen ga ham store røde flekker i ansiktet, ble han enda mer sjenert i selskap med andre. Familien var fattig, men moren oppmuntret de kunstneriske evnene hans, og faren la penger til side for å gi sønnen en utdannelse. I enkelte perioder var Warhol sengeliggende, mens han tegnet, hørte på radio og samlet bilder av kjente filmstjerner. Warhol har i ettertid uttalt at dette var viktig for utvikling av hans personlighet og forhold til media. Han var 13 år da faren omkom i en ulykke.