Serov vokste opp i en kunstnerfamilie i St. Petersburg, både faren Aleksandr Serov og moren var komponister. Etter at han hadde gått en kort stund på gymnaset, fikk han rettledning i tegning og maling av Ilja Repin i årene 1878 og 1879, både i Paris og i Moskva. I tiden mellom 1880 og 1885 gikk han i lære på Det keiserlige kunstakademiet i hjembyen, hos Pavel Tsjistjakov. Repin og Tsjistjakov hadde stor innvirkning på hans tidlige verk. Større påvirkning på hans kunst kom likevel gjennom verk av de gamle mestrene, som Serov lærte å kjenne i museer i Russland og Vest-Europa. Han forlot akademiet med en sølvmedalje og begynte å arbeide som selvstendig kunstmaler.