Han var yngste sønn av maleren P.C. Skovgaard og bror av Joakim Skovgaard. Som helt ung fikk han undervisning av faren samtidig som han gikk i lære hos maleren Christian Carl August Weber. Skovgaard gikk på Kunstakademiet i 1874–1879 uten å avlegge endelig eksamen.