Han var sønn av P.C. Skovgaard og vokste opp i et hjem sterkt preget av grundtvigianske ideer. Skovgaard viste sine kunstneriske evner allerede som barn og fikk undervisning hjemme av faren. 15 år gammel ble han elev ved Kunstakademiet og fikk samtidig opplæring i malerhåndverket. Etter farens død i 1875 tok Janus la Cour seg av hans utdannelse.