Han vokste opp på handelsstedet Buøya i Kolvereid herred som sønn av Peder Jacob Sverdrup og Anne Marie Dahl, som hadde overtatt gården etter morfaren Peder Dahl. Farfaren var proprietær Ulrik Fredrik Suhm Sverdrup på Lauga i Nærøy herred. Farbroren var eidsvollsmann og professor Georg Sverdrup, og farens fetter var statsminister Johan Sverdrup.