Han vokste opp på gården Øver-Velle i Beitstad. Foreldrene var Morten Olsen Welde og Anne Olsdatter Bratberg. Gården hadde vært i slektens eie siden Ole Siverts farfar, som kom fra Midtre Åssve (Åsved) i Kvam i Nord-Trøndelag, kjøpte den i 1785. Han fikk også en politisk ballast hjemmefra; faren satt i både formannskapet og skolekommisjonen i Beitstad etter innføringen av det kommunale selvstyret. Moren var av gammel bondeslekt fra Beitstad; hennes farbror var eidsvollsmann Sivert Bratberg på nabogården Ner-Velle, som døde før Ole Sivert ble født.