Han var sønn av gårdbruker Olaus Karlgård og hustru Dordi Holmli. Han reiste tidlig ut, og gikk i lære som smed hos Henrik Vinje i Levanger. Etter å ha praktisert som smed på Straumen i noen år, åpnet han i 1894 sitt smed- og maskinverksted i Levanger. En tid hadde han 15–16 ansatte. Han giftet seg i 1891 med Ingeranna Sefaniasdatter Gudding. De fikk 13 barn.