Hans foreldre var Mathis Olsen Westgaard (født 20. mars 1812 på Skrellane i Varteig) og Fridericha Mariana Andersdatter (født 1799 på Gården Westberg i Ullerød). Fridericha Mariana var datter av Anders Frisach.