Hans far var bonde og politiker Ole Larssen Kvam (1782–1844) fra Kvam i Hafslo. Han flyttet til Mek vest for Molde i 1810, og endret senere gårdens navn til Kvam. Hans bror var stortingspolitiker og skolemann Ole Anton Qvam (1834–1904).