Ole Berg var sønn av ordfører i Frol herred, standartjunker og gårdbruker Godtvard Berg. Ole Berg var far til generalløytnant Ulf Berg.