Han var bror til Randi Nilsen som ble gift med Harald Berg, og dermed onkel til plateartistene Terje Berg og Eli Johanne Berg, samt fotballspillerne Ørjan, Runar og Arild Berg.