Foreldrene til Mads var skolelærer og kirkesanger Andreas Hansen Berg og kona Inger Madsdatter. De bodde på gården Berg i Enningdalen i Idd i Østfold.