Kirkenavnet kommer fra gardsnavnet . På gammalnorsk het stedet , som er flertall av «berg». I sammensetning ble dette navnet da skrevet i genitiv som i og . I middelalderen og ennå ei stund inn i den nyere tida utgjorde det nåværende Brandval to sogn: Berger sogn og Fyrilund sogn. Berger sogn omfatta altså den sørlige delen av Brandval sogn og Fyrilund den nordlige. Et brev fra 1506 forteller at Gjølstad på vestsida av Glåma hørte til Berger sogn, så elva var altså ikke delelinje. Berger kirke var plassert oppe på sørsida av åsen nord for Roverud, med utsikt over de spredte gårdene øst for Glåma. Biskop Jens Nilssøn skriver i 1597 at Berger kirke hadde gudtjeneste hver tredje søndag. De eldre gardene Nordre Lystad og Hammar ble slått sammen til prestegard for kirka. Den garden heter i dag Prestgarden og tok over som prestegard for Brandval etter at Berger ble nedlagt. Tjernet like ved er oppkalt etter garden og heter Prestegardstjennet. Et sagn sier at Årstad har vært prestegard tidligere. Fiskeretten i Kjerkesjøen i Grue hørte visstnok til presten i Berger helt fra før svartedauden. Brandval kaltes ennå utover 1900-tallet i daglig tale eller etter det gamle Berger sogn, som var det betydeligste av de to gamle sogna. I forbindelse med kristendommens 1000-årsjubileum i Norge i 1995 ble det reist ei informasjonstavle om kirka på Berger.