Müller-brødrene gjorde det vedlikeholdsarbeidet de var forpliktet til, men med stort press på soknefolket som ble pålagt utgifter. Dette førte til at Manger formannskap i august 1854 tok opp utgiftene som ble pålagt dem. Formannskapet viste til både lover og sedvane og nektet å betale det Müller-slekten ville ha. På neste formannskapsmøte behandlet de et tilbud fra kirkeeierne om å kjøpe kirken uten den medfølgende jorden. Michael Sars var sokneprest i Manger på denne tiden. Han skrev et følgebrev der han argumenterte for at kirken var for liten etter kirkeloven av 1851. Formannskapet avslo både Sars' argumentering og kjøpstilbudet, og fastslo at kirken var stor nok og at de ikke ville kjøpe den. Müller kom med et nytt tilbud i 1855, nå med en pris under takst, men enda en gang avslo formannskapet. Man så heller at noen andre hadde ansvaret for en kirke som krevde mye vedlikehold, et behov den ikke fikk dekket de kommende årene. Forfallet satt derfor inn. Det ble påvist store skader ved en visitas i 1859, og Müller tok det grøvste vedlikeholdet, etter strengt pålegg fra myndighetene. Igjen ble det gjort forsøk på å få kirken i sognets eie, men denne gangen fra stiftsdireksjonen som var lei av å mase på Müller. Etter en synfaring i 1861 fikk Müller beskjed om mange mangler som fremdels stod igjen. Han svarte med enda en gang å forsøke å selge kirken, men fikk svar om at «Mangers Kommunebestyrelse finder sig for tiden ikke beføiet til noget Kjøb af Manger Hovedkirke uden efter Lovlig Forpliktelse». Noen slik forpliktelse hadde de ikke, da det var først om kirken var for liten i forhold til folketallet, noe Manger kirke ikke var, at sognet fikk plikter. I dette tilfellet var det kirkeeier som hadde ansvaret for kirken. Saken gikk fram og tilbake i flere år, med mindre reparasjoner og forfall på kirken, fram til 1864 da et vedtak i kommunebestyrelsen gjorde at Müller måtte gjøre et større arbeid. Dette ble gjort heller dårlig, og krangelen fortsatte i flere år, med et nytt forsøk fra Müller på å selge kirken i 1872. I forbindelse med byggingen av ny kirke på Herdla på begynnelsen av 1860-tallet, kom det også til krangler med Müller om dette, da folk fra Herdla ble hevist til kirken på Manger i en periode. Dette førte til en rettstvist over seks år, som Müller tapte. Senere ble kirken på Hordabø bestemt revet for å bygge en ny kirkre, og folket der henvist til Manger, noe som førte til nye sju år med rettstvist. Men Manger kirke fikk da låne liturgisk utstyr fra Hordabø, siden Müller hadde latt dette forfalle sammen med resten av kirken. Utover på 1870-tallet var kirken i stort forfall, både innvendig og utvendig.