Heftige sammenstøt mellom pietistene og «de ortodokse» var ikke til å unngå. Da Christian VI oppholdt seg på Koldinghus i 1734 måtte Brorson preke for ham, og året etter ble han Pontoppidans etterfølger som slottsprest i Frederiksborg. Her fortsatte han som i Bedsted med stadige katekisasjonsøvelser og med å fremelske forsamlingslivet, men kom i konflikt med generalkirkeinspeksjonskollegiet om utøvelse av kirketukt.