Gyldenpalms personlighet brakte ham ikke sjeldent på kant med menigheten. Ifølge overleveringene skal han ha vært både streng, barsk og ilter, samtidig som hans karakter var preget av fryktsomhet og forfengelighet. Han døde natten mellom 30. og 31. desember 1827, hvoretter hans kone flyttet tilbake til København.