Eldsvåda utbröt i söndags eftermiddag i manbyggnaden i Lyrestads prestgård.