Øst for kirken finnes restene av Paulis malmgård fra slutten av 1600-tallet, hvor den katolske kirken i Sverige har ekspedisjon, presteboliger og skole. I bygningens nordlige fløy ligger den eldste kirken, St Eriks kapell fra 1860.