Den første presten i Holden var norske Bernt Julius Muus, som immigrerte dit fra Norge i 1859 sammen med sin kone Oline og tjenestepiken Karen Christophersen. Ekteparet var da nygifte. Da de ankom Holden, fantes det hverken kirke eller prestegård på stedet. Den norske menigheten bygget prestebolig på dugnad våren 1860.; I årenes løp har bygningen blitt påbygd og ombygd en rekke ganger. I 1980 fikk denne bygningen status som verneverdig, og har registreringsnummer 80002049 i .