De sjøfarendes fattighus ble oppført på en av Allehelgenskirkens eiendommer, like overfor Domkirken i Bergen. Fattighuset brant i bybrannene i 1623, i 1640 og i 1702, men ble gjenreist gang på gang. I 1896 ble fattighuset flyttet til Haugeveien 35 på Nordnes der det fortsatt ligger. Bygget ble tegnet av arkitekt Schak Bull, og består av tre hele etasjer med loft og underetasje. Dette er et praktbygg av rød teglstein med grått skifertak, inspirert av tysk romantisk stil med tårn og spir over karnappene i alle hjørner. Her hadde beboerne tilgang til oppholdsrom med peisestue, bibliotek og røkeværelse. I tillegg finnes et eget vigslet kirkerom i nygotisk stil. Bygningen ble modernisert i 1936-37 og rehabilitert ved Institutt for Byfornying i 1989. I 2009 disponerte aldershjemmet 90 leiligheter.