Den 1. desember 1892 kunne han innvie hjemmets nye hus i Sporveisgaten 35. Ved innvielsen hadde 21 eldre damer fått plass i huset. Hjemmet fikk fra starten det offisielle navnet «Hjem for eldre damer», men det ble omtalt som «Gustav Jensens gamlehjem». På 1800-tallet var det spesielt vanskelig for eldre kvinner å klare seg dersom de ikke hadde egen formue eller en familie som kunne forsørge dem. Gustav Jensens etablering av et eldrehjem for kvinner ble ved 55-årsjubileet i 1942 erklært som et enestående tiltak for denne gruppen.