Stiftelsen ble opprettet i 1607 på initiativ fra lensherre Steen Bille til Bildesholm på grunnlag av gaver fra lensherren og fra byens borgere. Stiftelsens første bygning lå ved Smidesgeilan og fungerte fra 1616 som et fattighus for gamle og skrøpelige personer fra borgerstanden. Riksadmiral Claus Daae til Ravnstrup, som var Billes etterfølger som lensherre i Trondheim i 1614–1620, styrket stiftelsens økonomi ytterligere da han forærte 500 riksdaler i 1617. Bygningen ved Smidesgeilan ble ødelagt av brann i 1651, men ble gjenoppbygd før den på nytt brant ned som følge av bybrannen i 1681.