Frederiks Hospital inneholdt i 1759–1787 dessuten Fødselsstiftelsen. Foran kjellervinduet her fikk Struensee igjennom at det ble satt ut en kasse hvor fortvilte mødre kunne legge fra seg barn født utenfor ekteskap. Etter tre år ble kassen likevel fjernet, da «den så skammelig ble misbrukt, at lidderlighet og frekkhet derved tiltar».