得霖解职。1919年，与同乡童今吾共同创办东陆银行，注册资本100万（一说，单独创办东陆银行），并担任总经理，将总行地址从北京移往天津，并在上海、北京设立分行。东陆银行是天津早期私人大型商业银行。1925年2月，贺因事务繁重身体虚弱，坚决请求辞职，董事会因无人选继任贺发布公告解散。同年2月1日至7日，天津总行，北京上海分行相继歇业。曾任中国垦业银行天津分行副理。曾大力支持民族出版业、报业，如资助《世界日报》的发行。