光绪元年（1875年），为礼部侍郎斌儒私宅。1890年，山东济南人在此开设“会贤堂”饭庄，是当时北京知名的“八大堂”之一。当时，门口的马头墙上挂有“会贤堂饭庄”铜牌，大门门簪上镌刻着“群贤毕至”。辛亥革命前后，这里经常被高官用来举行重要会议。1919年五四运动前后，不少教授在会贤堂探讨新文化运动。京剧演员王瑶卿、杨小楼、梅兰芳、余叔岩等人曾在会贤堂表演。1937年卢沟桥事变后，会贤堂成为满洲国驻北京办事处。1945年日本投降，会贤堂作为“逆产”被国民政府没收。1947年，辅仁大学校友会购买会贤堂产权作为