当时政府与日本签订“二十一条”而当时曹汝霖正出任交通总长，负责把部分权益让予日本所以成为学生声讨对象，学生游行至赵家楼冲入曹宅未找到曹汝霖，由北京高等师范学校学生匡互生等放火烧毁赵家楼，此事件在北京产生强烈震动。事件后曹汝霖一家转移至北海团城，之后又在灯市口另置宅第，赵家楼荒废。中华人民共和国成立后，赵家楼遗址被拆，在原址上建起的赵家楼饭店为北京某部的招待所对外营业。