月2日，别廷芳赴洛阳参加军事会议，一战区司令卫立煌欲削弱其兵权，国民党将领汤恩伯又对其进行攻击，他羞愤交加，抱病返回，病情日益加重，医效甚微。3月14日（农历二月六日）子时含恨而逝。别廷芳逝世后，葬于其家门附近的观音堂，棺用古柏木，内填水银。他的陵墓以袁世凯墓为样板来修建。9月16日衣冠冢在西峡的莲花寺岗落成。衣冠冢前是一座高2.16米，宽0.54米，厚0.15米的主碑。底座是一巨型灵龟，顶端有二龙戏珠碑帽。碑的正面是中华民国监察院长于右任题写的“别公香斋之墓”六个大字，背面是上海百川金石书画研究社社长陈懒