瑞为了将河南纳入自己的势力圏而企图罢免赵倜，赵倜乃同直系团结抵抗。1920年（民国9年）7月直皖战争爆发，赵倜站在直系一边，最终皖系倒台。然而，直系的吴佩孚开始动手掌握河南大权。1921年（民国10年），吴佩孚手下的冯玉祥奉命压迫赵倜。赵倜获得奉系张作霖的支援。1922年（民国11年）4月第一次直奉战争爆发，赵倜站在奉系一边，对直系作战。结果奉系败北，赵倜被冯玉祥击败。5月10日，赵倜的河南督军职务被罢免。此后，赵倜成为张作霖及张学良手下的高等顾问。赵倜曾多次试图重返河南，但均未成功。1933年