祖籍山东莱州市，生于奉天铁岭（今辽宁省铁岭市），清汉军正蓝旗将领，曾镇压苗民、藏民起义。后调任四川，在保路运动中镇压保路运动人士，成为辛亥革命的一个诱因。辛亥革命时被革命党尹昌衡斩首。其父赵文颖为山东泰安知府。赵尔丰共有兄弟四人，排行第三。次兄为《清史稿》编纂者赵尔巽。
生平.赵尔丰最初在山西历任静乐、永济知县，后由时任四川总督的钖良推荐，出任永宁道道尹。1905年5月，时任清驻藏大臣的凤全在巴塘遇害，赵氏被调任建昌道，并受命募兵，平定地方土司的叛乱，这也是其参与和川边藏区相关