共有兄弟四人，排行第三。次兄为《清史稿》编纂者赵尔巽。
生平.赵尔丰最初在山西历任静乐、永济知县，后由时任四川总督的钖良推荐，出任永宁道道尹。1905年5月，时任清驻藏大臣的凤全在巴塘遇害，赵氏被调任建昌道，并受命募兵，平定地方土司的叛乱，这也是其参与和川边藏区相关的事务的开始。当时，由于清政府和驻藏官员对藏区事务处理不力，致使原本反英的西藏高层统治者转而成爲亲英势力，而得到英国支持的西藏地方军队也经常在西康和川边地方制造军事冲突。根据这一情况，清政府制定了在川边实行改革藏政和改土