憙就上书请求让谒者带领，分别停留在别的县，藩王们全部命令他们回府第，只在早晚上朝进宫。整顿礼仪，严格门卫制度，朝廷内外肃然。永平元年（58年），赵憙被封为节乡侯。永平三年（60年）二月，赵憙因审讯中山相薛脩的事不符实情，免去太尉职务。同年冬，接替窦融担任卫尉。永平八年（65年），赵憙接替虞延兼任太尉事务，在官署理事如同实任。后来遇上母丧，上书请求亲自服丧守孝，汉明帝不同意，派使者替他脱掉丧服，赏赐恩宠深厚。赵憙内管宫廷警卫，外行宰相职责，能公正地处理政务，从没有懈怠过。永平十八年（75年）八月，汉明帝去