三年（1186年）出生。父赵方时为南宋京湖制置使，赵葵跟兄长赵范自小跟随父亲置身军旅，负责襄阳府饮食。嘉定十年（1217年）金将高琪犯襄阳府，赵葵率兵击破之。十四年（1221年）七月，进兵唐州（在襄阳东北部），以战功补承务郎、知枣阳军、特免铨试，特差充京西南路安抚使司主管书写机宜文字。八月，父赵方卒。十五年（1222年），夺情起复，授直秘阁、通判庐州（今安徽省合肥市）事，进大理寺司直、淮南西路安抚使司参议官。宝庆元年（1225年），与制置使曾式中不和，求去，奉祠禄。绍定三年（1230年）二月，起复承议郎、直