时就爱骑马和射箭。其父赵伦之任雍州刺史出镇襄阳时，赵伯符为竟陵太守。期间赵伯符统兵成功镇压竟陵一带少数民族的反抗活动，更获称许有将帅才能。后为宁远将军，总领义徒，屯驻建康宫城之北作守备，而每当邻近发生火灾或劫盗事件都会亲自领众前去协助郡县应对，如此很得宋武帝欣赏。赵伦之于元嘉五年十二月庚寅日 （429年2月16日）去世后，赵伯符承袭其封爵霄城县侯及后历任多职至左衞将军。元嘉十五年八月辛丑日（438年9月8日），他担任徐兖二州刺史后在当地实行苛酷残暴的统治，官吏们畏惧他如同豺虎，但盗贼流寇皆不敢侵犯州境。元嘉