朝因乱行被罢官。在保元之乱中他是崇德上皇一方的主力，因为战败被后白河天皇一方的自己的长子源义朝处以死刑。
生平.
崭露头角.永长元年（1096年）出生，是源义亲的四子，从小就跟着叔父义忠和祖父义家一起生活。嘉承元年（1106年），义家去世，义忠继承了家督之位。天仁二年（1109年），义忠遭到暗杀，义忠的叔父源义纲一族受到怀疑和声讨。于是源为义联合了美浓源氏的源光国讨伐义纲，成功擒获义纲，于是14岁就成为了左卫门少尉。他最初娶了藤原忠清之女，生了长子源义朝。