忠是源义家的第三子。「恶对马守」源义亲是其异母兄，「荒加贺入道」源义国是其同母弟，二人名气都很差。义忠年轻时曾例如带刀长、河内守、检非违使等职，被父亲源义家评价称与祖父源赖义很相似。嘉承元年（1106年）父亲死后，义忠继承家督之位。由于义母兄源义亲在西国叛乱被伊势平氏的平正盛平定，伊势平氏获得白河上皇的重用，河内源氏势力衰退。为与新兴的伊势平氏搞好关系，他和平正盛的女儿结婚，并成为平正盛嫡子的乌帽子亲，赐予其偏讳「忠」字，取名平忠盛。源义家还积极参与院政并且努力维持与摄关家的关系，被评论为「天下荣名」。