Raoul IV var imidlertid Boudewijn V av Flanderns største rival i nordøstlige Frankrike, og en trussel mot hans innflytelse over den unge kongen. Raoul forble den viktigste rådgiveren for kongen etter Boudewijn. Han står som vitne på rundt tretti kongelige dokumenter, uttrykkelig kalt for «rådgiver» i et av dem, og i 1069 kalte Raoul seg selv for kongens stefar.