Брав активну учать у перевороті 1958 року, в результаті якого в країні було повалено монархію. Також він був учасником перевороту 1963 року, що привів до влади його брата, Абдула Салама Арефа. Брат призначив його керівником армії. Після загибелі останнього в авіакатастрофі Абдель Рахман замінив його на посту президента. Ареф також став генеральним секретарем Ради революційного командування Іраку.