Abdul Rahman se unió a UMNO, y cuando una crisis interna forzó a Datuk Onn Jaafar a dimitir como presidente del partido, él fue elegido como su sucesor, cargo en el que se mantuvo durante 20 años.