Le référendum du 5 juin 1975 sur l'adhésion de la Grande-Bretagne à la CEE règle la question de la position de la Grande-Bretagne en Europe, et à partir de ce moment, le parti travailliste exige sa part de nominations au Parlement européen. O'Hagan perd ainsi son siège le après une décision conjointe des partis conservateur et travailliste de cesser de nommer des indépendants et des libéraux au Parlement européen. Il rejoint ensuite le parti conservateur et devient whip et porte-parole des conservateurs à la Chambre des Lords entre 1977 et 1979. Il est également impliqué dans la Primrose League avant sa dissolution, en tant que chancelier d' à .