Après que Heath quitte ses fonctions en 1974, Davies conserve son siège parlementaire mais n'obtient pas de poste au sein du Cabinet fantôme. Il reprend la direction de Hill Samuel. À partir du mois de mai, il prend la présidence du comité d'examen européen de la Chambre des communes, examinant les détails de la législation, et s'est forgé une solide réputation en examinant en détail les règlements émanant des institutions de la communauté européenne. En 1975, Davies fait campagne pour un «oui» au référendum sur l'adhésion à la Communauté Européenne.