Faits : A. Le 13 décembre 2012, la Commune de Lens a délivré à DB._ et EB._ un permis de construire un bâtiment de sept appartements sur les parcelles 1738 et 1747 du cadastre communal. Le 17 juin 2013, AA._, BA._ et CA._, propriétaires voisins, ont requis de la commune de Lens qu'elle constate la nullité du permis de construire ou qu'elle le révoque. Ils estimaient que la construction portait sur des résidences secondaires prohibées par l'art. 75b Cst., et que l'enquête publique était incomplète car l'élargissement de la voie d'accès avec rampe chauffante n'y figurait pas. Le Conseil communal a rejeté cette requête le 23 juillet 2013. Les consorts A._ ont recouru auprès du Conseil d'Etat du canton du Valais, en requérant à titre provisionnel l'interdiction de commencer les travaux. Par décision du 4 septembre 2013, le Conseil d'Etat rejeta la requête de mesures provisionnelles, considérant que le recours ne présentait aucune chance de succès. B. Par arrêt du 14 mars 2014, la Cour de droit public du Tribunal cantonal valaisan a rejeté le recours formé contre cette décision. Selon la jurisprudence du Tribunal fédéral, les permis de construire des résidences secondaires délivrés comme en l'espèce après le 11 mars 2012 mais avant le 1 er janvier 2013 n'étaient pas nuls, mais annulables. En l'occurrence, aucun recours n'avait été formé lors de l'octroi de l'autorisation de construire. En consultant le dossier lors de la mise à l'enquête, les voisins auraient pu constater que le projet comportait une route d'accès mentionnée en jaune sur les plans. Ils ne pouvaient donc compenser leur inaction dans le délai d'opposition en demandant la révocation du permis. L'argument tiré de la réglementation sur les quotas et le contingentement (RQC) devait lui aussi être soulevé durant la procédure d'opposition et ne justifiait pas la nullité du permis de construire. Il n'y avait dès lors pas lieu de déroger à la règle selon laquelle l'effet suspensif n'est en général pas accordé en droit des constructions. C. Par acte du 25 avril 2014, AA._, BA._ et CA._ forment un recours en matière de droit public par lequel ils demandent au Tribunal fédéral d'annuler l'arrêt cantonal et d'interdire le début des travaux jusqu'à droit jugé sur le recours contre la décision municipale du 23 juillet 2013. Subsidiairement, ils concluent au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Ils demandent l'effet suspensif, qui a été accordé par ordonnance du 19 mai 2014. La Cour de droit public a renoncé à se déterminer. Le Conseil d'Etat se réfère à l'arrêt attaqué. La commune de Lens et les intimés DB._ et EB._ (auxquels s'est joint FB._, qui n'était toutefois pas partie à la procédure cantonale) concluent au rejet du recours. Les recourants ont déposé de nouvelles déterminations le 27 mai 2014.