Faits : A. G._, ressortissant danois, et H._, ressortissant britannique, sont propriétaires de la parcelle n° 8494 du cadastre de la commune d'Ayent. D'une surface de 999 m 2, cette parcelle, située dans la station d'Anzères, est colloquée en zone d'hôtel et d'habitat collectif. Sur le bien-fonds n° 317, situé en limite sud-ouest, est érigé un ancien hôtel servant de colonie de vacances. Une demande d'autorisation de construire un immeuble résidentiel de huit appartements avec parking souterrain sur la parcelle n° 8494 a été déposée auprès de la Commune le 11 mai 2009. Mis à l'enquête publique le 15 mai 2009, le projet a suscité les oppositions de plusieurs propriétaires voisins. Après avoir recueilli les prises de position des organes cantonaux consultés, la Commune d'Ayent a délivré le permis de construire sollicité et a écarté les oppositions par décision du 2 juin 2010. Par décision du 19 juin 2013, le Conseil d'Etat a rejeté le recours déposé par certains opposants; il a par ailleurs astreint les constructeurs, qui avaient proposé quelques modifications du projet en cours de procédure, à déposer des plans complémentaires relatifs à ces modifications (sorties de secours; installations de ventilations et d'évacuation d'air du garage souterrain), lesquels devaient être approuvés par la Commune avant la délivrance du permis d'habiter. Le 6 février 2014, la Cour de droit public du Tribunal cantonal valaisan (ci-après: le Tribunal cantonal) a rejeté le recours déposé contre l'arrêt du Conseil d'Etat par des propriétaires voisins dont A.A._ et B.A._, C.C._ et D.C._, ainsi que E.E._ et F.E._. Il a notamment considéré que l'art. 75b Cst., limitant la construction de résidences secondaires, n'était pas applicable au projet litigieux, qui avait été autorisé avant l'entrée en vigueur de cette norme constitutionnelle et qui n'avait pas subi de modifications essentielles après cette date. Par arrêt du 14 janvier 2015, le Tribunal fédéral a déclaré irrecevable le recours interjeté par les voisins contre cet arrêt, déniant à celui-ci les caractéristiques d'une décision finale ou partielle. B. Le 29 mai 2015, G._ et H._ ont déposé des plans complémentaires relatifs aux sorties de secours et installations de ventilation et d'évacuation d'air (exutoires de fumée, sauts de loup) du garage souterrain, ainsi qu'à l'espace communautaire extérieur, couvrant 150 m 2 sur la partie sud de la parcelle, et à la circulation le long de l'accès projeté; ils ont demandé formellement la délivrance d'une autorisation de construire complémentaire à celle de 2010. Le 10 décembre 2015, le conseil communal a, après avoir recueilli les préavis positifs de l'Office cantonal du feu et du Service cantonal de la protection de l'environnement, approuvé les plans complémentaires déposés et a délivré l'autorisation de construire, écartant l'opposition des voisins dont A.A._ et B.A._, C.C._ et D.C._, ainsi que E.E._ et F.E._ (ci-après: A.A._ et consorts). C. Le 24 août 2016, le Conseil d'Etat a rejeté le recours déposé contre la décision communale. Par arrêt du 10 mars 2017, le Tribunal cantonal a rejeté le recours déposé par A.A._ et consorts. Il a notamment considéré que le projet litigieux n'était pas soumis à la nouvelle réglementation limitant les résidences secondaires. Il a renvoyé aux considérant de son arrêt du 6 février 2014 s'agissant des griefs qu'il avait déjà traités. D. A.A._ et consorts forment un recours en matière de droit public contre l'arrêt du Tribunal cantonal. Ils se plaignent notamment d'une violation de la loi fédérale sur les résidences secondaires (LRS, RS 702), de la loi fédérale du 20 mars 2015 sur l'acquisition d'immeubles par des personnes à l'étranger (LFAIE, RS 211.412.41), du principe de coordination, ainsi que de différentes violations de la législation cantonale en matière de droit de la construction. Par ordonnance du 23 mai 2017, le Président de la Ire Cour de droit public a accordé l'effet suspensif au recours. Le Tribunal cantonal et le Conseil d'Etat renoncent à se déterminer. La Commune et les intimés concluent au rejet du recours, aux termes de leurs observations. Enfin, pour l'Office fédéral du développement territorial (OFDT), l'appréciation de l'instance précédente est contraire à l'art. 25 LRS, de sorte que le permis de construire doit être levé et la demande d'autorisation renvoyée pour examen à la lumière des dispositions du droit fédéral sur les résidences secondaires.