Faits :
A.
A.a. Le 12 septembre 2014, la Direction générale des finances publiques françaises (ci-après: l'autorité requérante) a adressé à l'Administration fédérale des contributions (ci-après: l'Administration fédérale) une demande d'assistance administrative concernant A._, en matière d'impôt sur le revenu des périodes fiscales 2010 à 2013 et d'impôt sur la fortune des années 2010 à 2014. L'autorité requérante y indiquait qu'elle procédait au contrôle de la situation fiscale de A._ et que ce dernier avait nié posséder des avoirs à l'étranger. Il apparaissait toutefois que l'intéressé détenait un compte en Suisse auprès de C._ (ci-après: la Banque), sous un numéro qui était reproduit dans la demande d'assistance. Or, en tant que résident fiscal français, A._ devait déclarer les comptes bancaires ouverts à l'étranger et ceux sur lesquels il détenait une procuration, ainsi que les revenus de source française (<ref-law>). L'autorité requérante souhaitait en conséquence obtenir l'état de fortune aux 1er janvier 2010 à 2014, les relevés de compte du 1er janvier 2010 au 31 décembre 2013 et les formulaires A de tous les comptes bancaires dont A._ était directement ou indirectement titulaire auprès de la Banque.
A.b. Déférant à une ordonnance de production de l'Administration fédérale, la Banque a transmis les documents requis le 31 octobre 2014. Il en ressortait que A._ était l'ayant droit économique d'un groupe de comptes détenus par B._ SA, une société enregistrée au Panama (ci-après: la Société).
La Banque ayant refusé d'informer A._ et B._ SA de l'existence de la procédure d'assistance administrative, l'Administration fédérale a fait publier un avis en ce sens dans la Feuille fédérale du 25 novembre 2014.
B.
Par décision finale du 23 décembre 2014, l'Administration fédérale a accordé l'assistance administrative à la France et fait paraître le dispositif de cette décision dans la Feuille fédérale du même jour.
Le 16 janvier 2015, A._ a demandé à l'Administration fédérale qu'une copie de la décision du 23 décembre 2014 lui soit notifiée, ce qui a été fait le 19 janvier 2015.
Le 30 janvier 2015, A._ et la Société ont interjeté recours contre la décision du 23 décembre 2014 auprès du Tribunal administratif fédéral, en demandant son annulation.
Le 7 août 2015, l'Administration fédérale a formé un recours auprès du Tribunal fédéral à l'encontre de la décision incidente du 28 juillet 2015 par laquelle le juge instructeur du Tribunal administratif fédéral lui ordonnait de transmettre à A._ et à la Société certains documents du dossier. La cause a toutefois été radiée du rôle par ordonnance du 15 septembre 2015 à la suite du retrait du recours (cause 2C_664/2015).
Par arrêt du 22 février 2016, le Tribunal administratif fédéral a rejeté le recours. En substance, les juges ont d'abord retenu qu'étant donné l'issue du recours, le point de savoir si celui-ci devait être déclaré irrecevable en raison d'un dépôt tardif pouvait rester ouvert; quant à la violation du droit d'être entendu dont se plaignaient A._ et la Société du fait qu'ils n'avaient pas été correctement informés de la demande d'assistance administrative, elle avait été guérie durant la procédure de recours, puisque les intéressés avaient pu consulter l'entier du dossier et faire valoir à trois reprises leurs arguments devant le Tribunal administratif fédéral, qui jouissait du même (plein) pouvoir de cognition que l'Administration fédérale. Les juges précédents ont ensuite constaté que la demande d'assistance administrative remplissait l'ensemble des conditions formelles et matérielles applicables. En particulier, c'était à tort que A._ et la Société remettaient en cause la bonne foi de l'autorité requérante au motif qu'aucune (nouvelle) décision de taxation complémentaire (dénommée " proposition de rectification ") ne pouvait, selon eux, être rendue à l'avenir en France à l'encontre de A._.
C.
A l'encontre de l'arrêt du 22 février 2016, A._ et la Société interjettent un recours en matière de droit public au Tribunal fédéral, en concluant à son annulation et à celle de la décision finale du 23 décembre 2014 de l'Administration fédérale.
Le Tribunal administratif fédéral a renoncé à prendre position. L'Administration fédérale s'est déterminée sur le recours et a conclu, principalement, à son irrecevabilité; subsidiairement, à son rejet; plus subsidiairement, à ce que le Tribunal fédéral renonce à statuer au fond et renvoie la cause au Tribunal administratif fédéral pour qu'il se prononce sur la recevabilité du recours du 30 janvier 2015. Les recourants ont déposé des observations.

Considérant en droit :
1.
1.1. L'arrêt attaqué est une décision finale (<ref-law>), rendue dans une cause de droit public (<ref-law>) émanant du Tribunal administratif fédéral (<ref-law>). Seul un recours en matière de droit public est donc envisageable (cf. <ref-law> a contrario).
Contre les décisions en matière d'assistance administrative en matière fiscale, le recours en matière de droit public n'est recevable que lorsqu'une question juridique de principe se pose ou lorsqu'il s'agit pour d'autres motifs d'un cas particulièrement important au sens de l'<ref-law> (cf. art. 83 let. h et 84a LTF; <ref-ruling> consid. 1.3 p. 410).
1.2. Selon les recourants, la présente cause pose une question juridique de principe qui a trait à la question du contrôle de la bonne foi de l'autorité requérante. Ils affirment, d'une part, que l'autorité requérante a menti en affirmant dans la demande qu'elle procédait au contrôle de la situation de A._, car le contrôle avait déjà été clos par une proposition de rectification. D'autre part, ils soutiennent que, selon les règles du droit français, lorsqu'une proposition de rectification a été notifiée à un contribuable, un contrôle ne pourrait perdurer que si l'administration fiscale française avait informé le contribuable que la rectification proposée lui était infligée sous réserve des résultats d'une demande d'assistance administrative en cours. Or, cette information n'aurait pas été fournie au recourant en l'espèce (et n'aurait du reste pas pu l'être, la demande d'assistance litigieuse étant postérieure à la proposition de rectification notifiée), de sorte qu'aucune nouvelle proposition de rectification ne pourrait plus intervenir à son encontre.
En tant qu'ils affirment que la demande d'assistance litigieuse aurait été formée de manière contraire au principe de la bonne foi, car aucune nouvelle proposition de rectification ne pourrait plus interveniren France contre A._ en raison de contraintes relevant du droit interne français, les recourants soulèvent la question générale consistant à déterminer si l'Etat requis peut, sous l'angle de la pertinence vraisemblable et de la bonne foi de l'Etat requérant, vérifier si ce dernier a correctement appliqué son propre droit de procédure interne. Il s'agit là d'une question de principe qui n'a pas encore été tranchée par le Tribunal fédéral. Le recours est donc recevable au sens de l'<ref-law>.
1.3. S'agissant des conclusions du recours, celle tendant à l'annulation de la décision du 23 décembre 2014 de l'Administration fédérale est irrecevable en raison de l'effet dévolutif complet du recours auprès du Tribunal administratif fédéral (<ref-ruling> consid. 1.2 p. 543; arrêt 2C_596/2016 du 11 janvier 2017 consid. 1.2).
1.4. Au surplus, les recourants ont formé recours en temps utile (<ref-law>) et dans les formes prévues (<ref-law>). Il convient donc d'entrer en matière sur le recours dans la mesure de sa recevabilité.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine que les griefs soulevés, sauf en présence de violation du droit évidente (<ref-ruling> consid. 1.6 p. 280; <ref-ruling> consid. 1.4.1 p. 254, arrêt 2C_284/2016 du 20 janvier 2017 consid. 2.3). Il n'est donc pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont plus discutées devant lui (cf. <ref-ruling> consid. 1.7.1 p. 106; <ref-ruling> consid. 2 p. 89; <ref-ruling> consid. 1.2 p. 308 s.; <ref-ruling> consid. 1.4). Il ne peut en outre entrer en matière sur la violation d'un droit constitutionnel que si le grief a été invoqué et motivé par le recourant de manière claire et détaillée (<ref-law>; <ref-ruling> consid. 1.3 p. 41; <ref-ruling> consid. 2.2 p. 232).
3.
S'agissant du droit applicable, l'échange de renseignements est en l'espèce matériellement réglé à l'art. 28 de la Convention du 9 septembre 1966 entre la Suisse et la France en vue d'éliminer les doubles impositions en matière d'impôts sur le revenu et sur la fortune et de prévenir la fraude et l'évasion fiscales (ci-après: CDI CH-FR; RS 0.672.934.91) et au ch. XI du Protocole additionnel à la CDI CH-FR.
4.
Le litige porte principalement sur le point de savoir si c'est à bon droit que le Tribunal administratif fédéral a jugé que l'Etat requérant n'avait pas agi de manière contraire au principe de la bonne foi en formant la demande d'assistance administrative litigieuse qui, selon les recourants, porterait sur des renseignements inutilisables en droit interne.
4.1. Les juges précédents ont examiné la question de la bonne foi de l'Etat requérant sous deux angles.
4.2. Ils rappellent d'abord qu'en vertu de la jurisprudence du Tribunal administratif fédéral, l'Etat requérant n'est pas considéré comme agissant de bonne foi s'il a déjà rendu une décision sur les faits faisant l'objet de la demande et qu'il n'explique pas pour quelle raison il sollicite néanmoins l'assistance administrative de la Suisse. Ils relèvent toutefois que l'on ne se trouve pas dans un tel cas de figure en l'espèce, la proposition de rectification rendue à l'encontre du recourant ne comportant aucune mention de la relation bancaire objet de la demande d'assistance litigieuse, de sorte que la bonne foi de l'Etat requérant reste présumée à cet égard.
Les recourants ne contestant pas l'arrêt attaqué sur ce point, il n'y a pas lieu d'y revenir et d'examiner la jurisprudence du Tribunal administratif fédéral sur laquelle se fonde le raisonnement résumé ci-dessus.
4.3. Les juge précédents retiennent ensuite que le fait que l'autorité fiscale française puisse ou non prononcer une nouvelle proposition de rectification à l'encontre de A._ concernait uniquement l'application du droit interne français et qu'il incombait ainsi à l'intéressé de faire valoir, le cas échéant, ce moyen de procédure devant les autorités compétentes de l'Etat requérant, afin de s'opposer à une nouvelle rectification de sa taxation. Il n'était en revanche pas de nature à remettre en cause la bonne foi de l'Etat requérant.
Les recourants contestent cette appréciation. Ils soutiennent que l'assistance administrative doit être accordée à la condition qu'elle porte sur des renseignements vraisemblablement pertinents. L'autorité requérante aurait justifié sa demande par un mensonge lorsqu'elle a indiqué être en train de procéder au contrôle de la situation fiscale de A._. Ce contrôle aurait déjà été clos par une procédure de rectification et ne pourrait en l'espèce pas être réouvert en raison de contraintes du droit procédural français. La demande avait partant été formée de mauvaise foi et la Suisse ne pouvait pas se " retrancher naïvement " derrière le principe de confiance pour accepter toute demande d'assistance administrative apparaissant manifestement erronée.
4.4. Le grief des recourants pose deux questions. La première consiste à déterminer à quelles conditions l'Etat requis peut remettre en cause la bonne foi de l'Etat requérant lorsque ce dernier lui fournit une information (en l'occurrence: l'existence d'une procédure de contrôle fiscal à l'encontre du contribuable). La seconde question est liée à la condition de la pertinence vraisemblable des renseignements requis. En effet, les recourants remettent en réalité en cause la pertinence vraisemblable de la demande d'assistance administrative lorsqu'ils soutiennent qu'aucune (nouvelle) procédure de rectification ne pourrait plus intervenir à l'encontre du contribuable français et que la demande d'assistance s'avérerait ainsi manifestement erronée. Il s'agit donc de savoir si l'Etat requis est habilité à juger de la pertinence vraisemblable des renseignements demandés par l'Etat requérant en contrôlant la possibilité pour ce dernier de les utiliser concrètement en application de sa procédure interne.
Ces deux questions mêlent la question de la bonne foi et celle de la pertinence vraisemblable et seront donc traitées ensemble. A cet effet, il convient de rappeler les conditions et principes auxquels l'assistance administrative est soumise en l'espèce.
5.
5.1. Selon l'art. 28 par. 1 1 e phrase CDI CH-FR, les autorités compétentes des Etats contractants échangent les renseignements vraisemblablement pertinents pour appliquer les dispositions de la présente Convention ou pour l'administration ou l'application de la législation interne relative aux impôts de toute nature (...). Le ch. XI par. 3 du Protocole additionnel prévoit la liste des informations que doit contenir une demande. Selon la jurisprudence, cette liste est conçue de telle manière que si l'Etat requérant s'y conforme, il est en principe censé fournir des informations qui doivent suffire à démontrer la pertinence vraisemblable de sa demande (<ref-ruling> consid. 2.1.4 p. 168).
5.2. La condition de la pertinence vraisemblable des renseignements requis est la clé de voûte de l'échange de renseignements. Selon la jurisprudence, elle a pour but d'assurer un échange de renseignements le plus large possible, mais ne permet pas aux Etats d'aller à la pêche aux renseignements ou de demander des renseignements dont il est peu probable qu'ils soient pertinents pour élucider les affaires d'un contribuable déterminé. Elle est réputée réalisée si, au moment où la demande est formulée, il existe une possibilité raisonnable que les renseignements demandés se révéleront pertinents. En revanche, peu importe qu'une fois fournis, il s'avère que l'information demandée soit finalement non pertinente. Il n'incombe pas à l'Etat requis de refuser une demande ou de transmettre les informations parce que cet Etat serait d'avis qu'elles manqueraient de pertinence pour l'enquête ou le contrôle sous-jacents (<ref-ruling> consid. 2.1.1 p. 165 s.).
Le rôle de l'Etat requis, s'agissant de la pertinence vraisemblable des renseignements objets de la demande, se limite à vérifier si les documents demandés par l'Etat requérant ont un rapport avec l'état de fait présenté dans la demande et s'ils sont potentiellement propres à être utilisés dans la procédure étrangère. A cet égard, l'autorité requise doit examiner si les documents demandés se rapportent bien aux faits qui figurent dans la requête et ne peut refuser de transmettre que les documents dont il apparaît avec certitude qu'ils ne sont pas déterminants. Ce serait méconnaître le sens et le but de l'assistance administrative que d'exiger de l'Etat requérant qu'il présente une demande dépourvue de lacune et de contradiction, car la demande d'assistance implique par nature certains aspects obscurs que les informations demandées à l'Etat requis doivent éclaircir (<ref-ruling> consid. 2.1.1 p. 165 s.; <ref-ruling> consid. 7.2.2 p. 424).
5.3. Ces principes ont en particulier été développés en lien avec la problématique de la double imposition, dans deux arrêts concernant des demandes d'assistance administrative françaises qui visaient à obtenir des renseignements sur des comptes bancaires détenus en Suisse par des contribuables que l'Etat requérant considérait comme ses résidents fiscaux. Ces derniers contestaient être résidents fiscaux français, en faisant valoir, pour l'un, une résidence fiscale en Suisse et, pour l'autre, une résidence fiscale dans un Etat tiers. Le Tribunal fédéral a en substance retenu qu'il incombait aux intéressés de faire valoir leurs arguments et de produire les pièces corroborant leur position sur ce point devant les autorités de l'Etat requérant (<ref-ruling> consid. 2.2 p. 170 s. [contribuable assujetti à l'impôt de manière illimitée en Suisse]; 218 consid. 3.6 et 3.7 p. 229 s. [contribuable alléguant être résident fiscal d'un Etat tiers]).
5.4. Le même raisonnement doit s'imposer lorsque le contribuable oppose à la demande d'assistance administrative des dispositions procédurales du droit interne de l'Etat requérant. Dans le contexte de l'assistance administrative en matière fiscale fondée sur la vraisemblance, l'Etat requis n'a pas à vérifier l'application du droit interne procédural de l'Etat requérant pour décider de la pertinence d'une demande d'assistance. Il suffit que les renseignements soient potentiellement propres à être utilisés dans la procédure étrangère. En revanche, comme le relève pertinemment l'intimée, l'Etat requis ne peut avoir pour rôle d'examiner, au-delà du contrôle de la plausibilité, le bien-fondé de la procédure fiscale conduite à l'étranger ni à s'interroger sur d'éventuels obstacles procéduraux qui, en application du droit interne de l'Etat requérant, empêcheraient l'utilisation des renseignements obtenus. Une telle approche ne serait pas soutenable dans le contexte de la coopération internationale et au vu des spécificités de chaque procédure nationale. L'Etat requis ne disposerait du reste pas des éléments nécessaires pour vérifier l'exactitude des allégations des contribuables visés s'agissant du respect des règles procédurales de l'Etat requérant. On ne peut que confirmer la position du Tribunal administratif fédéral selon laquelle il appartient aux contribuables de faire valoir leurs moyens procéduraux devant les autorités judiciaires de l'Etat requérant (cf. arrêt 2C_893/2015 du 16 février 2017 consid. 6.3 destiné à la publication; <ref-ruling> consid. 3.7 p. 230). Il faut toutefois réserver sur le principe - la problématique ne concernant a priori pas les Etats d'Europe de l'Ouest, à l'égard desquels il n'y a en principe pas de doute à avoir quant au respect des droits de l'homme - la situation dans laquelle la procédure à l'étranger violerait des principes fondamentaux ou comporterait d'autres vices graves (cf. <ref-law> en lien avec l'<ref-law> et la jurisprudence rendue en matière d'extradition quant au risque de traitement contraire à la CEDH ou au Pacte ONU II, notamment <ref-ruling> consid. 2 p. 193 ss; <ref-ruling> consid. 6 p. 162 ss; <ref-ruling> consid. 6 p. 270 ss, cf., en lien avec l'assistance administrative, arrêt 2C_325/2017 du 3 avril 2017 consid. 5).
5.5. A cela s'ajoute que le principe de la bonne foi, qui s'applique de manière générale dans les relations internationales et partant également dans le domaine de l'assistance administrative internationale en matière fiscale (art. 31 de la Convention de Vienne du 23 mai 1969 sur le droit des traités; <ref-ruling> consid. 3.3 p. 228), implique notamment qu'un Etat est présumé agir de bonne foi. Dans le contexte de l'assistance administrative en matière fiscale, cette présomption signifie que l'Etat requis ne saurait en principe mettre en doute les allégations de l'Etat requérant. S'il ne fait en particulier pas obstacle au droit de l'Etat requis de vérifier que les renseignements demandés sont bien vraisemblablement pertinents pour servir le but fiscal recherché par l'Etat requérant, il lui impose néanmoins de se fier en principe aux indications que lui fournit celui-ci, sauf à adopter une attitude de défiance et de remise en cause de la bonne foi (<ref-ruling> consid. 2.1.3 p. 167 s. et consid. 2.4 p. 172; 218 consid. 3.3 p. 228 s.; arrêts 2C_1000/2015 du 17 mars 2017 consid. 6.3 destiné à la publication; 2C_904/2015 du 8 décembre 2016 consid. 6.3). Certes, en cas de doute sérieux, le principe de la confiance ne s'oppose pas à ce qu'un éclaircissement soit demandé à l'Etat requérant s'agissant de la pertinence vraisemblable des renseignements requis (arrêt 2C_893/2015 du 16 février 2017 consid. 8.7.1 destiné à la publication). La présomption de la bonne foi ne peut cependant être renversée que sur la base d'éléments établis et concrets (cf. arrêts précités 2C_893/2015 consid. 8.7.4 et 2C_325/2017 consid. 4.2).
5.6. En l'espèce, l'autorité requérante a indiqué qu'elle procédait au contrôle de la situation fiscale de A._, qui avait nié posséder des avoirs à l'étranger. Il apparaissait toutefois que l'intéressé détenait un compte en Suisse auprès de la Banque, sous un numéro qui était reproduit dans la demande d'assistance. Or, en tant que résident fiscal français, A._ devait déclarer les comptes bancaires ouverts à l'étranger. L'autorité requérante sollicitait l'assistance de la Suisse pour qu'elle lui fournisse une série de documents liés à ces comptes bancaires pour la période concernée par la demande.
La demande présente clairement la situation et les motifs pour lesquels l'autorité requérante a besoin des renseignements requis. Elle contient en outre, comme l'a relevé le Tribunal administratif fédéral, toutes les indications requises par le ch. XI par. 3 du Protocole additionnel. Elle remplit donc la condition de la pertinence vraisemblable: en effet, s'il devait s'avérer que le recourant a effectivement dissimulé au fisc français des comptes bancaires suisses au cours du contrôle dont il a fait l'objet, il est à tout le moins plausible que sa taxation puisse faire l'objet d'une révision pour que les éléments de fortune et de revenus omis y soient intégrés.
Le fait que le libellé de la demande laisse entendre qu'une procédure de contrôle est en cours, alors que les recourants affirment que cette procédure a été définitivement close, n'est pas de nature à faire apparaître la demande comme contradictoire ni à remettre en cause la pertinence vraisemblable de la demande et la bonne foi de l'autorité requérante. Indépendamment du fait que les recourants se limitent à décrire de manière vague les motifs pour lesquels aucune révision de la taxation ne pourrait intervenir, entrer en matière sur cette question reviendrait, pour la Suisse, à s'immiscer dans le droit interne de l'Etat requérant et à juger à sa place de la possibilité laissée par le droit de procédure français de revenir sur une procédure de contrôle fiscal qui serait par hypothèse close. Le contrôle de la pertinence vraisemblable des indications fournies par l'Etat requérant ne saurait s'étendre à un tel examen. Comme rappelé ci-dessus, une telle démarche serait contraire à la répartition des rôles des Etats dans le contexte de l'assistance administrative en matière fiscale. Si les recourants sont d'avis qu'aucune révision de taxation ne peut intervenir, il leur incombera de faire valoir ces moyens devant les autorités compétentes françaises.
5.7. Il découle de ce qui précède que la demande d'assistance administrative litigieuse remplit la condition de la pertinence vraisemblable et que les recourants n'ont pas démontré que l'autorité requérante aurait agi de manière contraire à la bonne foi en la formulant. Leurs griefs sont partant rejetés.
6.
Les autres aspects de l'arrêt attaqué (résumés ci-dessus consid. B) ne font l'objet d'aucune critique de la part des recourants, en particulier s'agissant de la question de la violation de leur droit d'être entendus, de sorte que cette question n'a pas à être examinée (<ref-law> et ci-dessus consid. 2). Dans la mesure où il apparaît par ailleurs que l'arrêt attaqué ne contient aucune violation manifeste de l'art. 28 CDI CH-FR et du chiffre XI du Protocole additionnel, il n'y a pas lieu d'examiner d'office ces points (cf. également ci-dessus consid. 2). Il s'ensuit que le recours doit être rejeté dans la mesure de sa recevabilité et que l'arrêt attaqué doit être confirmé.
7.
Compte tenu de l'issue du litige, les frais seront mis à la charge des recourants qui succombent, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure de sa recevabilité et l'arrêt du 22 février 2016 du Tribunal administratif fédéral est confirmé.
2.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué au mandataire des recourants, à l'Administration fédérale des contributions et au Tribunal administratif fédéral, Cour I.
Lausanne, le 7 avril 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens