Faits :
A.
Le 23 mai 1995, le Conseil communal de Champéry a accordé à B._ l'autorisation de construire quatre chalets avec places de parc sur les parcelles n° 1311, 1592, 1686, 1691 et 1692 alors sises en zone à bâtir avec zone de danger B. Le lendemain, le Conseil d'Etat du canton du Valais a homologué le nouveau plan d'affectation ainsi que le règlement des constructions communal; les parcelles y sont colloquées en zone d'affectation différée. Le 2 avril 1997, B._ et A._ ont demandé la modification de l'autorisation de construire afin de permettre à A._, futur acquéreur, de regrouper les parcelles et d'ériger un seul chalet sur la parcelle n° 1691. Cette autorisation a été accordée le 5 juin 1997 par le Conseil communal, compte tenu du permis précédemment délivré. Au cours d'opérations de vente des parcelles en 2013, la régularité de l'autorisation de construire délivrée en 1997 a été mise en doute. A._ s'est adressé au Conseil communal afin d'obtenir la confirmation que les autorisations délivrées en 1995 et 1997 étaient valables.
Le 20 février 2014, la Commission cantonale des constructions (ci-après: la CCC), rappelant que le Conseil communal n'était pas compétent pour autoriser une construction hors de la zone à bâtir, a estimé que l'autorisation du 5 juin 1997 était nulle. Une demande de régularisation, par le biais d'une mise en zone à bâtir, s'est heurtée au refus du Service cantonal du développement territorial (ci-après: le SDT).
Le 11 mars 2015, A._ a requis de la CCC une décision de constatation de la validité de l'autorisation de construire, se prévalant de sa bonne foi. Le 29 juin 2015, la CCC a constaté la nullité de l'autorisation, délivrée par une autorité incompétente, précisant qu'une régularisation n'entrait pas en ligne de compte. La CCC a toutefois renoncé à exiger une remise en état des lieux, compte tenu des coûts d'une démolition et du fait que l'intéressé n'avait pas été inquiété durant 18 ans.
B.
Cette décision a été confirmée successivement, sur recours de A._, par le Conseil d'Etat puis par la Cour de droit public du Tribunal cantonal valaisan, par arrêt du 13 avril 2017. Selon cet arrêt, une inspection locale et une audition de membres du Conseil communal étaient superflues. L'autorité communale était manifestement incompétente, en vertu de l'art. 25 al. 2 LAT, pour autoriser une construction hors zone à bâtir, de sorte que sa décision (qui portait sur des parcelles et un projet différents de l'autorisation accordée en 1995) était nulle. Le recourant, architecte de profession, ne pouvait se prévaloir de sa bonne foi.
C.
Agissant par la voie du recours en matière de droit public, l'Office fédéral du développement territorial (ARE) demande au Tribunal fédéral de confirmer l'arrêt du Tribunal cantonal et les décisions des autorités intimées en ce qui concerne la nullité de l'autorisation de construire du 5 juin 1997, de réformer l'arrêt et les décisions des autorités intimées et d'ordonner le rétablissement conforme au droit, à savoir la démolition totale de la construction érigée sans droit.
La cour cantonale se réfère aux considérants de son arrêt, tout en relevant que le droit cantonal ne lui permet pas de procéder à une reformatio in peius. Le Conseil d'Etat se rallie aux considérants de l'arrêt attaqué et conclut au rejet du recours. La CCC et la Municipalité de Champéry ont renoncé à se déterminer. A._ conclut au rejet du recours, sous suite de frais et dépens. Dans leurs écritures ultérieures, les parties persistent dans leurs conclusions et motifs respectifs. L'intimé est encore intervenu en personne, par lettre du 4 janvier 2018 - appuyé par la commune par lettre du 15 janvier suivant -, pour affirmer sa bonne foi et faire état des difficultés financières que causerait pour lui un ordre de démolition.
Considérant en droit :
1.
Le recours est dirigé contre un arrêt rendu en dernière instance cantonale confirmant une décision de la CCC constatant la nullité de l'autorisation de construire accordée en 1997. Il est dès lors en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée.
1.1. La qualité pour recourir de l'Office fédéral du développement territorial découle de l'art. 89 al. 2 LTF en relation avec l'art. 48 al. 4 de l'ordonnance sur l'aménagement du territoire du 28 juillet 2000 (OAT; RS 700.1). Les conditions de légitimation de l'art. 89 al. 1 LTF, en particulier la participation à la procédure devant l'instance précédente (art. 89 al. 1 let. a LTF), ne sont pas applicables au recours des autorités fédérales (cf. ATF 136 II 359 consid. 1.2 p. 363 et les arrêts et références cités). C'est pourquoi ces dernières ne sont pas soumises aux restrictions de l'objet du litige dans la procédure cantonale et sont habilitées, dans les limites de leur droit de recours, à déposer des conclusions nouvelles; elles peuvent en particulier requérir une reformatio in peius de la décision de première instance (cf. ATF 136 II 359 consid. 1.2 p. 363 s.), dont le contenu n'est porté à leur connaissance qu'après le jugement de la dernière instance cantonale (cf. art. 1 let. c et art. 2 let. d de l'ordonnance du 8 novembre 2006 concernant la notification des décisions cantonales de dernière instance en matière de droit public [RS 173.110.47]). Il s'ensuit que, dans le cas particulier, la conclusion tendant à ce que le rétablissement de l'état conforme au droit soit ordonné, sous la forme d'un ordre de démolition, est recevable. Il est indifférent, de ce point de vue, que la cour cantonale ne dispose pas elle-même de la faculté d'opérer une reformatio in peius de la décision de première instance. En cas d'admission du recours, il y aurait lieu toutefois de renvoyer la cause à l'autorité précédente, soit le conseil d'Etat, qui dispose de cette faculté.
1.2. En réponse au recours, l'intimé fait valoir une série de griefs à l'encontre de l'arrêt attaqué (droit d'être entendu, bonne foi, arbitraire). Faute d'avoir lui-même recouru contre cet arrêt, qui confirme la nullité de l'autorisation de construire ainsi que l'impossibilité d'une régularisation en l'état actuel, l'intimé ne saurait revenir sur l'ensemble des questions qui y ont été définitivement réglées, et ne peut que répondre aux griefs de l'autorité recourante relatifs au rétablissement d'une situation conforme au droit.
2.
L'office recourant relève que les constructions illicites réalisées en dehors de la zone à bâtir doivent faire l'objet d'une remise en état, soit d'un ordre de démolition. Le délai de prescription de trente ans ne serait pas atteint. L'atteinte au droit serait importante et la remise en état procéderait d'un intérêt public évident. L'intéressé ne pourrait se prévaloir de sa bonne foi puisqu'il a lui-même admis devant les instances précédentes que la compétence de l'autorité communale était douteuse. Les chances de régularisation seraient inexistantes. Le fait que l'intimé a pu utiliser la construction pendant 18 ans sans être inquiété, de même que les coûts d'une démolition, seraient des éléments sans pertinence dans ce cadre.
2.1. Lorsque des constructions ou des installations illicites sont réalisées en dehors de la zone à bâtir, le droit fédéral exige en principe que soit rétabli un état conforme au droit. Le principe de la séparation de l'espace bâti et non bâti, qui préserve différents intérêts publics, est de rang constitutionnel; il fait partie intégrante de la notion d'utilisation mesurée du sol de l'art. 75 al. 1 Cst. (cf. Message du Conseil fédéral du 20 janvier 2010 relatif à une révision partielle de la LAT, FF 2010 964 ch. 1.2.1 et 973 ch. 2.1; arrêts 1C_176/2016 du 10 mai 2017 consid. 7.1; 1C_109/2014 du 4 mars 2015 consid. 6.5; RUDOLF MUGGLI, Commentaire pratique LAT: construire hors zone à bâtir, 2017, n. 1 et 16 ad remarques préliminaires relatives aux art. 24 à 24e et 37a LAT; WALDMANN/HÄNNI, Handkommentar RPG, 2006, n. 14 ad art. 1 LAT; BRAHIER/PERRITAZ, LAT révisée, dézonage et indemnisation des propriétaires, 2015, p. 74; cf. également art. 14 al. 2, 16 al. 1, 22 al. 2 let. a et 24 ss LAT). Cette séparation doit par conséquent, en dehors des exceptions prévues par la loi, demeurer d'application stricte (ATF 132 II 21 consid. 6.4 p. 40; arrêt 1A.301/2000 du 28 mai 2001 consid. 6c publié in ZBl 2002 p. 364). Si des constructions illégales, contraires au droit de l'aménagement du territoire, sont indéfiniment tolérées en dehors de la zone constructible, le principe de la séparation du bâti et du non-bâti est remis en question et un comportement contraire au droit s'en trouve récompensé (arrêt 1C_143/2015 du 13 novembre 2015 consid. 2.4). S'ajoute à cela que la remise en état poursuit encore d'autres intérêts publics, à savoir la limitation du nombre et des dimensions des constructions en zone agricole (cf. ATF 132 II 21 consid. 6.4 p. 40; 111 Ib 213 consid. 6b p. 225; arrêt 1A.301/2000 du 28 mai 2001 consid. 6c in ZBl 2002 p. 364) ainsi que le respect du principe de l'égalité devant la loi (arrêt 1C_276/2016 du 2 juin 2017 consid. 3.3).
2.2. Dès lors que la nullité de l'autorisation de construire ne peut plus être remise en cause (consid. 1.2) et qu'il n'est pas contesté que le chalet de l'intimé se trouve hors de la zone à bâtir, la question d'un ordre de démolition doit en principe être examinée, conformément aux principes rappelés ci-dessus. Le recours doit par conséquent être admis. Selon la jurisprudence, l'autorité peut renoncer à un ordre de démolition, conformément au principe de la proportionnalité, si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit (ATF 132 II 21 consid. 6 p. 35; 123 II 248 consid. 3a/bb p. 252). En règle générale, le Tribunal fédéral examine librement si un ordre de remise en état, qui constitue une restriction du droit de propriété garanti par l'art. 26 al. 1 Cst., est justifié par un intérêt public suffisant et respecte le principe de la proportionnalité.
2.3. En l'occurrence, les instances de recours précédentes n'ont pas du tout examiné la question de l'ordre de démolition puisque la CCC y a expressément renoncé et que le recours au Conseil d'Etat puis au Tribunal cantonal était formé par le seul propriétaire et ne portait donc pas sur cet objet. Dès lors, même si la question de la bonne foi de l'intimé a été traitée en rapport avec la nullité de l'autorisation de construire, la question de la proportionnalité d'une remise en état n'a en revanche pas été examinée; les faits déterminants, (notamment la situation économique de l'intéressé et le coût d'une remise en état) n'ont pas non plus été établis. La pesée complète des intérêts en présence ne peut donc avoir lieu en l'état. La cause doit dès lors être renvoyée au Conseil d'Etat afin qu'il statue sur un éventuel ordre de démolition, conformément aux griefs présentés par l'office recourant - auquel la qualité de partie devra être reconnue - et en tenant compte des objections soulevées par l'intimé. Le droit d'être entendu dont celui-ci se prévaut pourra être respecté dans ce cadre.
Quand bien même le recours est admis sur ce point, il n'y a pas lieu d'annuler l'arrêt cantonal ni la décision du Conseil d'Etat, puisque ces décisions n'ont pas été contestées en ce qui concerne la nullité de l'autorisation de construire. Cette question doit être considérée comme définitivement réglée et il n'y a pas lieu de le constater formellement dans le dispositif du présent arrêt.
3.
Sur le vu de ce qui précède, le recours est admis et la cause est renvoyée au Conseil d'Etat afin qu'il statue sur la question de la remise en état. Conformément à l'art. 66 al. 1 LTF, les frais judiciaires sont mis à la charge de l'intimé qui succombe. Il n'est pas alloué de dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis et la cause est renvoyée au Conseil d'Etat du canton du Valais pour nouvelle décision au sens des considérants.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge de l'intimé A._.
3.
Il n'est pas allouée de dépens.
4.
Le présent arrêt est communiqué aux parties, au Conseil communal de Champéry, au Conseil d'Etat du canton du Valais et au Tribunal cantonal du canton du Valais, Cour de droit public.
Lausanne, le 20 juin 2018
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Merkli
Le Greffier : Kurz