Faits :
A.
Le 26 mai 2008, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: OAI) a informé A._ qu'il envisageait de lui accorder une rente entière à compter du 1 er juin 2004. L'intéressé s'est déterminé à ce propos. Par note interne du 30 juin 2008, l'OAI a indiqué qu'il avait reçu une dénonciation aux termes de laquelle A._ serait actif au sein de plusieurs sociétés. Cette dénonciation était susceptible de remettre en cause le droit aux prestations. A._ a cherché à plusieurs reprises à obtenir une copie de cette lettre et à en connaître l'auteur. Seul le contenu général de cette lettre lui a été communiqué. A l'issue de la procédure, l'OAI a accordé à A._, pour le 1er juillet 2012, une rente entière calculée comme précédemment sur la base d'un degré d'invalidité de 97%. Par la suite, il a été procédé au versement rétroactif de la rente dès le 1er juin 2004.
B.
Le 5 septembre 2012, A._ a demandé à l'OAI de lui communiquer le nom de l'auteur de la lettre de dénonciation; cela lui a été refusé une première fois le 10 décembre 2012, puis par décision formelle du 19 mars 2013. L'intéressé a recouru auprès de la Cour cantonale des assurances sociales, laquelle s'est déclarée incompétente et a transmis la cause au Tribunal administratif fédéral (ci-après: le TAF).
Par arrêt du 28 janvier 2015, le TAF a rejeté le recours. En tant qu'établissement cantonal accomplissant des tâches de droit public confiées par la Confédération, l'OAI était soumis aux exigences de la loi fédérale sur la protection des données (LPD, RS 235.1). La procédure d'octroi de la rente étant close, il n'y avait pas lieu de s'interroger sur le droit d'accès découlant des garanties de procédure. En matière d'AI, les dénonciations pouvaient constituer des sources d'information utiles pour l'autorité, et pouvaient revêtir un effet dissuasif à l'égard d'éventuels fraudeurs. En l'occurrence, il n'apparaissait pas que le dénonciateur ait agi par pure malveillance. Le requérant n'avait pas d'intérêt particulier à rectifier des données dans le cadre de la procédure d'AI puisqu'il avait obtenu une rente entière ainsi que le rétroactif; la question des intérêts moratoires pouvait être résolue indépendamment de l'identité du dénonciateur. Une action en dom-mages-intérêts contre ce dernier paraissait improbable à défaut d'un dommage démontré et d'un lien de causalité avec la dénonciation.
C.
Par acte du 26 février 2015, A._ forme un recours intitulé "de droit administratif et de droit constitutionnel" par lequel il demande l'annulation de l'arrêt du TAF et le renvoi de la cause à cette juridiction pour complément d'enquête et nouveau jugement.
Le TAF a renoncé à se déterminer sur le recours. L'OAI conclut au rejet du recours. Le Préposé fédéral à la protection des données et à la transparence (ci-après: PFPDT) estime que l'OAI, tout en accomplissant des tâches de droit public fédéral, serait un organe cantonal soumis au droit cantonal de protection des données et à l'autorité cantonale compétente.
Les parties et le TAF ont été invités à se déterminer sur cette prise de position. Seul le recourant l'a fait. Acquiesçant aux considérations du PFPDT, il a modifié ses conclusions et demande désormais au Tribunal fédéral de constater que le litige est soumis non à la LPD mais au droit cantonal de protection des données, d'annuler l'arrêt du TAF et de renvoyer la cause au Tribunal cantonal vaudois, les frais de justice et les dépens étant à la charge de l'Etat.

Considérant en droit :
1.
Le recours en matière de droit public est ouvert, conformément à l'art. 82 LTF contre les décisions rendues dans les causes de droit public. Tel est le cas de la présente cause en tant qu'elle porte sur l'application de la LPD. L'arrêt attaqué émane du Tribunal administratif fédéral (art. 86 al. 1 let. a LTF). Le recourant a participé à la procédure devant les instances précédentes et dispose d'un intérêt digne de protection. Il a donc qualité pour recourir (art. 89 al. 1 LTF). L'intitulé inexact du recours ne prête pas à conséquence.
Le recours ordinaire étant ouvert, le recours constitutionnel subsidiaire est irrecevable (art. 113 LTF).
2.
Dans ses déterminations, le PFPDT estime que l'OAI ne serait pas un organe fédéral au sens de la LDP, mais un organe cantonal de droit public exécutant des tâches de droit public fédéral; le litige devait par conséquent être tranché par l'autorité cantonale en application du droit cantonal sur la protection des données, pour autant que le niveau de protection soit suffisant (art. 37 LPD).
2.1. Selon l'art. 2 al. 1 let. b LPD, la loi fédérale régit le traitement de données concernant des personnes physiques et morales effectué par les organes fédéraux. L'art. 3 let. h LPD précise que, par organe fédéral, il faut entendre l'autorité ou le service fédéral ainsi que la personne en tant qu'elle est chargée d'une tâche de la Confédération. Il s'agit en premier lieu des autorités énumérées à l'art. 2 de la loi fédérale du 21 mars 1997 sur l'organisation du gouvernement et de l'administration (LOGA; RS 172.010), de toutes les unités décentralisées de la Confédération (cf. art. 8 et annexe 1 de l'ordonnance du 25 novembre 1998 sur l'organisation du gouvernement et de l'administration [OLOGA; RS 172.010.1]), ainsi que toutes les organisations et personnes de droit public ou privé, extérieures à l'administration fédérale (art. 2 al. 4 LOGA), mais qui sont chargées de tâches de la Confédération, dans la mesure où le traitement de données est nécessaire à l'accomplissement de ces tâches (MAURER-LAMBROU/KUNZ, Datenschutzgesetz Öffentlichkeitgesetz, 3 ème éd. Bâle 2014, n o 14 ad art. 2). Il en va ainsi par exemple des assureurs maladie et accident (<ref-ruling>, 473; MAURER-LAMBROU/KUNZ, op. cit. n os 15 et 16 ad art. 2).
En revanche, les organes cantonaux et communaux, soit l'ensemble des autorités et services de l'administration cantonale, ne sont pas soumis à la LPD, même s'ils sont chargés de l'exécution de tâches de la Confédération (<ref-ruling> consid. 2 p. 155 ss; MAURER-LAMBROU/KUNZ, op. cit n° 17; Basler Kommentar zum DSG, n° 30 ad art. 3; BUNTSCHU, Kommentar zum Schweizerischen Datenschutz-gesetz, Bâle 1995, n° 30 ad art. 2; BELSER/EPINEY/WALDMANN, Datenschutzrecht, Berne 2011 n° 48 p. 316). Le législateur a ainsi voulu respecter le souveraineté organisationnelle des cantons (FF 1988 II 440-441, 453; RUDIN/BAERISWYL Praxiskommentar zum Informations- und Datenschutzgesetz des Kantons Basel-Stadt, Bâle 2014, n° 48 p. 22).
2.2. La création des offices AI cantonaux est prévue à l'art. 54 al. 1 de la loi fédérale sur l'assurance-invalidité (LAI, RS 831.20). Elle se fait sur la base de conventions entre la Confédération et les cantons. Constitués sous la forme d'établissements cantonaux de droit public, les offices sont dotés de la personnalité juridique (art. 54 al. 2 LAI) et leurs attributions sont fixées à l'art. 57 LAI. Selon la loi vaudoise instituant l'office de l'assurance-invalidité pour le canton de Vaud, du 14 septembre 1993 (LOAI; RS/VD 831.01), l'OAI est un établissement autonome de droit public doté de la personnalité morale, dont le domicile est au siège de son administration (art. 1 al. 2 LOAI). Il exécute les tâches que lui attribue la LAI (art. 2 al. 1 LOAI) ainsi que d'autres tâches à but social (al. 3). Il est placé sous la surveillance d'un conseil présidé par le chef du département cantonal de l'action sociale. Les membres de ce conseil sont nommés par le Conseil d'Etat (art. 4 LOAI). Le directeur de l'OAI est également nommé par le Conseil d'Etat. Le conseil adopte le règlement de l'OAI "fondé sur l'application par analogie de la loi sur le personnel de l'Etat de Vaud" (art. 6 LOAI). Le personnel est affilié à la caisse de pension de l'Etat (art. 7 LOAI). Les frais de fonctionnement relatifs à l'application de l'AI sont pris en charge conformément à l'art. 67 LAI, alors que les autres tâches à but social sont à la charge du canton (art. 8 LOAI). La responsabilité pour les dommages est régie par l'art. 78 LPGA (auquel renvoient les art. 66 LAI et 10 LOAI), disposition spéciale relevant de la responsabilité étatique (<ref-ruling> consid. 1.2.2 p. 141).
L'office AI a pour charge essentielle l'application du droit. Il n'est pas appelé à gérer des ressources et à fournir lui-même, grâce à celles-ci, des prestations, comme le serait un établissement indépendant. Son autonomie est ainsi limitée à la liberté d'appréciation dont il bénéficie dans l'application du droit fédéral et le traitement des dossiers. Compte tenu de la surveillance à laquelle il est soumis, du mode de nomination de son conseil et de son président, du statut de ses employés, l'office AI constitue une entité cantonale administrative décentralisée (cf., pour la Confédération, art. 7a OLOGA; BAERISWYL/ RUDIN, Praxiskommentar zum Informations- und Datenschutzgesetz des Kantons Zurich, Zurich 2012, n° 5 ad § 3). Ce rattachement implique que la LPD n'est pas applicable, même si l'OAI effectue essentiellement une tâche d'application du droit fédéral.
2.3. La demande d'accès ne devait dès lors pas être traitée en application de la LPD mais du droit cantonal, soit en l'occurrence la loi vaudoise sur la protection des données personnelles (LPrD, RS/VD 172.65), ainsi que l'a d'ailleurs fait l'OAI. Il en découle également que le recours devait être formé auprès de la Cour compétente du Tribunal cantonal, soit la Cour de droit administratif et public (art. 31 al. 1 LPrD). Certes, le recours initial a été transmis au TAF en application d'un arrêt de dessaisissement de la Cour cantonale des assurances sociales, lequel n'a pas fait l'objet d'un recours (alors qu'il s'agit d'une décision sur la compétence directement attaquable en vertu de l'art. 92 LTF) et est dès lors entré en force. Le TAF n'était toutefois pas lié par cet arrêt et devait examiner d'office et librement sa compétence, ce qu'il a d'ailleurs fait en aboutissant à une conclusion erronée.
2.4. Rendu par une juridiction incompétente, l'arrêt attaqué doit être annulé (la nullité ne saurait être prononcée que dans les cas les plus évidents). Le Tribunal fédéral pourrait certes renoncer à une telle sanction lorsque les parties ne se plaignent pas de l'incompétence de l'autorité intimée et lorsque le renvoi à l'autorité compétente constituerait un inutile détour, la cause étant en l'état d'être jugée. Tel n'est pas le cas en l'espèce, dès lors que la juridiction cantonale devra se prononcer pour la première fois en application du droit cantonal. Dans ses nouvelles conclusions, le recourant demande d'ailleurs que la cause soit transmise à la juridiction cantonale compétente.
3.
Sur le vu de ce qui précède, le recours est admis au sens des considérants et l'arrêt attaqué est annulé. La cause est renvoyée à la Cour de droit administratif et public du Tribunal cantonal vaudois, comme objet de sa compétence. Les arguments de fond n'ont dès lors pas à être examinés, sauf à priver le recourant d'un degré de juridiction. Le recourant n'ayant pas agi par un mandataire professionnel, il n'a pas droit à des dépens. Devant le TAF, il était représenté par des avocats. Il n'y a toutefois pas lieu de renvoyer la cause à cette juridiction pour l'octroi d'éventuels dépens, dès lors que l'arrêt attaqué aurait dû être un simple arrêt incident de dessaisissement, ne statuant pas sur le fond. Il n'est pas perçu de frais judiciaires (art. 66 al. 4 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis au sens des considérants et l'arrêt attaqué est annulé. La cause est renvoyée à la Cour de droit administratif et public du Tribunal cantonal vaudois, comme objet de sa compétence.
2.
Il n'est pas perçu de frais judiciaires ni alloué de dépens.
3.
Le présent arrêt est communiqué au recourant, à l'Office de l'assurance-invalidité pour le canton de Vaud, au Tribunal administratif fédéral, Cour I, à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud et au Préposé fédéral à la protection des données et à la transparence.
Lausanne, le 17 juillet 2015
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Merkli
Le Greffier : Kurz