Faits : A. Le 26 mai 2008, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: OAI) a informé A._ qu'il envisageait de lui accorder une rente entière à compter du 1 er juin 2004. L'intéressé s'est déterminé à ce propos. Par note interne du 30 juin 2008, l'OAI a indiqué qu'il avait reçu une dénonciation aux termes de laquelle A._ serait actif au sein de plusieurs sociétés. Cette dénonciation était susceptible de remettre en cause le droit aux prestations. A._ a cherché à plusieurs reprises à obtenir une copie de cette lettre et à en connaître l'auteur. Seul le contenu général de cette lettre lui a été communiqué. A l'issue de la procédure, l'OAI a accordé à A._, pour le 1er juillet 2012, une rente entière calculée comme précédemment sur la base d'un degré d'invalidité de 97%. Par la suite, il a été procédé au versement rétroactif de la rente dès le 1er juin 2004. B. Le 5 septembre 2012, A._ a demandé à l'OAI de lui communiquer le nom de l'auteur de la lettre de dénonciation; cela lui a été refusé une première fois le 10 décembre 2012, puis par décision formelle du 19 mars 2013. L'intéressé a recouru auprès de la Cour cantonale des assurances sociales, laquelle s'est déclarée incompétente et a transmis la cause au Tribunal administratif fédéral (ci-après: le TAF). Par arrêt du 28 janvier 2015, le TAF a rejeté le recours. En tant qu'établissement cantonal accomplissant des tâches de droit public confiées par la Confédération, l'OAI était soumis aux exigences de la loi fédérale sur la protection des données (LPD, RS 235.1). La procédure d'octroi de la rente étant close, il n'y avait pas lieu de s'interroger sur le droit d'accès découlant des garanties de procédure. En matière d'AI, les dénonciations pouvaient constituer des sources d'information utiles pour l'autorité, et pouvaient revêtir un effet dissuasif à l'égard d'éventuels fraudeurs. En l'occurrence, il n'apparaissait pas que le dénonciateur ait agi par pure malveillance. Le requérant n'avait pas d'intérêt particulier à rectifier des données dans le cadre de la procédure d'AI puisqu'il avait obtenu une rente entière ainsi que le rétroactif; la question des intérêts moratoires pouvait être résolue indépendamment de l'identité du dénonciateur. Une action en dom-mages-intérêts contre ce dernier paraissait improbable à défaut d'un dommage démontré et d'un lien de causalité avec la dénonciation. C. Par acte du 26 février 2015, A._ forme un recours intitulé "de droit administratif et de droit constitutionnel" par lequel il demande l'annulation de l'arrêt du TAF et le renvoi de la cause à cette juridiction pour complément d'enquête et nouveau jugement. Le TAF a renoncé à se déterminer sur le recours. L'OAI conclut au rejet du recours. Le Préposé fédéral à la protection des données et à la transparence (ci-après: PFPDT) estime que l'OAI, tout en accomplissant des tâches de droit public fédéral, serait un organe cantonal soumis au droit cantonal de protection des données et à l'autorité cantonale compétente. Les parties et le TAF ont été invités à se déterminer sur cette prise de position. Seul le recourant l'a fait. Acquiesçant aux considérations du PFPDT, il a modifié ses conclusions et demande désormais au Tribunal fédéral de constater que le litige est soumis non à la LPD mais au droit cantonal de protection des données, d'annuler l'arrêt du TAF et de renvoyer la cause au Tribunal cantonal vaudois, les frais de justice et les dépens étant à la charge de l'Etat.