Faits :
A.
Sur dénonciation de l'Administration fédérale des contributions (AFC), le Procureur général du canton du Valais (ci-après: le Procureur) a ouvert une enquête contre A._ pour faux et usage de faux (<ref-law> et 186 al. 1 LIFD). La cause a ensuite été transmise aux autorités pénales vaudoises et, le 16 juillet 2014, le Ministère public central du canton de Vaud a rendu une ordonnance pénale condamnant A._ à 180 jours-amende à 300 fr. avec sursis. Cette ordonnance a fait l'objet d'une opposition tant de la part de A._ que du Service cantonal des contributions (SCC). Le 16 juillet 2014, le SCC a par ailleurs formé une nouvelle dénonciation pénale en Valais portant sur des infractions qui n'auraient pas été traitées dans l'ordonnance pénale. Le 27 août 2014, le Procureur a suspendu l'instruction jusqu'à droit connu sur l'opposition contre cette ordonnance.
B.
Par courrier du 10 septembre 2014 - précédé d'un échange de lettres -, A._ a requis la récusation du Procureur. Une dénonciation pénale pour gestion déloyale des intérêts publics avait été déposée par un avocat valaisan à l'encontre de ce magistrat, auquel il était reproché de s'être débarrassé du dossier pénal en faveur des autorités vaudoises; le magistrat pourrait être tenté de se montrer particulièrement sévère envers A._ afin de contester ces reproches. Par ailleurs, le Procureur avait eu des contacts personnels avec un membre de l'AFC lors du dépôt, en mains propres, de la dénonciation. La demande de récusation a été transmise à la Chambre pénale du Tribunal cantonal du canton du Valais qui, par ordonnance du 5 décembre 2014, l'a rejetée: dès lors qu'une plainte pouvait être déposée en mains propres de l'autorité, voire même oralement, la rencontre avec le représentant de l'AFC et la prise de contact téléphonique préalable (le Procureur contestait tout autre contact avec cette personne) n'était pas critiquable; il n'y avait pas lieu de rechercher si ce motif de récusation avait été soulevé en temps utile. La décision de dessaisissement du Procureur en faveur des autorités vaudoises avait été confirmée par le Tribunal pénal fédéral, de sorte que le magistrat n'avait rien à craindre de la plainte déposée contre lui.
C.
Agissant par la voie d'un recours en matière pénale, A._ demande au Tribunal fédéral d'annuler l'ordonnance de la Chambre pénale et d'admettre la récusation du Procureur.
La Chambre pénale et le Procureur concluent au rejet du recours. Le recourant a répliqué, persistant notamment dans ses conclusions. Le Procureur et la Chambre pénale ont renoncé à des observations supplémentaires.

Considérant en droit :
1.
Conformément aux art. 78 et 92 al. 1 LTF, une décision prise en dernière instance cantonale relative à la récusation d'un procureur dans une procédure pénale peut faire immédiatement l'objet d'un recours en matière pénale, malgré son caractère incident. L'auteur de la demande de récusation débouté a qualité pour agir en vertu de l'<ref-law>. Le recours a été déposé en temps utile.
2.
Le recourant se plaint d'établissement inexact des faits et de violations de son droit d'être entendu. Il reproche en premier lieu à la décision attaquée de mêler faits et droit, sans énoncer les faits qui ont été retenus et ceux qui ont été écartés. Le recourant se contente toutefois d'affirmations générales, sans prétendre que la décision attaquée ne satisferait pas aux exigences de l'<ref-law>. Les motifs de l'ordonnance attaquée ont manifestement permis au recourant de faire valoir l'ensemble de ses arguments de fond, de sorte que l'obligation formelle de motiver est respectée.
2.1. Le recourant reproche aussi à la cour cantonale de lui avoir refusé l'accès au dossier au motif que sa première audition n'avait pas encore eu lieu. Le recourant relève que la cause pénale repose sur les mêmes faits que ceux pour lesquels il a déjà largement été entendu, et qui ont été entièrement instruits. Il demandait par ailleurs l'audition de l'avocat valaisan auteur de la plainte dirigée contre le magistrat, ainsi que la production du dossier y relatif.
2.1.1. Le droit d'être entendu (art. 29 al. 1 Cst.) garantit notamment le droit pour l'intéressé de prendre connaissance du dossier (cf. art. 3 al. 2 let. c, 101 et 107 CPP) et de participer à l'administration des preuves essentielles (cf. <ref-law>). Le prévenu doit ainsi pouvoir consulter le dossier pour connaître préalablement les éléments dont dispose l'autorité et jouir ainsi d'une réelle possibilité de faire valoir ses arguments dans une procédure. L'<ref-law> prévoit que les parties peuvent consulter le dossier d'une procédure pendante au plus tard après la première audition du prévenu et l'administration des preuves principales par le ministère public, l'<ref-law> étant réservé.
2.1.2. En l'occurrence, l'objet de la cause est limité à une requête de récusation fondée d'une part sur des contacts préalables entre le Procureur et le représentant de l'AFC, et d'autre part sur une plainte pénale déposée par un avocat valaisan, susceptible selon le recourant d'influencer l'attitude du magistrat. Le premier élément concerne non pas le dossier dont est actuellement saisi le Procureur, mais la précédente procédure qui a fait l'objet d'une ordonnance pénale rendue par l'autorité vaudoise; la plainte de l'avocat valaisan fait elle aussi l'objet d'une procédure distincte, confiée à un procureur extraordinaire. Rien ne permet donc de penser que le dossier pénal actuellement pendant contiendrait des éléments susceptibles de se rapporter à ces deux griefs, à propos desquels le magistrat a pris position conformément à l'<ref-law>. La cour cantonale a d'ailleurs énuméré exhaustivement les éléments que contient le dossier pénal dans son état actuel et le recourant ne prétend pas que l'un d'entre eux pourrait se révéler pertinent pour le traitement de sa demande de récusation. Il ne se justifiait dès lors pas d'accorder l'accès au dossier à ce stade, alors qu'aucune des conditions cumulatives de l'<ref-law> n'est réalisée.
2.1.3. La production du dossier pénal relatif à la plainte dirigée contre le magistrat, et l'audition de son auteur ne se justifiaient pas non plus. Les griefs soulevés par cette plainte sont en effet connus; ils ressortent notamment d'un article paru dans le Nouvelliste dans lequel l'auteur explique sa démarche à l'encontre du Procureur, à qui il reproche de s'être débarrassé du dossier en faveur des autorités vaudoises, de sorte que le recourant aurait échappé à une condamnation pour soustraction des impôts cantonaux et communaux. Ces reproches sont aussi clairement énoncés dans une page du blog tenu par l'intéressé, produite par le recourant à l'appui de sa demande de récusation. Leur teneur paraît ainsi suffisamment connue et il ne se justifiait pas d'ordonner la production du dossier pénal y relatif, alors que les conditions posées à l'<ref-law> (et à l'<ref-law>, s'agissant d'une procédure distincte) ne paraissaient pas non plus réunies.
2.2. Le recourant se plaint également à tort d'établissement inexact des faits: en retenant que le Procureur n'avait eu que deux contacts avec le représentant de l'AFC, la cour cantonale s'est fondée sur les explications que l'intéressé a données dans le cadre de ses observations; faute d'élément concret permettant de douter de ces explications, la cour cantonale n'avait pas à instruire plus avant sur cette question. Il en va de même s'agissant de la procédure dirigée contre le Procureur, dans la mesure où la teneur de la plainte était suffisamment connue.
Les griefs d'ordre formel doivent par conséquent être écartés.
3.
Sur le fond, le recourant soutient que la plainte déposée contre le Procureur, dans laquelle il est reproché à ce magistrat d'oeuvrer au détriment de la collectivité, en faveur du recourant, pourrait inciter le magistrat à faire preuve d'une sévérité accrue à son égard, comme il l'aurait déjà fait en admettant sa propre compétence. La cour cantonale ne pouvait juger cette plainte pénale manifestement mal fondée dès lors qu'on en ignore le contenu exact. Elle n'aurait pas non plus tenu compte de la campagne de presse entourant l'affaire.
3.1. Un magistrat est récusable pour l'un des motifs prévus aux art. 56 let. a à e CPP. Il l'est également, selon l'art. 56 let. f CPP, lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil, sont de nature à le rendre suspect de prévention. Cette disposition a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres précédentes. Elle correspond à la garantie d'un tribunal indépendant et impartial instituée par les art. 30 Cst. et 6 CEDH. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du magistrat est établie, car une disposition interne de sa part ne peut guère être prouvée. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération. Les impressions purement individuelles de l'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 5.1 p. 125; <ref-ruling> consid. 2.1 p. 144 et les arrêts cités).
La jurisprudence n'admet que restrictivement un cas de récusation lorsqu'un magistrat est pris à partie, pénalement ou non. Le fait qu'une partie s'en prenne violemment à un juge trahit certainement l'inimitié que celle-là nourrit à l'endroit de celui-ci, mais cela ne permet pas de présumer qu'un tel sentiment soit réciproque. Ces attaques n'ont pas, d'un point de vue objectif, pour effet de faire naître une apparence de prévention du magistrat en cause envers l'auteur de l'atteinte; en décider autrement reviendrait à ouvrir aux quérulents la possibilité d'influencer la composition du tribunal en tenant des propos insultants vis-à-vis du juge dont ils récusent la participation. Il en va différemment lorsque le magistrat atteint dans sa personnalité réagit en déposant à son tour une plainte pénale; le conflit prend alors une tournure personnelle et apparaît objectivement de nature à entacher l'impartialité du juge lors d'une autre procédure impliquant son adversaire (<ref-ruling> consid. 4.3.2 p. 22).
3.2. En l'occurrence, le Procureur se trouve mis en cause non par une partie, mais par un tiers, dans sa manière de mener l'instruction à l'égard du recourant. Les reproches émis dans la plainte pénale déposée à ce sujet se rapportent à des faits passés, soit à la manière dont a été gérée la première procédure, finalement déléguée aux autorités vaudoises. Comme le relève à juste titre la cour cantonale, la délégation de la poursuite aux autorités vaudoise a été confirmée par décision du Tribunal pénal fédéral du 12 mars 2014. En outre, on ne voit pas en quoi une attitude particulière du Procureur dans la procédure pendante pourrait lui permettre de répondre aux reproches qui lui sont faits dans la plainte pénale, dans la mesure où il s'agit de reproches ayant trait à une précédente procédure. Il y a lieu au contraire de considérer qu'un magistrat professionnel sera à même de poursuivre l'instruction dont il est chargé en faisant abstraction des griefs formulés par un tiers, au même titre qu'il le ferait à l'égard de critiques émises par une partie ou dans la presse. En l'état, la nouvelle procédure se trouve suspendue jusqu'à droit jugé sur l'opposition à l'ordonnance pénale prononcée dans le canton de Vaud; on ne trouve dès lors aucun indice de la sévérité accrue redoutée par le recourant.
3.3. Le recourant estime que le Procureur devrait être entendu comme témoin dans la nouvelle procédure, à propos des contacts entretenus avec le représentant de l'AFC qui avait déposé la plainte pénale de 2013, afin de résoudre les questions relatives au for et à l'autorité de la chose jugée. On ne voit toutefois pas en quoi un tel témoignage serait pertinent; il appartiendra le cas échéant au magistrat de s'expliquer à ce propos dans le cadre des décisions formelles qu'il pourra rendre sur ces différentes questions, décisions que le recourant pourra éventuellement contester. Le grief doit lui aussi être écarté.
3.4. Il en va de même des reproches relatifs aux contacts entre le Procureur et le représentant de l'AFC. Ces reproches portent sur des faits relatifs à la première procédure, dans le cadre de laquelle le magistrat s'est dessaisi et n'a donc pas statué sur le fond. Les explications données par le Procureur à ce sujet apparaissent à tout le moins crédibles, et ne nécessitaient pas, contrairement à ce que soutient le recourant, d'instruction supplémentaire.
4.
Sur le vu de ce qui précède, le recours doit être rejeté, aux frais de son auteur (<ref-law>). Conformément à l'<ref-law>, il n'est pas alloué de dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Juge unique de la Chambre pénale du Tribunal cantonal du canton du Valais.
Lausanne, le 1 er mai 2015
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
Le Greffier : Kurz