Faits : A. Sur dénonciation de l'Administration fédérale des contributions (AFC), le Procureur général du canton du Valais (ci-après: le Procureur) a ouvert une enquête contre A._ pour faux et usage de faux (art. 251 CP et 186 al. 1 LIFD). La cause a ensuite été transmise aux autorités pénales vaudoises et, le 16 juillet 2014, le Ministère public central du canton de Vaud a rendu une ordonnance pénale condamnant A._ à 180 jours-amende à 300 fr. avec sursis. Cette ordonnance a fait l'objet d'une opposition tant de la part de A._ que du Service cantonal des contributions (SCC). Le 16 juillet 2014, le SCC a par ailleurs formé une nouvelle dénonciation pénale en Valais portant sur des infractions qui n'auraient pas été traitées dans l'ordonnance pénale. Le 27 août 2014, le Procureur a suspendu l'instruction jusqu'à droit connu sur l'opposition contre cette ordonnance. B. Par courrier du 10 septembre 2014 - précédé d'un échange de lettres -, A._ a requis la récusation du Procureur. Une dénonciation pénale pour gestion déloyale des intérêts publics avait été déposée par un avocat valaisan à l'encontre de ce magistrat, auquel il était reproché de s'être débarrassé du dossier pénal en faveur des autorités vaudoises; le magistrat pourrait être tenté de se montrer particulièrement sévère envers A._ afin de contester ces reproches. Par ailleurs, le Procureur avait eu des contacts personnels avec un membre de l'AFC lors du dépôt, en mains propres, de la dénonciation. La demande de récusation a été transmise à la Chambre pénale du Tribunal cantonal du canton du Valais qui, par ordonnance du 5 décembre 2014, l'a rejetée: dès lors qu'une plainte pouvait être déposée en mains propres de l'autorité, voire même oralement, la rencontre avec le représentant de l'AFC et la prise de contact téléphonique préalable (le Procureur contestait tout autre contact avec cette personne) n'était pas critiquable; il n'y avait pas lieu de rechercher si ce motif de récusation avait été soulevé en temps utile. La décision de dessaisissement du Procureur en faveur des autorités vaudoises avait été confirmée par le Tribunal pénal fédéral, de sorte que le magistrat n'avait rien à craindre de la plainte déposée contre lui. C. Agissant par la voie d'un recours en matière pénale, A._ demande au Tribunal fédéral d'annuler l'ordonnance de la Chambre pénale et d'admettre la récusation du Procureur. La Chambre pénale et le Procureur concluent au rejet du recours. Le recourant a répliqué, persistant notamment dans ses conclusions. Le Procureur et la Chambre pénale ont renoncé à des observations supplémentaires.