Faits : A. Le Ministère public du canton du Valais mène une instruction pénale contre B.B._ pour abus de confiance, gestion déloyale, escroquerie et/ou faux dans les titres, sur plainte de la Banque D._. Il est reproché au prévenu d'avoir, en tant que gestionnaire de fortune, détourné environ 1 million de francs depuis les comptes d'une dizaine de clients de la banque en créditant et débitant ces comptes sans autorisation. Le 18 janvier 2012, le compte détenu par A._ a été bloqué. Il avait été crédité à neuf reprises par le prévenu entre 2003 et 2009, pour un total de 497'731 fr. Le 4 décembre 2014, A._ a déposé une requête en constitution de partie plaignante. Le 6 août 2015 - après l'admission d'un recours pour déni de justice -, le Ministère public lui a dénié la qualité de lésé et de partie plaignante. Son compte n'avait pas été débité par le comportement du prévenu. Par ailleurs, les avoirs déposés appartenaient à la banque, seule lésée, la créance du client n'étant pas mise en danger. B. Par ordonnance du 19 avril 2016, la Chambre pénale du Tribunal cantonal du canton du Valais a confirmé la décision du Ministère public. A._ n'avait pas subi d'atteinte personnelle immédiate en raison des actes d'abus de confiance, d'escroquerie et de gestion déloyale reprochés au prévenu; son compte n'avait connu que des opérations de crédit et il n'y avait pas de mise en péril de sa créance auprès de la banque. Le séquestre opéré sur le compte lui conférait la qualité de tiers touché au sens de l'art. 105 CPP, mais pas de lésé. Les faux dans les titres reprochés au prévenu n'avaient pas non plus occasionné d'atteinte directe. C. Par acte du 20 mai 2016, A._ forme un recours en matière pénale par lequel il demande au Tribunal fédéral de réformer l'ordonnance du 19 avril 2016 en ce sens que la qualité de lésé et de partie plaignante lui est reconnue, et de prendre acte du fait que le recourant chiffrera ses prétentions lorsque l'étendue du dommage sera connue, ainsi que du fait qu'il se réserve le droit de demander une indemnisation pour tort moral. Subsidiairement, il conclut au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. La cour cantonale se réfère à son ordonnance, sans observations. Le Ministère public conclut à la confirmation de l'ordonnance attaquée. La Banque D._ conclut au rejet du recours, les autres intimés n'ayant pas procédé. Les parties n'ont pas déposé d'autres déterminations.