Faits : A. Le 3 juin 2015, l'office régional du Ministère public du Bas-Valais a rendu une ordonnance de non-entrée en matière dans la procédure consécutive au décès de X.C._ à la suite d'un accident survenu le 29 janvier 2015. X.C._ a été emportée par une avalanche alors qu'elle skiait avec un groupe d'amis sur le domaine de la station de F._. Par lettre du 10 février 2015, X.A._ et X.B._, père respectivement frère de la victime, avaient annoncé leur participation à la procédure en qualité de partie plaignante et réservé la possibilité de déposer ultérieurement des conclusions civiles. B. Par ordonnance du 25 février 2016, la Chambre pénale du Tribunal cantonal valaisan a rejeté le recours formé par X.A._ et X.B._ contre l'ordonnance du ministère public. C. X.A._ et X.B._ forment un recours en matière pénale au Tribunal fédéral contre l'ordonnance de la Chambre pénale. Ils concluent, avec suite de dépens, à l'annulation de l'ordonnance attaquée et au renvoi de la cause au Ministère public du Bas-Valais pour qu'il ouvre une instruction contradictoire. D. Invités à présenter des observations, le ministère public et la cour cantonale ont renoncé à se déterminer et se sont référés aux considérants de l'ordonnance attaquée. D._ a conclu au rejet du recours, avec suite de frais et dépens. Enfin, E._ SA a conclu, avec suite de frais et dépens également, au rejet du recours dans la mesure où il est recevable.