Faits : A. X._ et B._ sont associés et gérants de C._ Sàrl. Cette société avait été chargée de la construction en éléments préfabriqués d'une dépendance à D._ en Valais. X._ était responsable du chantier. Les éléments préfabriqués devaient être amenés par un des hélicoptères de la société de transport aérien E._ SA. L'hélicoptère utilisé était de type Écureuil, le plus puissant dont disposait la compagnie. Celle-ci avait délégué quatre assistants de vol sur place. N.A._ était l'un d'eux. Il avait le rôle de chef d'équipe et était notamment chargé de donner les instructions et de diriger l'hélicoptère piloté par un tiers. X._ a discuté avec N.A._ et un autre assistant de vol, F._. N.A._ devait coordonner les opérations avec le pilote et avec X._, la liaison avec ce dernier se faisant par signe. Seul N.A._ donnait des ordres au pilote. Il appartenait en revanche à X._ de déterminer quand l'élément était en place et pouvait être libéré de ses élingues, puis de le communiquer par signe à N.A._. Celui-ci donnait alors au pilote l'ordre de perdre un peu d'altitude pour permettre le décrochement des élingues, travail effectué par G._, employé de C._ Sàrl. Une fois l'opération terminée, N.A._ signalait au pilote qu'il pouvait aller chercher la paroi suivante. Il n'était pas possible de fixer au moyen de vis l'élément posé par l'hélicoptère avant que celui-ci ne fût parti en raison des vibrations provoquées par le brassage d'air généré par l'engin. Il fallait donc s'assurer que l'élément tienne en équilibre après le décrochement des élingues, ce qui était fait à la main. Le 1er septembre 2009, le plancher a été héliporté et posé. Le 2 septembre 2009, les six premiers éléments de paroi ont été amenés et posés selon ce procédé. N.A._ a aidé B._ à fixer ces éléments dès que l'hélicoptère s'est éloigné. Après la mise en place de la deuxième paroi, constatant un fort brassage d'air, X._ a demandé d'allonger les élingues, de 58 à 78 mètres. Quoique diminué, le brassage était encore suffisamment intense pour empêcher la fixation des parois avant que l'hélicoptère ne se fût éloigné. La septième paroi, soit la première des deux parois destinées à la façade sud du bâtiment, la paroi sud-ouest, devait ensuite être posée. Selon le mode opératoire choisi, celle-ci venait à l'extrémité du plancher s'appuyer à l'équerre contre la paroi latérale préalablement fixée. Elle ne pouvait par conséquent pas basculer à l'intérieur de la construction, mais pouvait, avant d'être fixée, être poussée vers l'extérieur. Lorsque l'hélicoptère est arrivé avec la paroi, B._ et N.A._ se trouvaient à l'extérieur de la construction pour aider à la mettre en place. X._ était à l'intérieur avec G._ et deux autres assistants de vol, F._ et H._. Conformément au procédé adopté, quand la paroi a été posée à l'emplacement adéquat, mais non encore fixée, X._ a jugé qu'elle pouvait être décrochée, ce qu'il a communiqué à N.A._ par la fenêtre, qui a à son tour invité le pilote à perdre un peu d'altitude pour permettre le décrochement des élingues. X._ a donné ordre à G._ d'y procéder. L'opération achevée, X._ a vu N.A._ se déplacer devant la paroi en direction de Sion, vers l'est, puis l'a entendu à la radio parler de sangles. N.A._ a en effet quitté l'emplacement qu'il occupait avec B._, a longé par l'extérieur la paroi en équilibre pour rejoindre H._. Il a ensuite dirigé l'opération de récupération des sangles depuis l'intérieur du bâtiment avant de communiquer au pilote qu'il pouvait repartir. Le souffle provoqué par le départ de l'hélicoptère a suffi à initier un mouvement de bascule de la paroi vers l'extérieur. Ni G._, encore juché sur l'échelle depuis laquelle il avait décroché les élingues, ni H._ qui tenait la paroi par la tranche, à l'angle sud-est, n'ont pu empêcher la chute. N.A._, qui revenait à son point de départ, à l'extérieur près de B._, a tenté vainement de s'écarter de la paroi. Il a reçu celle-ci sur lui et est décédé des suites du choc. B. Par jugement du 2 octobre 2012, le juge des districts de Martigny et Saint-Maurice a acquitté X._ du chef d'accusation d'homicide par négligence (art. 117 CP) et renvoyé les parties civiles à agir par la voie civile. En bref, cette autorité a estimé que X._, à qui il était reproché des omissions, n'occupait pas une position de garant vis-à-vis de N.A._, spécialement formé aux dangers spécifiques du travail au moyen d'un hélicoptère. De plus, X._ n'avait violé aucune règle de sécurité en adoptant la technique de travail utilisée ce jour-là sur le chantier et aucune négligence ne pouvait lui être reprochée. Dans tous les cas, le comportement totalement inattendu adopté par N.A._ constituait une circonstance tout à fait exceptionnelle reléguant à l'arrière-plan toute faute éventuelle de X._. C. Par jugement du 5 février 2014, la Cour pénale I du Tribunal cantonal du canton du Valais a admis l'appel du ministère public et admis partiellement celui de A.A._, B.A._ et C.A._, parties plaignantes. Elle a condamné X._ pour homicide par négligence à une peine privative de liberté de 20 jours-amende, à 50 fr. le jour, avec sursis pendant deux ans. X._ était astreint à verser des indemnités pour tort moral à la veuve et aux enfants de N.A._, les autres prétentions civiles étant renvoyées au for civil. D. X._ forme un recours en matière pénale contre ce jugement. Il conclut, avec suite de frais et dépens, à son acquittement et au versement de 4'500 fr. pour le dommage économique subi au titre de participation obligatoire à la procédure. Subsidiairement, il requiert la réduction des indemnités pour tort moral octroyées et le versement précité. L'autorité précédente et le ministère public ont renoncé à se déterminer. A.A._, B.A._ et C.A._ ont conclu, avec suite de frais et dépens, au rejet du recours.