Faits :
A.
X._ et B._ sont associés et gérants de C._ Sàrl. Cette société avait été chargée de la construction en éléments préfabriqués d'une dépendance à D._ en Valais. X._ était responsable du chantier. Les éléments préfabriqués devaient être amenés par un des hélicoptères de la société de transport aérien E._ SA. L'hélicoptère utilisé était de type Écureuil, le plus puissant dont disposait la compagnie. Celle-ci avait délégué quatre assistants de vol sur place. N.A._ était l'un d'eux. Il avait le rôle de chef d'équipe et était notamment chargé de donner les instructions et de diriger l'hélicoptère piloté par un tiers.
X._ a discuté avec N.A._ et un autre assistant de vol, F._. N.A._ devait coordonner les opérations avec le pilote et avec X._, la liaison avec ce dernier se faisant par signe. Seul N.A._ donnait des ordres au pilote. Il appartenait en revanche à X._ de déterminer quand l'élément était en place et pouvait être libéré de ses élingues, puis de le communiquer par signe à N.A._. Celui-ci donnait alors au pilote l'ordre de perdre un peu d'altitude pour permettre le décrochement des élingues, travail effectué par G._, employé de C._ Sàrl. Une fois l'opération terminée, N.A._ signalait au pilote qu'il pouvait aller chercher la paroi suivante. Il n'était pas possible de fixer au moyen de vis l'élément posé par l'hélicoptère avant que celui-ci ne fût parti en raison des vibrations provoquées par le brassage d'air généré par l'engin. Il fallait donc s'assurer que l'élément tienne en équilibre après le décrochement des élingues, ce qui était fait à la main.
Le 1er septembre 2009, le plancher a été héliporté et posé. Le 2 septembre 2009, les six premiers éléments de paroi ont été amenés et posés selon ce procédé. N.A._ a aidé B._ à fixer ces éléments dès que l'hélicoptère s'est éloigné. Après la mise en place de la deuxième paroi, constatant un fort brassage d'air, X._ a demandé d'allonger les élingues, de 58 à 78 mètres. Quoique diminué, le brassage était encore suffisamment intense pour empêcher la fixation des parois avant que l'hélicoptère ne se fût éloigné.
La septième paroi, soit la première des deux parois destinées à la façade sud du bâtiment, la paroi sud-ouest, devait ensuite être posée. Selon le mode opératoire choisi, celle-ci venait à l'extrémité du plancher s'appuyer à l'équerre contre la paroi latérale préalablement fixée. Elle ne pouvait par conséquent pas basculer à l'intérieur de la construction, mais pouvait, avant d'être fixée, être poussée vers l'extérieur. Lorsque l'hélicoptère est arrivé avec la paroi, B._ et N.A._ se trouvaient à l'extérieur de la construction pour aider à la mettre en place. X._ était à l'intérieur avec G._ et deux autres assistants de vol, F._ et H._. Conformément au procédé adopté, quand la paroi a été posée à l'emplacement adéquat, mais non encore fixée, X._ a jugé qu'elle pouvait être décrochée, ce qu'il a communiqué à N.A._ par la fenêtre, qui a à son tour invité le pilote à perdre un peu d'altitude pour permettre le décrochement des élingues. X._ a donné ordre à G._ d'y procéder.
L'opération achevée, X._ a vu N.A._ se déplacer devant la paroi en direction de Sion, vers l'est, puis l'a entendu à la radio parler de sangles. N.A._ a en effet quitté l'emplacement qu'il occupait avec B._, a longé par l'extérieur la paroi en équilibre pour rejoindre H._. Il a ensuite dirigé l'opération de récupération des sangles depuis l'intérieur du bâtiment avant de communiquer au pilote qu'il pouvait repartir. Le souffle provoqué par le départ de l'hélicoptère a suffi à initier un mouvement de bascule de la paroi vers l'extérieur. Ni G._, encore juché sur l'échelle depuis laquelle il avait décroché les élingues, ni H._ qui tenait la paroi par la tranche, à l'angle sud-est, n'ont pu empêcher la chute. N.A._, qui revenait à son point de départ, à l'extérieur près de B._, a tenté vainement de s'écarter de la paroi. Il a reçu celle-ci sur lui et est décédé des suites du choc.
B.
Par jugement du 2 octobre 2012, le juge des districts de Martigny et Saint-Maurice a acquitté X._ du chef d'accusation d'homicide par négligence (<ref-law>) et renvoyé les parties civiles à agir par la voie civile.
En bref, cette autorité a estimé que X._, à qui il était reproché des omissions, n'occupait pas une position de garant vis-à-vis de N.A._, spécialement formé aux dangers spécifiques du travail au moyen d'un hélicoptère. De plus, X._ n'avait violé aucune règle de sécurité en adoptant la technique de travail utilisée ce jour-là sur le chantier et aucune négligence ne pouvait lui être reprochée. Dans tous les cas, le comportement totalement inattendu adopté par N.A._ constituait une circonstance tout à fait exceptionnelle reléguant à l'arrière-plan toute faute éventuelle de X._.
C.
Par jugement du 5 février 2014, la Cour pénale I du Tribunal cantonal du canton du Valais a admis l'appel du ministère public et admis partiellement celui de A.A._, B.A._ et C.A._, parties plaignantes. Elle a condamné X._ pour homicide par négligence à une peine privative de liberté de 20 jours-amende, à 50 fr. le jour, avec sursis pendant deux ans. X._ était astreint à verser des indemnités pour tort moral à la veuve et aux enfants de N.A._, les autres prétentions civiles étant renvoyées au for civil.
D.
X._ forme un recours en matière pénale contre ce jugement. Il conclut, avec suite de frais et dépens, à son acquittement et au versement de 4'500 fr. pour le dommage économique subi au titre de participation obligatoire à la procédure. Subsidiairement, il requiert la réduction des indemnités pour tort moral octroyées et le versement précité.
L'autorité précédente et le ministère public ont renoncé à se déterminer. A.A._, B.A._ et C.A._ ont conclu, avec suite de frais et dépens, au rejet du recours.

Considérant en droit :
1.
Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313).
Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.2 p. 232). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 10.1 p. 445).
2.
Le recourant conteste sa condamnation pour homicide par négligence au sens de l'<ref-law>.
2.1. Au sens de cette disposition, est punissable celui qui, par négligence aura causé la mort d'une personne. La réalisation de cette infraction suppose donc la réunion de trois conditions: le décès d'une personne, une négligence et un lien de causalité naturel et adéquat entre la négligence et la mort (arrêt 6B_202/2007 du 13 mai 2008 consid. 5 non publié à l'<ref-ruling>).
2.2. L'homicide par négligence est une infraction de résultat qui suppose en règle générale un comportement actif. Il peut toutefois aussi être commis par un comportement passif contraire à une obligation d'agir (cf. <ref-law>).
2.2.1. Il n'est pas toujours facile de distinguer l'omission de la commission et on peut souvent se demander s'il faut reprocher à l'auteur d'avoir agi comme il ne devait pas le faire ou d'avoir omis d'agir comme il devait le faire. Pour apprécier, dans les cas limites, si un comportement constitue un acte ou le défaut d'accomplissement d'un acte, il faut s'inspirer du principe de la subsidiarité et retenir un délit de commission chaque fois que l'on peut imputer à l'auteur un comportement actif (<ref-ruling> consid. 2.2 p. 121 s. et les références citées). Il doit ainsi être en premier lieu déterminé s'il existe un comportement actif, qui est constitutif de l'infraction, illicite et fautif. Ne doivent être pris en compte que les comportements actifs qui causent ou augmentent le danger à l'origine du résultat et non ceux qui ne le diminuent pas (<ref-ruling> consid. 2a p. 204).
2.2.2. En l'espèce, l'autorité précédente a retenu que ce qui devait être examiné c'était l'action du recourant qui avait convenu d'un processus de mise en place des parois impliquant qu'il donnât le feu vert au décrochement des élingues en fonction du positionnement de l'élément et avant que celui-ci ne fût fixé. En d'autres termes, il s'agissait d'examiner si le recourant pouvait encourir un reproche pour avoir agi comme il l'avait fait (jugement entrepris, p. 8 ch. 5.2.2 2e paragraphe). Elle a par la suite uniquement reproché au recourant de n'avoir pas veillé à ce que personne n'accède à la zone potentiellement exposée, en donnant des directives précises assorties de mesures de surveillance (idem, p. 9).
Comme la motivation de l'autorité précédente exposée ci-dessus le montre bien, ce n'est pas le processus de mise en place des parois par le recourant - processus par ailleurs convenu avec N.A._ (idem, consid. 2.3 et 2.4 p. 4) - qui a été retenu à la charge du recourant, mais l'omission de mesures de sécurité permettant de réduire les risques inhérents audit processus. Le comportement reproché au recourant par l'autorité précédente consiste donc dans une omission et non dans une action. Le grief soulevé par le recourant quant à la violation de la maxime d'accusation, le recourant reprochant à l'autorité précédente d'avoir retenu une action et non une omission comme le faisait l'acte d'accusation, est ainsi infondé.
2.3. Au vu de ce qui précède, le recourant ne peut être condamné pour homicide par négligence que si l'omission de veiller à ce que personne n'accède à la zone potentiellement exposée, en donnant des directives précises assorties de mesures de surveillance, était d'une part contraire à une obligation d'agir (position de garant; <ref-law>) et d'autre part relevait d'une négligence de la part du recourant (<ref-law>). Ces deux questions peuvent toutefois rester ouvertes. En effet, les circonstances d'espèce imposent de retenir, dans tous les cas, une rupture du lien de causalité adéquate entre cette éventuelle négligence et la mort de N.A._, ce qui exclut la condamnation du recourant.
2.3.1. Il y a rupture du lien de causalité adéquate entre le comportement reproché et le résultat, l'enchaînement des faits perdant sa portée juridique, si une autre cause concomitante - par exemple une force naturelle, le comportement de la victime ou celui d'un tiers - propre au cas d'espèce constitue une circonstance tout à fait exceptionnelle ou apparaît si extraordinaire que l'on ne pouvait pas s'y attendre. Cependant, cette imprévisibilité de l'acte concurrent ne suffit pas en soi à interrompre le lien de causalité adéquate. Il faut encore que cet acte ait une importance telle qu'il s'impose comme la cause la plus probable et la plus immédiate de l'événement considéré, reléguant à l'arrière-plan tous les autres facteurs qui ont contribué à amener celui-ci, notamment le comportement de l'auteur (<ref-ruling> consid. 4.4.2 p. 265 s.; <ref-ruling> consid. 6.1 p. 168).
2.3.2. En l'espèce, le jour du drame, des parois devaient être amenées par hélicoptère et posées à un emplacement précis. Après avoir été libérées de leurs élingues, elles ne pouvaient toutefois être vissées immédiatement, le downwash - soit la colonne de vent verticale générée par le mouvement des pales qui va de haut vers le bas (jugement attaqué, p. 6 ch. 3) - provoqué par l'hélicoptère se trouvant au-dessus de la construction l'empêchant. Le vissage devait en revanche intervenir juste après que l'hélicoptère s'était éloigné. Entre le moment où les élingues étaient enlevées et celui où la paroi était vissée, le souffle de l'hélicoptère rendait possible le basculement de la paroi vers l'extérieur, seul côté non sécurisé (idem, p. 9 ch. 5.4). Les sangles libérées ne devaient ainsi être récupérées qu'une fois la paroi fixée (idem, p. 13 ch. 7.3.2).
Le jour du drame, E._ SA, chargée d'amener par hélicoptère les éléments préfabriqués, avait délégué sur place quatre assistants de vol. C'est dire que cette manière de construire posait des questions techniques que les personnes sur le chantier, dont le recourant, ne pouvaient apparemment résoudre seules. N.A._ était le chef d'équipe délégué par E._ SA. Il était à la tête des autres assistants de vol. Conformément au ch. 9.14.7 du Flight Operation Manual de E._ SA (jugement attaqué, p. 8), en tant que chef d'équipe, N.A._ était compétent pour effectuer une reconnaissance sur le lieu d'un chantier et instruire le client par rapport aux mesures de sécurité ainsi qu'aux préparations du transport et des charges (ch. 9.14.7.1). Avant le vol, il était compétent pour coordonner la préparation des charges et pour donner des directives aux assistants de vol, de même que pour instruire les ouvriers des mesures de prudence et de sécurité à prendre (ch. 9.14.7.2). Pendant le vol, le chef d'équipe était compétent pour maintenir la sécurité sur la place de travail. C'est lui qui réglait les problèmes de coordination (ch. 9.14.7.5; pièces 326 ss; jugement de première instance, p. 4 let. b). N.A._ pouvait seul donner des instructions au pilote, notamment celle de descendre un peu pour libérer les élingues puis celle de repartir chercher les éléments suivants.
Dans le cas d'espèce, l'autorité précédente a retenu que N.A._ savait qu'une fois posées et libérées des élingues, les parois n'étaient pas vissées mais uniquement tenues à la main, grâce notamment aux employés de E._ SA, jusqu'au départ de l'hélicoptère (jugement entrepris, p. 13 ch. 7.3.2). N.A._ n'a dès lors pas pu croire, au signal donné par le recourant, alors qu'il se trouvait à l'angle sud-ouest du bâtiment avec B._ prêt à visser la paroi sud-ouest, que celle-ci était définitivement fixée (jugement entrepris, p. 13 ch. 7.3.2). S'écartant de cet état de fait, les intimés soutiennent que N.A._ ignorait que les parois n'étaient pas arrimées ni ne pouvaient être fixées définitivement avant que les élingues ne soient enlevées. Selon eux, soutenir le contraire serait affirmer que N.A._ aurait voulu sa propre mort. Or aucun élément dans sa vie n'allait dans ce sens (déterminations, p. 7). Une telle argumentation n'établit pas le caractère arbitraire du fait retenu. Au demeurant, N.A._ avait aidé B._ à fixer les six premiers éléments dès que l'hélicoptère s'était éloigné (jugement entrepris, p. 13 ch. 7.3.2). Il savait donc que les parois n'étaient pas fixées avant le départ de l'hélicoptère.
L'autorité précédente a également retenu que N.A._ avait conscience du risque du downwash (jugement entrepris, p. 13 ch. 7.3.2). Il pouvait aussi se rendre compte qu'avec la pose de la paroi sud, l'effet du brassage d'air était renforcé par la fermeture partielle de la construction et qu'aucun moyen ne prévenait une chute de la paroi vers l'extérieur (idem, p. 13 consid. 7.3.2).
Lorsque le recourant a fait signe à N.A._ de donner instruction au pilote de descendre un peu pour pouvoir détacher les élingues et ainsi libérer la paroi, N.A._ se trouvait à l'angle extérieur sud-ouest de la construction. Il se trouvait donc en sécurité, hors de la zone de basculement possible de la paroi. Compte tenu des risques de chute que N.A._ connaissait et de l'absence de mesure de protection dont il avait également conscience, il apparaît complètement inattendu que lui, chef d'équipe de E._ SA, compétent pour maintenir la sécurité sur la place de travail, ait dans le même temps donné à l'hélicoptère l'ordre de descendre pour que la paroi soit libérée des élingues et quitté la zone de sécurité où il se trouvait pour se déplacer, à l'extérieur, sous la paroi désormais en équilibre. Ce comportement est surprenant, l'autorité précédente constatant notamment que le recourant pouvait compter que N.A._ respectât les impératifs de sécurité dans le transport des charges (jugement attaqué, p. 9 ch. 5.4). C'est de manière complètement inattendue, alors que N.A._ venait de donner au pilote, par radio, l'ordre de repartir, manoeuvre qui provoque pendant un court instant un souffle plus important, qu'il est allé se placer, à l'extérieur, sous la paroi, qu'il savait toujours non fixée.
Le jour du drame, le recourant aurait certes pu à nouveau rendre les intervenants au chantier attentifs au risque de basculement de la paroi dans le court laps de temps entre l'enlèvement des élingues et le vissage et leur interdire l'accès à la zone de basculement. Comme le retient le jugement entrepris, le recourant pouvait toutefois s'attendre à ce que N.A._ respecte les impératifs de sécurité dans le transport des charges (jugement attaqué, p. 9 ch. 5.4) et ne se mette pas en danger comme il l'a fait. Le fait totalement inattendu de la part de N.A._, chargé de la sécurité durant le vol de l'hélicoptère, de se mettre sous la paroi qu'il savait en équilibre tout en donnant à l'hélicoptère l'ordre de repartir, manoeuvre qui implique un souffle plus important, constitue un comportement propre à reléguer à l'arrière-plan l'omission du recourant - omission que l'on pouvait également reprocher à N.A._ - de surveiller que personne ne se trouve jusqu'au départ de l'hélicoptère et au vissage des parois dans la zone de basculement. Dût-on admettre une omission coupable du recourant dans la sécurisation du chantier, un éventuel rapport de causalité adéquate entre celle-ci et le décès de N.A._ devrait être considéré comme interrompu par le comportement de ce dernier.
Dans ces circonstances, une condamnation du recourant pour homicide par négligence est exclue.
Ce qui précède rend sans objet les autres griefs du recourant.
3.
Le recours devra être admis, le jugement attaqué annulé et la cause renvoyée à l'autorité précédente pour nouveau jugement dans le sens des considérants.
A titre exceptionnel, il ne sera pas mis de frais à charge des intimés qui ont conclu au rejet du recours (art. 66 al. 1 et 4 LTF). Le canton du Valais versera au recourant une indemnité de dépens (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton du Valais versera au recourant une indemnité de dépens de 3'000 fr. pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Cour pénale I.
Lausanne, le 2 décembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Mathys
La Greffière : Cherpillod