Faits :
A.
Par jugement du 27 novembre 2014, le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois a notamment libéré A.X._ du chef de prévention de lésions corporelles graves par négligence (I) et reconnu D._ coupable de lésions corporelles graves par négligence, le condamnant à une peine pécuniaire de quinze jours-amende à 10 fr. l'unité, avec sursis pendant deux ans (II à IV). Il a reconnu D._ " pleinement et entièrement responsable " sur le plan civil des suites de l'accident dont avaient été victimes E.H._ et A.X._ le 16 octobre 2010 à Montcherand (V) et renvoyé E.H._ et sa famille ainsi que A.X._, B.X._ et C.X._ à agir devant le juge civil contre D._ (VI). Une indemnité au sens de l'<ref-law> a été allouée à A.X._ (VII) et D._ a été condamné au paiement à B.X._ et C.X._ d'une indemnité au sens de l'<ref-law> (VIII), les frais de la cause étant mis à sa charge (IX).
B.
Le 23 avril 2015, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté les appels formés par D._ et E.H._ et sa famille contre le jugement de première instance. Elle en a rectifié d'office le chiffre V en ce sens que " D._ est reconnu responsable sur le plan civil des suites de l'accident " dont ont été victimes E.H._ et A.X._ le 16 octobre 2010 à Montcherand. Pour le surplus, elle a confirmé le jugement de première instance. Une indemnité au sens de l'<ref-law> a été allouée à A.X._, B.X._ et C.X._.
En substance, le jugement cantonal se fonde sur les faits suivants.
Le 16 octobre 2010, à Montcherand, D._, responsable de meute au sein d'un groupe de jeunes scouts et A.X._, moniteur Jeunesse & Sport, section alpinisme, ont organisé une activité de rappel avec des enfants âgés de 7 à 11 ans sur un mur de pierre d'une hauteur de 10 à 12 mètres; les enfants étant assurés depuis le haut. Sur demande de l'enfant E.H._, A.X._ l'a accompagnée dans cette activité. Ils se sont attachés indépendamment à la corde de descente, puis se sont rapprochés du bord de la falaise alors que D._ avait en main la corde d'assurage. Au moment où les précités allaient entamer la descente, D._ a laissé échapper ou laissé glisser la corde avec laquelle il devait freiner la descente de ses camarades. Il a vainement tenté de la ressaisir, mais n'a pu empêcher A.X._ et E.H._ de tomber du haut de la falaise et de s'écraser au sol.
Depuis l'accident, A.X._ est paraplégique et souffre d'une épilepsie secondaire et de graves problèmes urologiques. En raison de sa chute, E.H._ a subi de nombreuses lésions entraînant des séquelles graves et durables.
C.
A.X._, B.X._ et C.X._ forment un recours en matière pénale contre le jugement cantonal auprès du Tribunal fédéral et concluent, avec suite de frais et dépens, à sa réforme en ce sens que D._ est reconnu pleinement et entièrement responsable sur le plan civil des suites de l'accident dont ont été victimes E.H._ et A.X._ le 16 octobre 2010 à Montcherand. Subsidiairement, il concluent à l'annulation du jugement cantonal, la cause étant renvoyée à la cour cantonale pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2 p. 59).
1.1. Selon l'<ref-law>, a qualité pour former un recours en matière pénale quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (a) et a un intérêt juridique à l'annulation ou à la modification de la décision attaquée (b).
Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles.
1.2. Devant le juge de première instance, les recourants avaient déposé, à titre principal, les conclusions civiles suivantes: " D._ est reconnu pleinement et entièrement responsable sur le plan civil du dommage et du tort moral subis par A.X._, B.X._ et C.X._ du fait de l'accident dont a été victime A.X._ (...) " (conclusions civiles déposées le 26 novembre 2014, pièce 76, ch. I; <ref-law>).
Statuant sur l'appel de la famille de E.H._ concluant notamment à ce que D._ et A.X._ soient reconnus coupables de lésions corporelles graves par négligence et qu'ils soient tous deux reconnus pleinement et entièrement responsables sur le plan civil des suites de l'accident dont a été victime E.H._, la cour cantonale a retenu que la responsabilité pénale de A.X._ n'était pas établie, à tout le moins au bénéfice du doute, et qu'il devait être libéré du chef de prévention de lésions corporelles graves par négligence (cf. jugement entrepris, consid. 3.1.4 p. 27). Sur le plan civil, la cour cantonale a rectifié d'office la formulation du ch. V du dispositif de première instance en supprimant la notion d'exclusivité de la responsabilité de D._. Elle l'a reconnu responsable sur le plan civil des suites de l'accident du 16 octobre 2010 tout en précisant qu'il appartiendra le cas échéant au juge civil de déterminer plus précisément la part de responsabilité des deux prévenus en fonction des critères propres à la responsabilité civile (jugement entrepris, consid. 4.3 p. 29).
1.3. A.X._ est touché par la décision attaquée qui lui est moins favorable que le jugement de première instance, lequel avait reconnu D._ pleinement et entièrement responsable civilement des suites de l'accident, excluant ainsi sa propre responsabilité. Autrement dit, il a obtenu une conclusion en constatation moindre que celle qu'il avait requise. Il dispose ainsi d'un intérêt juridique à recourir auprès du Tribunal fédéral (cf. <ref-law>).
2.
2.1. A.X._ reproche à la cour cantonale de ne pas avoir statué sur la part de responsabilité civile de D._ en violation de l'<ref-law>. Ce faisant, il se plaint d' "arbitraire dans l'application du principe in dubio pro reo"et conteste le motif de son acquittement.
2.2. L'<ref-law> prévoit les cas dans lesquels le juge pénal doit, peut ou ne doit pas statuer sur les conclusions civiles présentées (cf. Message du 21 décembre 2005 relatif à l'unification de la procédure pénale, FF 2006 p. 1153 en lien avec l'art. 124 du Projet du CPP).
L'<ref-law> énumère les situations dans lesquelles le juge pénal renvoie la partie plaignante à agir par la voie civile. L'art. 126 al. 3, 1ère phrase, CPP permet au juge pénal, dans le cas où le jugement complet des prétentions civiles exigerait un travail disproportionné, de les traiter dans leur principe et, pour le surplus, renvoyer la partie plaignante à agir par la voie civile.
2.3. La cour cantonale a acquitté A.X._ au bénéfice du doute et a considéré, sur le plan civil, qu'il appartenait au juge civil de déterminer la part de responsabilité des prévenus, en raison notamment du motif d'acquittement de A.X._.
Dans ces circonstances, vu l'acquittement au bénéfice du doute, on ne saurait reprocher à la cour cantonale de ne pas avoir déterminé les parts de responsabilité civile respectives des prévenus. Il n'incombait pas au juge pénal de mener tout le procès civil, alors même qu'il a exclu la responsabilité pénale du recourant au bénéfice du doute. Ainsi, dans la configuration d'espèce, aucune violation de l'<ref-law> ne saurait être retenue.
Par ailleurs, le recourant n'est pas recevable à remettre en cause la motivation de son acquittement en vue d'obtenir le constat qu'il n'est pas responsable civilement, dès lors qu'aucune faute pénale n'a été retenue contre lui (cf. PIERRE FERRARI, in Commentaire de la LTF, 2e éd. 2014, n° 25 ad <ref-law>; YVES DONZALLAZ, in Loi sur le Tribunal fédéral, Commentaire, 2008, n° 2554; MARC THOMMEN, in Basler Kommentar, Bundesgerichtsgesetz, n° 13 ad <ref-law>).
Au surplus, le recourant n'expose pas et l'on ne perçoit pas en quoi le constat selon lequel D._ est reconnu civilement responsable de l'accident (ch. V du dispositif) lui causerait des difficultés pour faire valoir ses prétentions civiles. Contrairement à ce que suggère le recourant, la cour cantonale ne le reconnaît pas civilement coresponsable, de sorte que le jugement pénal attaqué ne conduit pas, en l'état, à une réduction de ses prétentions civiles du point de vue des règles du CO (cf. notamment <ref-law>; faute concomitante). Sous cet angle, la décision attaquée ne contient rien qui pourrait lui être opposé sur le plan civil.
Partant, son grief doit être rejeté dans la mesure où il est recevable.
3.
L'on déduit des actes de procédure que les recourants B.X._ et C.X._ sont les parents de A.X._. Ils ne prétendent pas agir en tant que représentants légaux au nom de leur fils (art. 81 al. 1 let. b ch. 2 LTF), lequel était d'ailleurs majeur lors du prononcé du jugement cantonal.
3.1. En tant qu'ils concluent à la reconnaissance d'une responsabilité civile exclusive de D._ dans le but de soustraire leur fils de toute responsabilité civile vis-à-vis de E.H._, ils ne font pas valoir un intérêt personnel de sorte qu'ils ne disposent pas de la qualité pour recourir. En effet, la violation d'un intérêt relevant d'un autre sujet de droit est insuffisante pour créer la qualité pour recourir (<ref-ruling> consid. 1.2 p. 193; arrêt 6B_299/2015 du 9 avril 2015 consid. 3).
3.2. Les parents X._ n'exposent pas et l'on ne perçoit pas en quoi réside leur intérêt juridique propre, en tant que parties plaignantes, à ce qu'il soit constaté que D._ est exclusivement responsable de l'accident.
Les parents X._ ne donnent aucune information au sujet de prétentions civiles propres qu'ils entendent faire valoir à l'encontre de D._. Faute d'explication et compte tenu notamment des critères restrictifs permettant aux proches d'une personne victime de lésions corporelles de faire valoir un tort moral (cf. <ref-ruling> consid. 2a p. 417 et références citées; arrêt 6B_455/2014 du 11 novembre 2014 consid. 1.1, leurs souffrances doivent revêtir un caractère exceptionnel), ils ne disposent pas de la qualité pour recourir sous l'angle de l'art. 81 al. 1 let. a et b ch. 5 LTF. Par ailleurs, s'agissant des éventuels frais de justice qu'engendrerait une procédure civile, ils ne découlent pas directement de l'infraction en cause et ne constituent pas des prétentions civiles au sens de l'art. 81 al. 1 let. a et b ch. 5 LTF.
4.
Au vu de ce qui précède, le recours de A.X._ doit être rejeté dans la mesure où il est recevable. Le recours des parents X._ doit être déclaré irrecevable. Les recourants, qui succombent, supportent solidairement les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours de A.X._ est rejeté dans la mesure où il est recevable.
2.
Le recours de B.X._ et C.X._ est irrecevable.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants, solidairement entre eux.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 9 septembre 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke