Faits : A. Par jugement du 27 novembre 2014, le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois a notamment libéré A.X._ du chef de prévention de lésions corporelles graves par négligence (I) et reconnu D._ coupable de lésions corporelles graves par négligence, le condamnant à une peine pécuniaire de quinze jours-amende à 10 fr. l'unité, avec sursis pendant deux ans (II à IV). Il a reconnu D._ " pleinement et entièrement responsable " sur le plan civil des suites de l'accident dont avaient été victimes E.H._ et A.X._ le 16 octobre 2010 à Montcherand (V) et renvoyé E.H._ et sa famille ainsi que A.X._, B.X._ et C.X._ à agir devant le juge civil contre D._ (VI). Une indemnité au sens de l'art. 429 al. 1 let. a CPP a été allouée à A.X._ (VII) et D._ a été condamné au paiement à B.X._ et C.X._ d'une indemnité au sens de l'art. 433 al. 1 CPP (VIII), les frais de la cause étant mis à sa charge (IX). B. Le 23 avril 2015, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté les appels formés par D._ et E.H._ et sa famille contre le jugement de première instance. Elle en a rectifié d'office le chiffre V en ce sens que " D._ est reconnu responsable sur le plan civil des suites de l'accident " dont ont été victimes E.H._ et A.X._ le 16 octobre 2010 à Montcherand. Pour le surplus, elle a confirmé le jugement de première instance. Une indemnité au sens de l'art. 433 CPP a été allouée à A.X._, B.X._ et C.X._. En substance, le jugement cantonal se fonde sur les faits suivants. Le 16 octobre 2010, à Montcherand, D._, responsable de meute au sein d'un groupe de jeunes scouts et A.X._, moniteur Jeunesse & Sport, section alpinisme, ont organisé une activité de rappel avec des enfants âgés de 7 à 11 ans sur un mur de pierre d'une hauteur de 10 à 12 mètres; les enfants étant assurés depuis le haut. Sur demande de l'enfant E.H._, A.X._ l'a accompagnée dans cette activité. Ils se sont attachés indépendamment à la corde de descente, puis se sont rapprochés du bord de la falaise alors que D._ avait en main la corde d'assurage. Au moment où les précités allaient entamer la descente, D._ a laissé échapper ou laissé glisser la corde avec laquelle il devait freiner la descente de ses camarades. Il a vainement tenté de la ressaisir, mais n'a pu empêcher A.X._ et E.H._ de tomber du haut de la falaise et de s'écraser au sol. Depuis l'accident, A.X._ est paraplégique et souffre d'une épilepsie secondaire et de graves problèmes urologiques. En raison de sa chute, E.H._ a subi de nombreuses lésions entraînant des séquelles graves et durables. C. A.X._, B.X._ et C.X._ forment un recours en matière pénale contre le jugement cantonal auprès du Tribunal fédéral et concluent, avec suite de frais et dépens, à sa réforme en ce sens que D._ est reconnu pleinement et entièrement responsable sur le plan civil des suites de l'accident dont ont été victimes E.H._ et A.X._ le 16 octobre 2010 à Montcherand. Subsidiairement, il concluent à l'annulation du jugement cantonal, la cause étant renvoyée à la cour cantonale pour nouvelle décision dans le sens des considérants.