Faits :
A.
Par jugement du 11 décembre 2014, le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois a reconnu X._ coupable d'homicide par négligence et l'a condamné à une peine pécuniaire de 30 jours-amende à 30 fr. le jour, avec sursis pendant deux ans. Il a mis à sa charge les indemnités pour tort moral allouées aux parties plaignantes et les frais et dépens de la procédure.
B.
Par jugement du 16 mars 2015, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a confirmé le jugement de première instance et a mis les frais d'appel, y compris l'indemnité allouée au défenseur d'office des parties plaignantes, à la charge de X._.
La juridiction cantonale a retenu les faits suivants.
En automne 2010, X._, qui procédait à l'entretien du jardin de D._, a informé celle-ci que deux grands arbres situés sur sa propriété commençaient à sécher et qu'il fallait les écimer. Il lui a alors proposé d'effectuer ce travail, précisant qu'il l'avait déjà fait, alors que tel n'était pas le cas. X._ et la propriétaire ont convenu, verbalement, de l'exécution du travail moyennant une rémunération de 3'000 fr. sans les frais d'élimination des branchages. En janvier 2011, X._ s'est adjoint le concours de E._ pour accomplir ce travail, qui a eu lieu le 26 janvier 2011. Muni d'une tronçonneuse, E._ a coupé la cime (longueur de 7,5 m) d'un des arbres, qui, en tombant, l'a heurté à la tête et a provoqué sa chute, d'abord sur quatre à cinq mètres puis jusqu'au sol. E._ est décédé sur place suite à un traumatisme cervical et thoraco-abdominal pouvant être, selon les conclusions de l'autopsie pratiquée, la conséquence de chutes d'une certaine hauteur. Pour l'exécution du travail, X._ n'a fourni ni l'outillage nécessaire ni les équipements personnels adéquats. Il n'a pas non plus pris les mesures de sécurité élémentaires concernant l'organisation, la préparation et les procédés de travail et ne s'est pas pas assuré que E._ avait une formation suffisante pour effectuer ce genre de travail. Enfin, il n'a pas fait cesser le travail après avoir constaté l'incapacité de E._ à écimer un premier arbre de la propriété.
C.
X._ interjette un recours en matière pénale au Tribunal fédéral contre le jugement du 16 mars 2015. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est acquitté du chef d'accusation d'homicide par négligence, que toutes les prétentions civiles des parties plaignantes sont rejetées, que les frais de procédure, y compris l'indemnité allouée au défenseur d'office des parties plaignantes, sont mis à la charge de l'Etat et qu'une indemnité pour ses frais de défense lui est allouée. Subsidiairement, il requiert le renvoi de la cause à la juridiction de deuxième instance cantonale pour nouvelle décision au sens des considérants. Il sollicite également l'octroi de l'effet suspensif.

Considérant en droit :
1.
Le recourant allègue une violation du principe « in dubio pro reo » et une appréciation arbitraire des faits par l'autorité précédente sur deux points. Premièrement, il considère qu'un certain nombre d'éléments pertinents recueillis en cours d'instruction ne permettaient pas à la juridiction cantonale de lui reprocher de ne pas s'être assuré que E._ avait une formation suffisante pour procéder à l'écimage des deux arbres. Secondement, il estime que l'autorité précédente ne pouvait pas lui faire grief de ne pas avoir fait cesser le travail lorsqu'il s'est rendu compte que E._ n'était pas parvenu à écimer le premier arbre. Le recourant fait valoir qu'il subsiste un doute concernant le fait de savoir s'il a ou non tenté de le dissuader d'entreprendre les travaux sur le deuxième arbre.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 5.4 p. 324; <ref-ruling> consid. 2.3 p. 266).
La présomption d'innocence, garantie par les art. 6 par. 2 CEDH, 32 al. 1 Cst et 10 CPP, ainsi que son corollaire le principe « in dubio pro reo » concernent tant le fardeau de la preuve que l'appréciation des preuves. Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe « in dubio pro reo », celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
1.2. En l'espèce, le recourant ne précise pas en quoi les déclarations des différentes personnes entendues en procédure rendraient arbitraire l'appréciation de la juridiction cantonale. Il se limite à présenter sa propre interprétation des preuves et les conclusions qu'il en tire personnellement. Les griefs invoqués sont de nature appellatoire et donc irrecevables (<ref-law>).
2.
Le recourant allègue une violation des art. 11 et 117 CP. Il reproche à l'autorité précédente d'avoir retenu qu'il avait une position de garant, alors qu'il devrait être traité sur un pied d'égalité avec la victime. De plus, il affirme qu'il se serait assuré le concours de celle-ci, car elle lui aurait signifié à plusieurs reprises son expérience en matière d'écimage des arbres. Ainsi, il considère qu'il ne serait pas possible de lui imputer une violation du devoir de diligence, ce dernier relevant exclusivement de la victime. Enfin, le recourant estime que le lien de causalité entre son omission et le décès de la victime ne saurait être retenu, car il subsisterait des doutes, en particulier sur la volonté de la victime de ne pas quitter la propriété sans avoir fourni sa prestation. Dans ce cadre, il considère qu'il a tenté de dissuader la victime et qu'il ne serait pas certain que l'issue tragique ne se serait pas produite s'il avait dissuadé plus fermement la victime de monter sur le second arbre.
2.1. L'homicide par négligence constitue une infraction de résultat, qui suppose en général une action, mais qui, conformément à l'<ref-law>, peut aussi être réalisé par le fait d'un comportement passif contraire à une obligation d'agir. Selon l'<ref-law>, reste passif en violation d'une obligation d'agir celui qui n'empêche pas la mise en danger ou la lésion d'un bien juridique protégé par la loi pénale bien qu'il y soit tenu à raison de sa situation juridique, notamment en vertu: de la loi (let. a), d'un contrat (let. b), d'une communauté de risques librement consentie (let. c), de la création d'un risque (let. d). L'<ref-law> précise que celui qui reste passif en violation d'une obligation d'agir n'est punissable à raison de l'infraction considérée que si, compte tenu des circonstances, il encourt le même reproche que s'il avait commis cette infraction par un comportement actif.
L'al. 1 de cette disposition codifie la jurisprudence selon laquelle les infractions par négligence peuvent aussi être réalisées par omission, dans la mesure où l'auteur avait un devoir juridique d'agir découlant d'une position de garant. L'al. 2 énonce une liste non exhaustive des différentes sources de la position de garant. L'al. 3 pose la condition de l'équivalence. Ainsi, selon cette norme, une infraction de commission par omission est réalisée lorsque la survenance du résultat que l'auteur s'est abstenu d'empêcher constitue une infraction, que ce dernier aurait effectivement pu éviter le résultat par son action et qu'en raison de sa situation juridique particulière, il y était à ce point obligé que son omission apparaît comparable au fait de provoquer le résultat par un comportement actif (cf. <ref-ruling> consid. 2a p. 132 s.; plus récemment arrêt 6B_844/2011 du 18 juin 2012 consid. 3.1.1).
Pour déterminer si un délit de commission par omission est réalisé, il y a tout d'abord lieu d'examiner si la personne à laquelle l'infraction est imputée se trouvait dans une situation de garant. Ce n'est que si tel est le cas que l'on peut établir l'étendue du devoir de diligence qui découle de cette position de garant et quels actes concrets l'intéressé était tenu d'accomplir en raison de ce devoir de diligence. Lorsque l'auteur a omis de faire un acte qu'il était juridiquement tenu d'accomplir, il faut encore se demander si cette omission peut lui être imputée à faute.
2.1.1. La juridiction précédente a considéré que le recourant n'avait pas fourni à la victime le matériel nécessaire à l'exécution du travail et qu'il n'avait pas pris les mesures de sécurité élémentaires en ce qui concerne l'organisation, la préparation et les procédés de travail. Le contrat d'entreprise portant sur l'écimage de deux arbres avait été conclu entre la propriétaire du terrain et le recourant, qui avait précisé qu'il pouvait effectuer ce genre de travaux et qu'il l'avait déjà fait sur des arbres plus grands. De plus, la période pour effectuer les travaux (hiver) avait été déterminée par le recourant. La cour cantonale en a déduit que celui-ci était à l'origine du fait générateur du risque en passant le contrat avec la propriétaire. En outre, il ne s'était pas assuré que la victime avait une formation suffisante pour effectuer ce type de travail et qu'il n'avait pas fait cesser la victime lorsqu'il s'était rendu compte qu'elle n'était pas parvenue à écimer le premier arbre. Il s'agit donc d'omissions qui lui sont reprochées.
2.1.2. Sur la base des faits retenus par l'autorité précédente et qui lient le Tribunal fédéral, il faut constater que le recourant a agi comme entrepreneur en concluant un contrat pour réaliser l'écimage des deux arbres. Il s'est engagé à effectuer un travail pour lequel il n'avait ni le personnel ni les compétences nécessaires. Il a donc cherché à trouver une personne susceptible de l'aider dans ce travail. En effet, il ressort des déclarations du témoin F._ que E._ lui avait demandé de le conduire chez le recourant deux jours avant l'accident, car il devait le rencontrer pour du travail (procès-verbal d'audition du 22 février 2012). Ainsi, il y a lieu d'admettre que, contrairement à ce que prétend le recourant, la victime n'est pas venue lui offrir spontanément ses services. De plus, le recourant a pris contact avec G._ le jour de l'accident pour lui demander s'il était libre pour couper un arbre (procès-verbal d'audition du 2 mai 2013) et il a demandé à H._ de lui donner un coup de main alors qu'il venait lui restituer sa voiture sur le lieu d'écimage des arbres (procès-verbal d'audition du 6 décembre 2011). Ces éléments démontrent que le recourant agissait bien en qualité d'entrepreneur, chargé de l'écimage, et qu'il cherchait à s'adjoindre du personnel nécessaire à l'exécution de ce travail. En cette qualité, il assumait une position de garant. La question du mode de rémunération (partage par moitié du gain réalisé ou versement d'un montant convenu) est annexe et ne change rien à la position de garant du recourant.
2.2. Deux conditions doivent être remplies pour qu'il y ait négligence. En premier lieu, il faut que l'auteur viole les règles de la prudence, c'est-à-dire le devoir général de diligence institué par la loi pénale, qui interdit de mettre en danger les biens d'autrui pénalement protégés contre les atteintes involontaires. Un comportement dépassant les limites du risque admissible viole le devoir de prudence s'il apparaît qu'au moment des faits, son auteur aurait dû, compte tenu de ses connaissances et de ses capacités, se rendre compte de la mise en danger d'autrui (<ref-ruling> consid. 2.3.1 p. 79). Pour déterminer le contenu du devoir de prudence, il faut donc se demander si une personne raisonnable, dans la même situation et avec les mêmes aptitudes que l'auteur, aurait pu prévoir, dans les grandes lignes, le déroulement des événements - question qui s'examine suivant la théorie de la causalité adéquate si l'auteur n'est pas un expert dont on pouvait attendre plus - et, le cas échéant, quelles mesures elle pouvait prendre pour éviter la survenance du résultat dommageable (<ref-ruling> consid. 4.2.3 p. 262 et les références citées). Lorsque des prescriptions légales ou administratives ont été édictées dans un but de prévention des accidents, ou lorsque des règles analogues émanant d'associations spécialisées sont généralement reconnues, leur violation fait présumer la violation du devoir général de prudence (<ref-ruling> consid. 2.1 p. 64; <ref-ruling> consid. 4.2.3 p. 262). En second lieu, la violation du devoir de prudence doit être fautive, c'est-à-dire qu'il faut pouvoir reprocher à l'auteur une inattention ou un manque d'effort blâmable (<ref-ruling> consid. 2.1 p. 64; <ref-ruling> consid. 4.2.3 p. 262 et les références citées).
2.2.1. En l'espèce, il faut constater que c'est à juste titre que l'autorité précédente a retenu que les travaux s'étaient déroulés en violation des normes applicables pour l'entretien et la taille des arbres, l'utilisation d'une tronçonneuse et le travail en hauteur (Directive CFST concernant les travaux forestiers et différentes listes de contrôle émanant de la SUVA [pièce 47 du dossier cantonal]). Il faut constater que l'équipement personnel de la victime était inexistant: absence d'un casque, de lunettes, de gants, de pantalon et de souliers de protection ainsi que d'un harnais de sécurité. L'encordement de la victime était très insuffisant au vu de la hauteur de travail et de l'utilisation d'une tronçonneuse.
En sachant que la victime ne portait rien pour se protéger et pour remédier aux chutes, le recourant a violé son devoir de prudence en la laissant monter sur l'arbre.
S'agissant d'apprécier le caractère fautif de la violation du devoir de prudence, il y a lieu d'admettre que l'extrême danger qu'un écimage - réalisé dans de telles conditions - faisait courir à la victime, ne pouvait pas échapper au recourant, qui travaillait comme jardinier indépendant depuis 2003 et qui, de ce fait, était habitué à tailler et élaguer des arbres, même s'ils étaient beaucoup plus petits. Même si le recourant ne connaissait pas les directives de la CFST et les prescriptions de la SUVA, il devait néanmoins, compte tenu de ses connaissances et de ses aptitudes personnelles, réaliser que E._ mettait en danger sa vie en montant sur l'arbre. Le recourant allègue avoir eu recours à la victime, car elle lui aurait affirmé avoir les compétences nécessaires pour faire ce travail. Même dans ce cas de figure, le recourant ne saurait prétendre que les supposées compétences de la victime pouvaient à elles seules supprimer ou réduire le risque. Ainsi, force est de reconnaître que le recourant a violé fautivement son devoir de prudence.
2.2.2. L'autorité précédente a encore retenu une violation du devoir de prudence par le fait que le recourant n'avait pas interrompu les travaux après l'échec de l'écimage du premier arbre.
En l'espèce, il résulte de l'état de fait cantonal que le recourant et la victime ont commencé le travail sur un premier arbre et qu'après plusieurs tentatives infructueuses ils ont décidé de renoncer. Par la suite, ils ont entrepris l'écimage du second arbre sans changer de méthode de travail.
Lorsqu'ils ont commencé le travail sur le second arbre, le recourant savait que E._ ne maîtrisait pas la technique d'écimage. Fort de ce constat, le recourant, qui n'avait jamais exécuté une telle opération, devait, compte tenu des risques encourus, le faire arrêter. En ne prenant pas cette décision, le recourant a également violé son devoir de prudence de façon fautive, car il devait réaliser que la victime mettait sa vie en danger.
3.
Le recourant fait encore valoir que le lien de causalité hypothétique entre le comportement qu'il aurait dû adopter et le décès de la victime ne serait pas donné. Il considère qu'il n'aurait pas été établi dans quelle mesure la victime était déterminée à ne pas quitter la propriété sans avoir fourni sa prestation. Le recourant affirme avoir tenté de dissuader la victime et estime qu'il ne serait pas possible de savoir si, moyennant une dissuasion plus ferme de sa part, l'accident se serait produit ou non.
3.1. La causalité ne se présente pas sous le même aspect selon que l'auteur a violé son devoir de prudence par action ou par omission.
Un comportement est la cause naturelle d'un résultat s'il en constitue l'une des conditions sine qua non, c'est-à-dire si, sans lui, le résultat ne se serait pas produit. La constatation du rapport de causalité naturelle relève du fait (<ref-ruling> consid. 4.1.3 p. 61; <ref-ruling> consid. 4.2.3.3 p. 9). Lorsque la causalité naturelle est établie, il faut encore rechercher si le comportement incriminé est la cause adéquate du résultat. Tel est le cas lorsque, d'après le cours ordinaire des choses et l'expérience de la vie, le comportement était propre à entraîner un résultat du genre de celui qui s'est produit. Il s'agit d'une question de droit que le Tribunal fédéral revoit librement (<ref-ruling> consid. 4.1.3 p. 61; <ref-ruling> consid. 6.1 p. 168).
Il y a rupture du lien de causalité adéquate, l'enchaînement des faits perdant sa portée juridique, si une autre cause concomitante - parexemple une force naturelle, le comportement de la victime ou d'un tiers - propre au cas d'espèce constitue une circonstance tout à fait exceptionnelle ou apparaît si extraordinaire que l'on ne pouvait pas s'y attendre. Cependant, cette imprévisibilité de l'acte concurrent ne suffit pas en soi à interrompre le rapport de causalité adéquate. Il faut encore que cet acte ait une importance telle qu'il s'impose comme la cause la plus probable et la plus immédiate de l'événement considéré, reléguant à l'arrière-plan tous les autres facteurs qui ont contribué à l'amener et notamment le comportement de l'auteur (<ref-ruling> consid. 4.4.2 p. 265 s.; <ref-ruling> consid. 6.1 p. 168).
En cas de violation du devoir de prudence par omission, il faut procéder par hypothèses et se demander si l'accomplissement de l'acte omis aurait, selon le cours ordinaire des choses et l'expérience de la vie, évité la survenance du résultat qui s'est produit; pour l'analyse des conséquences de l'acte supposé, il faut appliquer les concepts généraux de la causalité naturelle et de la causalité adéquate (<ref-ruling> consid. 4.4.1 p. 264 s.).
3.2. Les déclarations du recourant et du témoin H._ établissent que, malgré l'invitation à aller manger, la victime ne voulait pas quitter la propriété avant d'avoir fait le travail. Cette volonté était peut-être à mettre en rapport avec le salaire qu'il pensait toucher et dont il a dit qu'il avait besoin (procès-verbal d'audition de F._ du 22 février 2012). Cette situation ne change toutefois rien à l'attitude du recourant qui l'a laissé continuer le travail. Il a même demandé à H._ de lui donner un coup de main. Une telle attitude est en contradiction avec la volonté de faire cesser le travail. De plus, il aurait été facile au recourant de contraindre la victime à renoncer. Il pouvait refuser de l'aider à monter la tronçonneuse sur l'arbre et lui reprendre le matériel mis à disposition. Il faut dès lors admettre, à l'instar de la juridiction cantonale, que le recourant avait la possibilité d'empêcher la victime de monter sur le second arbre ou de la contraindre d'en descendre. L'absence d'intervention du recourant est en relation de causalité adéquate avec la chute survenue par la suite.
En conséquence, il y a lieu d'admettre que le recourant s'est rendu coupable d'homicide par négligence par omission, tous les éléments constitutifs des art. 11 et 117 CP étant réunis.
4.
4.1. Le recourant se prévaut encore d'une violation des art. 3 al. 2 let. c CPP et 29 al. 2 Cst. Il reproche à l'autorité précédente de ne pas s'être prononcée sur le lien de causalité hypothétique mais uniquement sur la causalité naturelle et adéquate. Ainsi, la motivation du jugement serait incomplète et constituerait une violation du droit d'être entendu.
4.2. L'autorité précédente a relevé que l'absence d'équipement suffisant et de dispositif efficace pour empêcher la chute, ainsi que la persistance à réaliser des travaux malgré le constat d'échec sur le premier arbre, étaient en lien de causalité naturelle et adéquate avec le décès de la victime, les éventuelles fautes de cette dernière n'interrompant pas ce lien de causalité.
La motivation de l'autorité précédente, qui est en tous points conforme à la jurisprudence du Tribunal fédéral, permettait au recourant de connaître les raisons qui ont conduit l'autorité de jugement à sa décision. Il n'existe donc aucune violation du droit d'être entendu.
Au vu de tout ce qui précède, le recours doit être rejeté dans la mesure où il est recevable.
5.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>). La cause étant ainsi jugée, la requête d'effet suspensif n'a plus d'objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 17 mai 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Nasel