Faits : A. Par jugement du 11 décembre 2014, le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois a reconnu X._ coupable d'homicide par négligence et l'a condamné à une peine pécuniaire de 30 jours-amende à 30 fr. le jour, avec sursis pendant deux ans. Il a mis à sa charge les indemnités pour tort moral allouées aux parties plaignantes et les frais et dépens de la procédure. B. Par jugement du 16 mars 2015, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a confirmé le jugement de première instance et a mis les frais d'appel, y compris l'indemnité allouée au défenseur d'office des parties plaignantes, à la charge de X._. La juridiction cantonale a retenu les faits suivants. En automne 2010, X._, qui procédait à l'entretien du jardin de D._, a informé celle-ci que deux grands arbres situés sur sa propriété commençaient à sécher et qu'il fallait les écimer. Il lui a alors proposé d'effectuer ce travail, précisant qu'il l'avait déjà fait, alors que tel n'était pas le cas. X._ et la propriétaire ont convenu, verbalement, de l'exécution du travail moyennant une rémunération de 3'000 fr. sans les frais d'élimination des branchages. En janvier 2011, X._ s'est adjoint le concours de E._ pour accomplir ce travail, qui a eu lieu le 26 janvier 2011. Muni d'une tronçonneuse, E._ a coupé la cime (longueur de 7,5 m) d'un des arbres, qui, en tombant, l'a heurté à la tête et a provoqué sa chute, d'abord sur quatre à cinq mètres puis jusqu'au sol. E._ est décédé sur place suite à un traumatisme cervical et thoraco-abdominal pouvant être, selon les conclusions de l'autopsie pratiquée, la conséquence de chutes d'une certaine hauteur. Pour l'exécution du travail, X._ n'a fourni ni l'outillage nécessaire ni les équipements personnels adéquats. Il n'a pas non plus pris les mesures de sécurité élémentaires concernant l'organisation, la préparation et les procédés de travail et ne s'est pas pas assuré que E._ avait une formation suffisante pour effectuer ce genre de travail. Enfin, il n'a pas fait cesser le travail après avoir constaté l'incapacité de E._ à écimer un premier arbre de la propriété. C. X._ interjette un recours en matière pénale au Tribunal fédéral contre le jugement du 16 mars 2015. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est acquitté du chef d'accusation d'homicide par négligence, que toutes les prétentions civiles des parties plaignantes sont rejetées, que les frais de procédure, y compris l'indemnité allouée au défenseur d'office des parties plaignantes, sont mis à la charge de l'Etat et qu'une indemnité pour ses frais de défense lui est allouée. Subsidiairement, il requiert le renvoi de la cause à la juridiction de deuxième instance cantonale pour nouvelle décision au sens des considérants. Il sollicite également l'octroi de l'effet suspensif.