Faits : A. Par jugement du 24 octobre 2017, le Tribunal de police de l'arrondissement de Lausanne a condamné X._ pour abus de confiance à une peine pécuniaire de 180 jours-amende à 20 fr. l'unité, avec sursis pendant 2 ans, ainsi qu'à une amende de 1000 fr. à titre de sanction immédiate. Il a en outre jugé que X._ devait payer à A.A._ et B.A._ ainsi qu'à C.C._ et D.C._, outre des indemnités pour leurs dépenses occasionnées par la procédure, des montants respectifs de 36'920 fr. et 17'250 fr., à titre de dommages-intérêts. B. Statuant le 28 mai 2018, la Cour d'appel pénale du Tribunal cantonal vaudois a très partiellement admis l'appel formé par X._ contre le jugement du 24 octobre 2017. Elle l'a réformé en ce sens que X._ n'était pas condamné à une amende de 1000 fr. et que le montant dû aux époux A._ à titre de dommages-intérêts s'élevait à 35'734 fr. 35. Le jugement attaqué a été confirmé pour le surplus. En substance, la cour cantonale a retenu les faits suivants. B.a. X._ a créé en mai 2008 la société E._ Sàrl, dont le siège était à F._ et dont le but inscrit au Registre du commerce consistait en la création, l'aménagement et l'entretien de jardins. Il en était le gérant, disposant de la signature individuelle. La société, qui rencontrait des difficultés depuis à tout le moins 2014, a été déclarée en faillite le 28 avril 2016, la procédure de faillite ayant été clôturée le 28 février 2017. B.b. Au cours de l'été 2014, les époux A.A._ et B.A._ ont contacté X._, afin que E._ Sàrl effectue des travaux sur leur propriété de G._, soit en l'occurrence l'agrandissement de la terrasse et la construction d'un mur. Les 10 et 11 novembre 2014, les époux ont versé à la société des sommes de 3350 fr. et 32'940 fr., correspondant à des acomptes respectifs de 50% et de 60% sur les deux devis établis par E._ Sàrl, datés des 2 juillet et 13 octobre 2014, que les époux avaient signés. Contrairement à ce qui avait été convenu, X._ n'a pas utilisé les montants versés pour l'achat des fournitures et des matériaux nécessaires à la réalisation des travaux, mais les a affectés au paiement des charges d'exploitation de E._ Sàrl. Le 2 juillet 2015, A.A._ et B.A._ ont déposé plainte contre X._. B.c. Au cours du mois de janvier 2014, les époux C.C._ et D.C._ ont fait appel à X._ afin que sa société effectue des travaux sur leur propriété de H._, à savoir notamment la construction d'un garage avec toiture préfabriquée ( carport). Le 23 juin 2014, les époux C._ ont versé sur le compte de E._ Sàrl un acompte de 17'250 fr., qui devait servir à l'achat des fournitures nécessaires à la réalisation des travaux. X._ a toutefois consacré cet argent au paiement des charges d'exploitation de E._ Sàrl. Le 10 mars 2016, C.C._ et D.C._ ont déposé plainte contre X._. C. Contre ce jugement, X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut, avec suite de frais et dépens, principalement à son acquittement et au rejet des conclusions civiles des époux A._ et C._. Subsidiairement, il conclut à l'annulation du jugement entrepris et au renvoi de la cause à l'autorité précédente pour qu'elle statue dans le sens des considérants.