Faits : A. Le 29 novembre 2016, la société A._ SA, agissant par son administrateur C.B._, a déposé plainte contre X._, architecte et associé-gérant de la société D._ Sàrl, pour contrainte (art. 181 CP). Le 25 janvier 2017, les époux B.B._ et C.B._ ont également déposé plainte contre X._, estimant que ce dernier s'était rendu coupable de contrainte (art. 181 CP) et de diffamation (art. 173 CP). A.a. A l'appui des plaintes, il a été exposé en substance que, le 5 janvier 2015, B.B._ avait conclu avec D._ Sàrl, agissant par X._, un " accord de principe " portant sur la réalisation de travaux de transformation de la villa des époux B._ (ci-après : affaire n° 1). Au cours du mois de janvier 2015, D._ Sàrl avait en outre établi un " plan financier estimatif " concernant, à la demande de C.B._, l'assainissement d'un local de plongée (ci-après : affaire n° 2) et, à la demande de B.B._, la transformation d'une surface commerciale en vue de l'exploitation de son entreprise individuelle " E._ " (ci-après : affaire n° 3). En mai 2016, D._ Sàrl avait également établi, à la demande de A._ SA, agissant par C.B._, un " plan financier estimatif " concernant la transformation intérieure d'un bureau (ci-après : affaire n° 4). Les plaignants ont expliqué qu'à la suite d'une rupture du lien de confiance, B.B._ avait résilié, le 26 septembre 2016, " l'accord de principe " relatif aux travaux de transformation de la villa (affaire n° 1), dont la réalisation était en cours. Aucun mandat n'avait en revanche été confié à D._ Sàrl s'agissant des affaires n° 2 à 4. A.b. Dans ce contexte, les plaignants reprochaient à X._ de leur avoir adressé en octobre 2016 diverses factures et rappels, alors qu'il n'existait selon eux aucune créance à leur égard, ainsi que d'avoir fait notifier, le 26 octobre 2016, des commandements de payer à B.B._ portant sur des montants respectifs, hors intérêts et frais de poursuite, de 23'698 fr. 10 (affaire n° 1) et de 3422 fr. (affaire n° 3), à C.B._ pour 4413 fr. 20 (affaire n° 2) et à A._ SA pour 3258 fr. (affaire n° 4). Si les époux B._ ne se sont pas acquittés des montants qui leur étaient réclamés, A._ SA a expliqué en revanche avoir été contrainte, pour préserver sa réputation à l'égard des sociétés d'assurances avec lesquelles elle collaborait régulièrement, de s'acquitter, les 17 et 18 novembre 2016, du montant objet de la poursuite dirigée à son encontre (affaire n° 4; poursuite n° xxx de l'Office des poursuites du district de Lavaux-Oron). A._ SA reprochait en outre à X._ de ne pas avoir retiré la poursuite, malgré le paiement intégral, intérêts et frais de poursuite inclus, de la créance qu'il réclamait. Par ailleurs, les époux B._ se plaignaient que X._ ne leur avait pas restitué des plans et des garanties d'entreprise à l'issue de leurs rapports contractuels en lien avec l'affaire n° 1, ceci afin de les forcer à s'acquitter de l'ensemble des créances litigieuses. A.c. Enfin, les époux B._ reprochaient à X._ d'avoir, " autour du 26 octobre 2016 ", adressé à divers intervenants du chantier de leur villa, un courriel comportant la mention suivante : " malheureusement, ce sont des clients malhonnêtes et ils ont décidé de ne pas nous payer, ni l'ingénieur ". B. Par ordonnance du 21 février 2018, le Ministère public de l'arrondissement de l'Est vaudois a classé la procédure dirigée contre X._ pour contrainte (art. 181 CP), tentative de contrainte (art. 22 ad art. 181 CP) et diffamation (art. 173 CP). Par arrêt du 20 septembre 2018, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par A._ SA ainsi que par B.B._ et C.B._ contre l'ordonnance du 21 février 2018, qu'elle a confirmée. C. A._ SA ainsi que B.B._ et C.B._ forment un recours en matière pénale au Tribunal fédéral contre cet arrêt. Ils concluent, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il est procédé à la reprise de l'instruction. Subsidiairement, ils concluent à l'annulation de l'arrêt et au renvoi de la cause à la cour cantonale pour qu'elle rende une nouvelle décision dans le sens des considérants.