Faits : A. A.A._ est la directrice d'une association accueillant des enfants à C._. Celle-ci comprend une nurserie, une garderie et un accueil parascolaire pour les écoliers. B.A._ oeuvre comme employé au sein de l'association, assistant son épouse au quotidien. Entre le 23 janvier et le 27 juin 2017, l'Office de l'accueil de jour des enfants (ci-après : OAJE), en charge de la surveillance des différentes formes d'accueil à la journée d'un enfant hors de son milieu familial, a reçu plus d'une vingtaine de signalements écrits - en grande partie anonymes ou comportant des initiales - qui, selon leur contenu, paraissaient émaner d'employés de l'association, de parents d'enfants fréquentant celle-ci ou de tiers. Le 3 août 2017, A.A._ et B.A._ ont déposé plainte pénale, notamment pour calomnie, subsidiairement diffamation. Ils ont reproché aux auteurs des signalements d'avoir adressé à l'OAJE des écrits au contenu attentatoire à leur honneur, puisque ceux-ci indiquaient en substance que la prénommée était un tyran, qu'elle menaçait ses employés et les mettait sous pression, qu'elle utilisait des termes déplacés pour parler des enfants, qu'elle trichait ou falsifiait les horaires ou encore qu'elle exploitait et brimait ses employés. Les courriers concernés faisaient également état de mobbing envers les éducateurs, de menaces de licenciement et du fait que A.A._ et B.A._ auraient tout entrepris pour étouffer une affaire ensuite de l'égarement momentané d'un enfant. Par ordonnance du 5 octobre 2018, le Ministère public central, division affaires spéciales, a refusé d'entrer en matière sur cette plainte. B. Par arrêt du 13 novembre 2018, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par A.A._ et B.A._ contre l'ordonnance du 5 octobre 2018 et a confirmé celle-ci. C. A.A._ et B.A._ forment un recours en matière pénale au Tribunal fédéral contre l'arrêt du 13 novembre 2018, en concluant, avec suite de frais et dépens, principalement à sa réforme en ce sens que la cause est renvoyée au ministère public en vue de l'ouverture d'une instruction et, subsidiairement, à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision.