Faits :
A.
Le 26 août 2016, sur réquisition de l'Etat de Vaud (poursuivant), l'Office des poursuites de la Riviera - Pays-d'Enhaut a notifié à A._ (poursuivie) un commandement de payer les sommes de 36'210 fr. 30 avec intérêts à 3% l'an dès le 24 juin 2012, 1'637 fr. sans intérêt et 615 fr. 60 sans intérêt (poursuite n° x'xxx'xxx). Comme titre de la créance ou cause de l'obligation, il était invoqué ceci: " Conjointement et solidairement responsable avec M. B._, xx/xx/xxxx, domicilié Ch.... à U._. Impôt sur le revenu et la fortune 2010 (Etat de Vaud, Communes de V._, U._) selon décision de taxation du 21.05.2012 et du décompte final du 21.05.2012; sommation adressée le 12.01.2016. Intérêts moratoires sur acomptes. Intérêts moratoires sur décompte ".
Cet acte ayant été frappé d'opposition, le poursuivant a requis la mainlevée définitive. Le 28 février 2017, le Juge de paix du district de La Riviera - Pays-d'Enhaut a rejeté cette requête.
Statuant le 26 septembre 2017, la Cour des poursuites et faillites du Tribunal cantonal du canton de Vaud a rejeté le recours formé par le poursuivant contre cette décision.
B.
Par mémoire du 20 octobre 2017, l'Etat de Vaud exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal. Il conclut à son annulation et principalement à sa réforme, en ce sens que la mainlevée définitive est prononcée. Subsidiairement, il demande le renvoi de la cause à la juridiction précédente pour nouvelle décision.
Des réponses n'ont pas été demandées.

Considérant en droit :
1.
Le recours a été déposé en temps utile (art. 100 al. 1 LTF) à l'encontre d'une décision finale (art. 90 LTF; <ref-ruling> consid. 1.4 p. 400) rendue en matière de poursuite pour dettes (art. 72 al. 2 let. a LTF; <ref-ruling> consid. 1.1) par un tribunal supérieur ayant statué sur recours en dernière instance cantonale (art. 75 LTF). La valeur litigieuse atteint le seuil légal (art. 74 al. 1 let. b LTF; <ref-ruling> consid. 1.3). Le poursuivant, qui a succombé devant la cour cantonale, a qualité pour recourir (art. 76 al. 1 LTF).
2.
Le recours en matière civile peut être formé pour violation du droit fédéral, y compris les droits constitutionnels (art. 95 let. a LTF; <ref-ruling> consid. 1.5; arrêt 5A_144/2014 du 23 juin 2014 consid. 1 non publié in <ref-ruling>).
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF); il ne peut s'en écarter que si ceux-ci ont été établis de façon manifestement inexacte - soit de manière arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2; <ref-ruling> consid. 4.2; <ref-ruling> consid. 1.5; <ref-ruling> consid. 1.4.1; <ref-ruling> consid. 1.2.2) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF) et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte doit satisfaire au principe d'allégation. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.3 et les références).
3.
Le créancier qui est au bénéfice d'un jugement exécutoire peut requérir du juge la mainlevée définitive de l'opposition (art. 80 al. 1 LP). Les décisions des autorités administratives suisses sont assimilées à des jugements (art. 80 al. 2 ch. 2 LP).
3.1. En règle générale, une décision devient exécutoire au moment où elle entre en force de chose jugée formelle (formelle Rechtskraft), ce qui se produit lorsqu'elle ne peut plus être attaquée par une voie de recours ordinaire (Message du 28 juin 2006 relatif au Code de procédure civile suisse ad art. 334 p. 6989; pour plus de détails, cf. <ref-ruling> consid. 8.1; arrêt 5A_866/2012 du 1er février 2013 consid. 4.1). En particulier, une décision de taxation n'entre en force qu'à l'échéance du délai - non utilisé - de réclamation, de recours à l'autorité cantonale de recours, ou au terme du délai de recours au Tribunal fédéral - si cette voie de droit ordinaire n'est pas utilisée - et, dans le cas contraire, lors du prononcé de l'arrêt du Tribunal fédéral (MICHAEL BEUCH, in Kommentar zum Schweizerischen Steuerrecht - Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG], 3e éd. 2017, n° 67 ad art. 47 LHID; LYDIA MASMEJEAN-FEY/GUILLAUME VIANIN, in Commentaire romand, Loi sur l'impôt fédéral direct, 2e éd. 2017, n° s 2 et 4 ad art. 121 LIFD; arrêt 5D_190/2017 du 31 janvier 2018 consid. 6.2). La preuve du caractère exécutoire doit être apportée par le poursuivant au moyen de pièces (arrêt 5D_17/2010 du 12 mai 2010 consid. 2).
3.2. Pour qu'une décision fiscale entre en force, il faut que la notification ait eu lieu, ce qu'il appartient à l'administration fiscale de prouver (<ref-ruling> consid. 2a).
De jurisprudence constante, le fardeau de la preuve de la notification et de la date de celle-ci incombe en principe à l'autorité qui entend en tirer une conséquence juridique (<ref-ruling> consid. 4.3; <ref-ruling> consid. 5.9 p. 309, avec les nombreuses références). En ce qui concerne plus particulièrement la notification d'une décision ou d'une communication de l'administration, elle doit au moins être établie au degré de la vraisemblance prépondérante requis en matière d'assurance sociale (<ref-ruling> consid. 3b; arrêt 5A_454/2012 du 22 août 2012 consid. 4.2.2). L'autorité supporte donc les conséquences de l'absence de preuve en ce sens que si la notification ou sa date sont contestées et qu'il existe effectivement un doute à ce sujet, il y a lieu de se fonder sur les déclarations du destinataire de l'envoi (<ref-ruling> consid. 4.3; <ref-ruling> consid. 2.2 p. 10; <ref-ruling> consid. 2a p. 402).
3.2.1. Selon la jurisprudence constante, un envoi recommandéest réputé notifié à la date à laquelle son destinataire le reçoit effectivement. Lorsque ce dernier ne peut pas être atteint et qu'une invitation à retirer l'envoi est déposée dans sa boîte aux lettres ou dans sa case postale, la date du retrait de l'envoi est déterminante; si le pli n'est pas retiré dans le délai de garde de sept jours, il est réputé avoir été communiqué le dernier jour de ce délai (<ref-ruling> consid. 4 et les références). Ces principes sont désormais ancrés à l'art. 138 al. 3 let. a CPC. La fiction de la notification à l'échéance du délai de garde suppose que l'avis de retrait a été déposé dans la boîte aux lettres du destinataire et qu'il soit arrivé par conséquent dans sa sphère privée (<ref-ruling> consid. 1b et les références; arrêts 1B_462/2016 du 7 décembre 2016 consid. 2; 4A_321/2014 du 27 mars 2015 consid. 5). La jurisprudence établit une présomption de fait - réfragable - selon laquelle l'employé postal a correctement inséré l'avis de retrait dans la boîte à lettres ou la case postale du destinataire et que la date de ce dépôt, telle qu'elle figure sur la liste des notifications, est exacte (arrêts 5A_28/2015 du 22 mai 2015 consid. 3.1.2; 6B_463/2014 du 18 septembre 2014 consid. 2.2; 8C_412/2011 du 30 avril 2012 consid. 3.2). Le Tribunal fédéral a considéré que la présomption du dépôt régulier de l'avis de retrait était renversée dans un cas où des erreurs de distribution des avis de retrait dans les cases postales avaient eu lieu à plusieurs reprises au sein de l'office de poste en question, lorsque la mention " avisé pour retrait " ne figurait pas dans le résultat des recherches effectuées par la Poste au moyen du système " Track & Trace ", ou encore lorsque la date du dépôt de l'avis de retrait enregistrée dans le système " Track & Trace " ne correspondait pas à la date du dépôt effectif de dit avis dans la case postale du conseil du recourant (5A_28/2015 du 22 mai 2015 consid. 3.1.2 et les références).
3.2.2. En l'absence d'envoi recommandé, la preuve de la notification d'un acte peut résulter de l'ensemble des circonstances, en particulier de la correspondance échangée ou de l'absence de protestation de la part d'une personne qui reçoit des rappels (ATF <ref-ruling> consid. 5.9; <ref-ruling> consid. 3).
4.
4.1. En l'espèce, le premier juge a en substance rejeté la requête de mainlevée pour le motif que le poursuivant n'avait pas établi que la notification de la décision sur réclamation du 2 décembre 2015 était intervenue valablement.
4.2. Pour sa part, la cour cantonale a retenu que l'Office d'impôt avait rendu à l'égard de la poursuivie, le 31 octobre 2011, une décision de taxation pour l'année 2010 puis, le 21 mai 2012, une décision " résultant d'un réexamen " identique à la première. La réclamation introduite le 1er décembre 2010 (recte: 2011) par A._ et B._ contre la décision du 31 octobre 2010 (recte: 2011) avait été déclarée irrecevable, respectivement rejetée, par l'Administration cantonale des impôts par décision du 2 décembre 2015, que la poursuivie contestait avoir reçu.
S'agissant de la preuve de la notification de cette dernière décision, la Cour des poursuites et faillites a relevé que selon le suivi des envois de La Poste, aucun avis de retrait n'avait été remis dans la boîte aux lettres ou la case postale de la poursuivie. Partant, la présomption de remise de cet avis a été renversée. Par ailleurs, le pli en cause était parvenu à l'office de poste de U._, lieu de domicile de la poursuivie, le 4 décembre 2015, et avait été renvoyé à son expéditeur le 9 décembre 2015, soit avant l'échéance du délai de garde de sept jours. Enfin, l'autorité cantonale a relevé que le dernier acte de procédure mentionné dans la décision sur réclamation du 2 décembre 2015 était une demande de prolongation de délai datée du 10 septembre 2012. Il en résultait que la poursuivie ne devait pas s'attendre à la notification de la décision précitée, intervenue plus de trois ans plus tard. Le poursuivant faisait valoir, à ce sujet, que la poursuivie devait au contraire s'attendre à recevoir la décision, dans la mesure où celle-ci faisait suite à un arrêt rendu à son encontre par la Cour des poursuites et faillites le 6 octobre 2015. Cependant, il n'apportait aucun élément - arguments ou pièces - sur ce point et la décision du 2 décembre 2015 ne faisait aucune mention de cet arrêt. Partant, la fiction de notification ne pouvait pas s'appliquer et il importait peu que la demande de conservation du courrier ne soit pas susceptible de reporter cette fiction au-delà du dernier jour du délai de garde. Dans ces circonstances, l'autorité cantonale a considéré que la poursuivante avait échoué à établir que la décision sur réclamation du 2 décembre 2015 avait été valablement notifiée à la poursuivie.
Examinant ensuite si l'attitude de la poursuivie était contraire au principe de la bonne foi, la juridiction précédente a retenu que l'on ne pouvait pas reprocher à la poursuivie de ne pas avoir agi après avoir récupéré son courrier à la poste en décembre 2015, puisqu'il résultait du suivi des envois relatif au pli contenant la décision sur réclamation du 2 décembre 2015 qu'aucun avis de retrait n'avait été mis dans sa boîte aux lettres ou sa case postale. Par ailleurs, la poursuivie contestait avoir reçu la lettre du 14 décembre 2015 envoyée sous pli simple, qui contenait une copie de la décision du 2 décembre 2015. Le contraire n'était pas établi et le poursuivant supportait les conséquences de l'absence de preuve d'une communication sous pli simple. Quant à la sommation du 12 janvier 2016, que la poursuivie ne contestait certes pas avoir reçue, elle ne se référait qu'au décompte du 21 mai 2012, sans faire aucune mention de la décision sur réclamation rendue entretemps. On ne pouvait déduire de cette sommation que la destinataire devait, sans nul doute possible, reconnaître qu'une décision avait été prise sur réclamation, ce d'autant moins qu'elle s'était déjà vu adresser, le 1er août 2014, soit avant que la décision sur réclamation ne soit prise, un rappel se référant déjà au décompte du 21 mai 2012. Enfin, le commandement de payer ne faisait pas non plus la moindre mention de la décision sur réclamation. De toute manière, même si l'on devait admettre que la poursuivie aurait dû réagir dans un délai raisonnable dès la notification du commandement de payer, il n'en demeurait pas moins que la décision ne pouvait être définitive au moment de cette notification, de sorte qu'elle ne pouvait pas valoir titre de mainlevée dans le cadre de la présente poursuite.
5.
Le recourant fait valoir qu'au terme d'un établissement arbitraire des faits, la cour cantonale a violé l'art. 80 LP.
Il expose que la poursuivie devait raisonnablement s'attendre à recevoir la décision du 2 décembre 2015, puisque la Cour des poursuites et faillites aurait rendu un arrêt rejetant une requête de mainlevée de l'opposition au commandement de payer déposée à l'encontre du mari de l'intéressée - arrêt portant sur la même période fiscale (2010) et les mêmes impôts -, ceci deux semaines avant l'envoi de la décision sur réclamation. Le recourant affirme que cet arrêt constitue un fait notoire dont l'autorité précédente aurait dû tenir compte, dès lors qu'elle l'a rendu elle-même et qu'il est disponible sur Internet. L'arrêt entrepris omettrait aussi de prendre en compte "un élément de faitessentiel pourtant allégué par le recourant ", à savoir les nombreux courriers qu'il a adressé à l'intimée et qui ne sont prétendument jamais parvenus à leur destinataire (en particulier, la décision sur réclamation du 2 décembre 2015, la lettre du 14 décembre 2015 contenant une copie de la décision précitée, ainsi que la décision sur réclamation du 7 novembre 2013 qui a fait l'objet d'une procédure contre son époux). Il affirme que, s'il paraît plausible que La Poste commette sporadiquement des erreurs dans l'adressage du courrier, il est en revanche hautement improbable qu'elle en commette aussi souvent que ce que prétend l'intimée.
Dans la mesure où il ressort de l'arrêt querellé qu'aucun avis de retrait n'a été déposé dans la boîte aux lettres ou la case postale de la poursuivie s'agissant du pli contenant la décision sur réclamation du 2 décembre 2015, cette constatation de fait lie le Tribunal fédéral, le recourant ne prétendant pas, ni a fortiori ne démontrant par une argumentation claire et détaillée, qu'elle serait arbitraire (cf. supra consid. 2). Il en va de même s'agissant du fait qu'aucune preuve de la notification de la lettre du 14 décembre 2015 envoyée sous pli simple, et censée contenir une copie de la décision précitée, n'a été apportée, de même que des éléments par lesquels le recourant souhaite compléter l'état de fait. En tant que le recourant se contente d'affirmer, de manière toute générale, qu'il est " hautement improbable " que La Poste commette aussi souvent des erreurs, on relèvera que cette argumentation ne saurait démontrer le caractère insoutenable des faits retenus dans le cas d'espèce. Dans de telles circonstances, peu importe que la poursuivie ait ou non dû s'attendre à se voir notifier la décision précitée: on ne saurait lui reprocher de ne pas avoir réclamé un pli pour lequel aucun avis de retrait n'est parvenu dans sa sphère d'influence (cf. supra consid. 3.2.1).
6.
Le recourant expose qu'en l'espèce, le principe de la bonne foi empêchait la poursuivie d'invoquer l'irrégularité de la notification. Selon lui, la poursuivie aurait dû contacter l'autorité fiscale à réception de la sommation du 12 janvier 2016 - qu'elle n'a pas contestée avoir reçue -, si elle avait des doutes sur l'origine de la dette fiscale objet de la sommation. De plus, elle aurait dû se renseigner auprès de l'autorité fiscale lors de la notification du commandement de payer du 17 août 2016 (à savoir le 26 août 2016), celui-ci se référant expressément à l'impôt sur le revenu et la fortune 2010. La passivité de la poursuivie aurait pour conséquence qu'en se prévalant de l'absence de notification de la décision sur réclamation du 2 décembre 2015 et des décomptes finaux complémentaires du 21 mai 2012 qui l'accompagnaient - argument qu'elle n'a invoqué que dans le cadre de ses déterminations du 30 janvier 2017, soit plus d'un an après leur notification initiale, onze mois après la notification du rappel avant poursuite, et cinq mois après la notification du commandement de payer -, elle commettrait un abus de droit. Enfin, le recourant expose que ni la décision sur réclamation du 2 décembre 2015, ni les décomptes finaux complémentaires du 21 mai 2012 qui accompagnaient cette décision, n'ont fait l'objet d'une réclamation. Partant, ils devraient être considérés comme étant valablement entrés en force et valoir titre de mainlevée définitive au sens de l'art. 80 LP.
Dans la mesure où, comme cela ressort de l'arrêt attaqué (cf. supra consid. 2), la sommation du 12 janvier 2016 ne se référait qu'au décompte du 21 mai 2012, sans mentionner la décision sur réclamation, la poursuivie ne pouvait, sans nul doute possible, reconnaître qu'une décision sur réclamation avait été prise. Il en va de même du commandement de payer, dès lors que, quoi qu'il en soit, celui-ci ne citait pas non plus la décision sur réclamation. Dans ce contexte, on ne saurait reprocher à la poursuivie de ne pas s'être renseignée sur l'éventuelle existence d'une décision sur réclamation. Pour les mêmes motifs, il ne saurait être question d'abus de droit. Pour le surplus, dès lors que la preuve de la notification de la décision sur réclamation n'a pas été apportée (cf. supra consid. 5), le recourant ne saurait tirer argument du fait que cette décision ainsi que les décomptes qui l'accompagnaient n'auraient " pas fait l'objet d'une réclamation ".
7.
En définitive, le recours est rejeté, aux frais de l'Etat de Vaud, qui succombe, et dont l'intérêt patrimonial est en cause (art. 66 al. 1 et 4 LTF). Il n'est pas alloué de dépens à l'intimée, qui n'a pas été invitée à se déterminer.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour des poursuites et faillites du Tribunal cantonal du canton de Vaud.
Lausanne, le 19 mars 2018
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Dolivo