Faits :
A.
A._ exploite à B._ une entreprise individuelle inscrite au registre du commerce du canton de Vaud depuis 1994 et dont le but est " boulangerie, pâtisserie et épicerie ". Le magasin de vente se trouve au rez-de-chaussée d'un immeuble; il est pourvu d'une partie arrière et un sous-sol est également consacré à l'exploitation, notamment à la fabrication.
Des inspections de ces locaux ont été régulièrement effectuées par un contrôleur cantonal et un inspecteur cantonal des denrées alimentaires, tous deux dépendants du Service de la consommation et des affaires vétérinaires du canton de Vaud (ci-après: le Service de la consommation). Ces inspections ont généralement fait l'objet de rapports comportant à chaque fois quatre rubriques (une relative à l'autocontrôle, une aux produits, une aux procédés et une aux infrastructures) sanctionnées par des notes allant de 1 à 4 (la note 1 étant la meilleure).
- Dans un rapport du 2 novembre 2004 établi par un contrôleur cantonal, les rubriques " autocontrôle " et " denrées alimentaires " ont obtenu la note 3 (insuffisant). En particulier, plusieurs denrées avaient largement dépassé la date de durabilité minimale. La rubrique " processus et activité " a été sanctionnée par la note 2 (suffisant). La rubrique " locaux, équipements, appareils (disposition, entretien, état) " s'est vue attribuer la note 4 (mauvais). Le contrôleur relevait qu'à cette époque, l'arrière magasin était désaffecté suite à un incendie survenu en 2002. S'agissant du laboratoire, les carrelages étaient abîmés ou manquants à divers endroits. Toujours dans le laboratoire, les murs et plafonds étaient défraîchis et la peinture, qui était ancienne, s'écaillait. Enfin, les vitres de la fenêtre du laboratoire étaient cassées et avaient été remplacées par des plastiques troués laissant passer les souillures de l'extérieur. Le rapport précisait que l'intéressé avait déclaré que la rénovation de l'arrière magasin serait effectuée, mais avait en revanche refusé d'entreprendre des travaux dans le laboratoire, faute de moyens. Le contrôleur indiquait ainsi qu'une inspection complémentaire serait effectuée par un inspecteur cantonal en vue d'un entretien et d'une décision relative à la continuité de ce commerce.
- Suite à une inspection du 16 décembre 2004, l'inspecteur, dans une lettre du 20 décembre 2004 adressée à l'intéressé, a écrit avoir pris acte du fait que celui-ci n'utiliserait plus le sous-sol comme locaux de travail, mais uniquement pour le stockage. Il a en outre fait remarquer que les locaux devraient avoir des affectations définies afin de séparer les denrées alimentaires et produits de base du matériel de l'exploitation et l'outillage ou tout autre matériel sans rapport avec l'exploitation. Il a fait remarquer à l'intéressé que l'aménagement devait être réalisé conformément aux dispositions de l'ordonnance sur l'hygiène et l'a encouragé à mettre rapidement son projet à exécution.
- Ensuite d'une inspection effectuée le 20 octobre 2006, la note 3 (défauts majeurs) a sanctionné la rubrique " autocontrôle ". La rubrique " denrées alimentaires " a obtenu la note 2 (défauts mineurs), vu notamment la présence de conserves ayant dépassé la date de garantie depuis 2000 et 2002. La rubrique " processus et activité " a eu la note 3, l'ordre et la propreté laissant à désirer particulièrement au sous-sol. La note 4 (mauvais) a été attribuée aux locaux et équipements. Si la réfection du local derrière le magasin était pratiquement terminée, il manquait encore certains aménagements. En outre, il y avait un trou dans le mur au-dessus du four à bois, les murs étaient dégradés au sous-sol (peinture qui s'écaille, carrelage manquant ou troué) et les vitres du laboratoires, cassées, étaient remplacées par des plastiques souples. L'intéressé a été invité à faire des propositions d'assainissement de ses locaux.
- Le 7 octobre 2009, un nouveau rapport d'inspection a été établi. La note 2 (défauts mineurs) a été attribuée aux quatre rubriques. S'agissant des " infrastructures " (ancienne rubrique locaux et équipements), le rapport indiquait que différentes surfaces ne correspondaient pas aux exigences, notamment les surfaces dures, lisses et faciles à nettoyer. Quelques trous étaient visibles sur les murs des laboratoires et certains joints des meubles frigorifiques étaient cassés. Le rapport ajoutait que les faits constatés n'avaient pas donné lieu à contestation. Il était notamment demandé à l'intéressé de corriger les défauts entachant les infrastructures.
- Lors d'une inspection le 11 mai 2011, la note 3 (défauts majeurs) a été attribuée à la rubrique " autocontrôle ", ainsi qu'à la rubrique " produits " (ancienne rubrique denrées alimentaires), la limite de consommation étant dépassée sur des jambons entiers (4 et 9 mai). La rubrique " procédé " (ancienne rubrique processus et activité) a obtenu la note 2 (défauts mineurs). Une note 3 (défauts majeurs) a été attribuée aux " infrastructures ", car différentes surfaces ne correspondaient pas aux exigences. En outre, du carrelage était manquant, les angles de quelques murs abîmés et certains de ceux-ci étaient écaillés. La lumière manquait à la cave et dans la chambre de congélation. Finalement, l'écoulement du point de lavage du laboratoire était inadapté (colmatage avec un linge, seau sous le siphon). Il était demandé à l'intéressé de présenter un agenda de mise en conformité des défauts affectant les infrastructures.
- Le 5 juillet 2012, une nouvelle inspection du commerce de l'intéressé a eu lieu et une décision a été rendue par le Service de la consommation. Cette décision attribuait la note 2 aux rubriques " autocontrôle ", " produits " et " procédés ", ainsi que la note 3 à la rubrique " infrastructures ".
La décision précitée exigeait de l'intéressé qu'il mette en conformité la zone de préparation pâtisserie jusqu'au 31 décembre 2012, la zone gauche du four jusqu'au 31 décembre 2013 et la zone boulangerie jusqu'au 31 décembre 2014. Cette décision est entrée en force.
B.
Par courrier du 6 janvier 2013, l'intéressé a écrit au Service de la consommation pour lui indiquer qu'il était en train de projeter la construction d'un nouveau local de production. Il lui a ainsi demandé d'accorder un unique délai, au 31 décembre 2014, afin de mettre en conformité son établissement.
Par décision du 7 mai 2013, l'inspecteur cantonal du Service de la consommation (ci-après: l'inspecteur cantonal) a maintenu le délai au 31 décembre 2013 pour mettre en conformité la zone gauche du four et celui au 31 décembre 2014 pour mettre en conformité la zone boulangerie. S'agissant de la zone pâtisserie, qui devait être mise en conformité jusqu'au 31 décembre 2012, l'inspecteur a ordonné l'interdiction immédiate d'utiliser ce local pour y effectuer toute activité avec des denrées alimentaires.
Sur opposition du 16 mai 2013, le chimiste cantonal du canton de Vaud (ci-après: le chimiste cantonal) a confirmé la décision de l'inspecteur cantonal. Le 23 août 2013, l'intéressé a contesté ce prononcé auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal).
Par arrêt du 13 mars 2014, le Tribunal cantonal a rejeté le recours de l'intéressé, dans la mesure de sa recevabilité. Il a déclaré le recours irrecevable en ce qu'il contestait, sur le principe, l'obligation de mise en conformité des zones pâtisserie et gauche du four et a ainsi limité son examen à la question du refus de prolonger les délais de mise en conformité des zones précitées. Dans le cadre de cet examen, le Tribunal cantonal a estimé que les délais fixés par l'inspecteur cantonal et confirmés par le chimiste cantonal étaient proportionnés au regard de l'intérêt public important à l'exécution rapide des mesures de mise en conformité ordonnées de longue date.
C.
Agissant par la voie du recours en matière de droit public, A._ demande en substance au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, principalement de réformer l'arrêt du Tribunal cantonal du 13 mars 2014 en prolongeant au moins jusqu'au 31 décembre 2014 le délai pour mettre en conformité la zone gauche du four et la zone pâtisserie, subsidiairement d'annuler l'arrêt précité et de renvoyer la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Il invoque en particulier une violation du principe de la proportionnalité et de sa liberté économique.
Le Tribunal cantonal conclut au rejet du recours. Le Département fédéral de l'intérieur renonce à prendre position. L'inspecteur cantonal et le chimiste cantonal n'ont pas donné suite au courrier du Tribunal fédéral les invitant à se déterminer. Dans des observations finales, A._ confirme ses conclusions.

Considérant en droit :
1.
L'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. Déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>, le recours en matière de droit public est par conséquent recevable.
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. <ref-law>). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation de l'<ref-law> (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de " manifestement inexacte " correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450).
En l'occurrence, dans les motifs de son mémoire, le recourant rapporte des faits qui n'ont pas été retenus par l'instance précédente, par exemple en relation avec la date d'achèvement de son projet de construction d'un nouveau local ou avec un pourcentage de tests dépassant les limites admissibles en matière d'hygiène. Il n'expose cependant pas en quoi les conditions de l'<ref-law> seraient réunies et ne motive pas son éventuel grief conformément aux exigences de l'<ref-law>. Il se contente de substituer ses vision et appréciation des faits à celles retenues par le Tribunal cantonal. Un tel mode de faire étant inadmissible, le Tribunal fédéral vérifiera la correcte application du droit sur la seule base des faits retenus par l'instance précédente.
3.
Le recourant s'est vu notifier une décision de l'inspecteur cantonal le 5 juillet 2012 qui exigeait de lui qu'il mette notamment en conformité la zone préparation pâtisserie (surfaces murales) de sa boulangerie jusqu'au 31 décembre 2012 et la zone gauche du four de sa boulangerie jusqu'au 31 décembre 2013. Cette décision n'a pas été contestée et est entrée en force. Dans un courrier du 6 janvier 2013, le recourant a demandé à l'inspecteur qu'il réexamine sa décision et statue sur une prolongation de ces deux délais au 31 décembre 2014. Celui-ci a rejeté cette demande en signalant que pour les deux zones en cause, les surfaces murales n'étaient plus rationnellement lavables. Sa décision a été confirmée par le chimiste cantonal et le Tribunal cantonal. Pour le recourant, la décision du Tribunal cantonal viole les art. 29 de la loi fédérale du 9 octobre 1992 sur les denrées alimentaires et les objets usuels (LDAl; RS 817.0) et les art. 5 al. 2, 7 et 8 de l'ordonnance du Département fédéral de l'intérieur du 23 novembre 2005 sur l'hygiène (OHyg; RS 817.024.1). Il invoque en outre une violation de sa liberté économique au sens de l'art. 27 Cst. et en particulier du principe de la proportionnalité.
Le présent recours est dirigé contre l'arrêt du Tribunal cantonal, rejetant le recours contre le refus de prolongation de délai prononcé à la suite d'une demande de réexamen. Quand l'autorité saisie d'une demande de réexamen entre en matière et rend une nouvelle décision au fond comme en l'espèce, cette dernière peut faire l'objet d'un recours pour des motifs de fond (arrêts 2C_406/2013 du 23 septembre 2013 consid. 4.1; 2C_968/2011 du 20 février 2012 consid. 1.1; 2C_362/2009 du 24 juillet 2009 consid. 2.3; <ref-ruling> consid. 3c p. 153 s.). Dans cette hypothèse, le litige a pour objet la décision sur réexamen et non pas la décision initiale. Partant, le présent litige, limité à l'objet de la contestation (cf. <ref-ruling> consid. 2a p. 415 s.), porte donc uniquement sur la possibilité de prolonger les délais impartis au recourant pour mettre en conformité la zone pâtisserie et la zone gauche du four avec les normes d'hygiène, comme le relèvent l'instance précédente (consid. 2 de l'arrêt entrepris) et le recourant lui-même (ch. 6 du mémoire de recours). Par conséquent, le litige ne concerne ni les mesures de mise en conformité en tant que telles, ni la fixation de délais en elle-même. Il n'est donc pas question de statuer sur leur légalité ou leur proportionnalité.
On relèvera encore que le recourant, qui demandait le réexamen de la décision du 5 juillet 2012, aurait dû démontrer à l'autorité de première instance en quoi les faits ou le droit existant au moment de cette décision avaient changé. Or, au vu de l'arrêt entrepris, cela ne semble pas avoir été le cas. Pour cette raison, l'inspecteur cantonal aurait pu se contenter de ne pas entrer en matière sur la demande déposée le 6 janvier 2013.
4.
Le recourant invoque tout d'abord une violation de l'<ref-law>. Cette disposition prévoit en particulier l'obligation pour les autorités d'ordonner l'élimination de défauts d'hygiène et leur donne par exemple la possibilité de prononcer des fermetures immédiates d'entreprises. Elle constitue la base légale sur laquelle l'autorité s'est fondée pour prononcer la mesure de mise en conformité. Pour sa part, l'<ref-law> prévoit qu'un critère de sécurité des denrées alimentaires définit l'acceptabilité d'un produit mis sur le marché et les art. 7 et 8 OHyg énoncent les prescriptions générales s'appliquant aux établissements du secteur alimentaire et aux locaux en particulier. Aucune de ces dispositions ne concerne la durée d'une mesure ordonnée conformément à l'<ref-law>. En invoquant des violations de celles-ci, le recourant s'en prend en fait à la légalité de la mesure prononcée par l'inspecteur cantonal. Or, comme cette question ne fait pas partie de l'objet de la contestation, ces griefs sont irrecevables.
5.
Le recourant soutient ensuite en substance que l'instance précédente a violé le principe de la proportionnalité en confirmant le refus de prolonger les deux délais de mise en conformité de sa boulangerie. Selon lui, l'investissement de l'intégralité de ses économies dans le projet de construction d'un nouveau local de production aurait dû conduire le Tribunal cantonal a admettre les prolongations demandées, afin d'éviter l'entreprise de coûteuses et inutiles transformations.
5.1. Consacré à l'art. 5 al. 2 Cst., le principe de la proportionnalité est l'un des principes de base de l'activité de l'Etat. Il ne constitue cependant pas un droit fondamental (<ref-ruling> consid. 4.1 p. 156 s.). Selon la jurisprudence, le recours en matière de droit public permet de se plaindre directement, et indépendamment d'un droit fondamental, de la violation du principe de proportionnalité en tant que principe de droit (constitutionnel) fédéral. Le Tribunal fédéral examine librement la violation de ce principe dans l'application du droit administratif fédéral (<ref-ruling> consid. 4 p. 156 ss; arrêt 2C_475/2013 du 4 novembre 2013 consid. 3.1).
5.2. Aux termes de l'<ref-law>, lorsque des procédés de fabrication, des locaux, des installations, des véhicules ou des conditions d'hygiène sont contestés, les organes de contrôle ordonnent l'élimination des défauts. C'est sur la base de cette disposition qu'a été prononcée la mesure de mise en conformité des deux zones de la boulangerie du recourant. Au vu de l'objet du litige, qui ne saurait s'étendre au-delà de l'objet de la contestation, il convient uniquement de déterminer si les délais fixés par les autorités pour procéder à l'élimination des défauts respectent le principe de la proportionnalité.
En l'espèce, le recourant avait connaissance depuis longtemps de l'état de défectuosité de la zone de préparation pâtisserie et de la zone gauche du four. La rubrique infrastructure (locaux, équipement) était, depuis 2004, toujours la rubrique la plus mal notée avec, en 2004 et 2006, deux fois la moins bonne note, soit la note 4. Si elle a obtenu la note 2 en 2009, elle a été sanctionnée par la note 3 en 2011 et en 2012. On peut donc constater que cela fait plus de dix ans que le recourant aurait dû procéder à une élimination des défauts et qu'il ne l'a pas fait, ou qu'il n'y a procédé que de manière incomplète. Certes, il affirme vouloir construire un nouveau local. Toutefois, cela fait depuis 2006 au moins que le recourant parle d'un projet de réaménagement des locaux de sa boulangerie, sans qu'il n'ait jamais rien entrepris de concret qui aurait permis de régler définitivement ses problèmes de locaux. Comme l'a retenu le Tribunal cantonal d'une manière qui lie la Cour de céans (cf. consid. 2 ci-dessus), le projet de construction dont parle le recourant n'est toujours qu'au stade de l'avant-projet. Rien n'indique donc que le nouveau local soit construit dans un avenir proche. A cela s'ajoute que, selon les faits constatés par les juges cantonaux, des analyses d'hygiène effectuées sur la surface d'une table, les mains de collaborateurs et un sandwich font état de dépassements importants des valeurs-limites admises. Dans ces conditions, les délais confirmés par l'instance précédente, qui étaient tout de même de 6 mois, respectivement d'une année et demie lorsqu'ils ont été fixés par l'autorité compétente, sont proportionnés à l'intérêt public, défini à l'art. 1 let. a et b LDAl qui dispose que le but de cette loi est de protéger les consommateurs contre les denrées alimentaires et les objets usuels pouvant mettre la santé en danger et d'assurer la manutention des denrées alimentaires dans de bonnes conditions d'hygiène.
5.3. En invoquant une violation de sa liberté économique, le recourant entend en fait se plaindre d'une violation du principe de la proportionnalité dans le cadre d'une restriction de cette liberté. Cette dernière ne peut en effet se rapporter qu'aux mesures de mise en conformité qui ne font pas l'objet du présent litige. Or, si la liberté économique doit être considérée comme restreinte par les mesures précitées, question qui peut être laissée ouverte, l'examen de la proportionnalité de la mesure sur le plan temporel, conformément à l'art. 36 al. 3 Cst., se confond avec celui qui a été pratiqué ci-dessus (cf. consid. 5.2). Il suffit donc d'y renvoyer.
6.
Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable. La requête d'effet suspensif est sans objet. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>) et n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la consommation et des affaires vétérinaires/Chimiste cantonal et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'au Département fédéral de l'intérieur.
Lausanne, le 7 octobre 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Tissot-Daguette