Faits :
A.
A.A._ et B.A._ sont copropriétaires de la parcelle n° 2662 du registre foncier de la commune de Blonay, classée dans la zone périphérique C du plan général d'affectation de la commune. Sur ce bien-fonds, d'une surface totale de 747 m2, avaient été construits un chalet (d'une surface au sol de 77 m2) et un garage (14 m2). Selon l'art. 25 du règlement communal sur le plan d'extension et la police des constructions (RPE), ne sont constructibles, dans la zone périphérique C, que les parcelles d'une surface supérieure ou égale à 1'000 m2, à raison d'un seul bâtiment d'habitation par surface réglementaire.
Le 6 février 2012, la Municipalité a délivré à A.A._ et B.A._ un permis de construire pour un projet d'agrandissement du bâtiment existant; elle a accord é des dérogations aux art. 18 RPE [distance aux limites] et 25 RPE [surface minimale] en application de l'art. 80 de la loi cantonale du 4 décembre 1985 sur l'aménagement du territoire et les constructions (LATC, RS/VD 700.11). Selon les plans, le chalet était maintenu à son emplacement et un corps de bâtiment y était ajouté au sud-est; après travaux, la surface brute utile de plancher était de 355 m2 (dont 200 m2 consacrés au logement), soit un agrandissement de 202 m2. La Municipalité a rejeté, le même jour, les oppositions formées par plusieurs voisins.
Après la délivrance du permis de construire, les travaux de construction ont débuté. Le 9 avril 2013, la Municipalité a demandé l'arrêt immédiat des travaux, après qu'un contrôle du chantier avait révélé que le bâtiment existant avait été démoli à l'exception du pan de façade ouest. La Municipalité a confirmé son ordre d'arrêt des travaux, les 1 er mai et 3 juin 2013.
B.
Le 23 septembre 2013, A.A._ et B.A._ ont déposé une nouvelle demande de permis de construire, pour un nouveau projet. Selon les plans, le nouveau bâtiment n'était que partiellement implanté à l'endroit où se trouvait l'ancien chalet et la surface brute utile de plancher était sensiblement augmenté et s'élevait à 456 m2 (dont 285 m2 consacrés à deux logements).
Ce projet a suscité neuf oppositions et, par décision du 13 mars 2014, la Municipalité a refusé de délivrer le permis de construire au motif que le projet ne pouvait pas bénéficier de la protection de la situation acquise garantie par l'art. 80 LATC, l'ancien bâtiment ayant été démoli volontairement, contrairement à ce qui avait été exigé par la Municipalité dans le cadre du précédent permis.
Le 29 juin 2015, la Cour de droit administratif et public du Tribunal cantonal vaudois a rejeté le recours déposé par A.A._ et B.A._ contre cette décision (AC.2014.0156). Elle a confirmé que le projet ne pouvait pas être mis au bénéfice de la situation acquise; la construction d'un nouveau bâtiment d'habitation n'était pas possible à cause de la surface minimale de 1'000 m2 exigée par l'art. 25 RPE et les recourants ne pouvaient rien déduire de la présence d'un ancien bâtiment non réglementaire qu'ils avaient démoli.
C.
Par décision du 27 janvier 2016, la Municipalité a ordonné à A.A._ et B.A._ de procéder à la suppression des murs en ruine ainsi qu'à la remise en état de la parcelle, d'ici au 29 avril 2016. Ces derniers ont, le 29 février 2016, recouru contre cette décision devant le Tribunal cantonal (cause AC.2016.0058).
La procédure AC.2016.0058 a été suspendue par le juge instructeur, A.A._ et B.A._ ayant déposé une nouvelle demande de permis de construire, laquelle a été rejetée par la Municipalité le 16 novembre 2018. Le 20 décembre 2018, les prénommés ont recouru devant le Tribunal cantonal contre cette décision du 16 novembre 2018 (cause AC.2018.0448).
Après avoir joint les causes AC.2018.0448 et AC.2016.0058, le Tribunal cantonal a, par arrêt du 15 mai 2019, rejeté les recours déposés par A.A._ et B.A._ et a confirmé les décisions prises par la Municipalité de Blonay les 16 novembre 2018 et 27 janvier 2016, le délai pour l'exécution des travaux de remise en état étant reporté au 30 septembre 2019.
D.
Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral d'annuler l'arrêt attaqué et de renvoyer la cause à l'instance précédente pour nouvelle décision dans le sens des considérants.
Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de l'arrêt entrepris. La Municipalité se détermine et conclut au rejet du recours. Les recourants déposent des observations et demandent la production de tous les permis de construire délivrés par la Municipalité depuis 1990 pour des constructions situées dans les parcelles soumises à la surface minimale de l'art. 25 RPE. La Municipalité se détermine sur les observations des recourants et produit plusieurs documents concernant d'autres dossiers d'enquête. Les recourants déposent une ultime écriture.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de la police des constructions et de l'aménagement du territoire (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure de recours devant le Tribunal cantonal. En tant que destinataires du refus de leur accorder le permis sollicité ainsi que de l'ordre de remise en état de la parcelle, ils peuvent se prévaloir d'un intérêt personnel et digne de protection à l'annulation du jugement attaqué (cf. <ref-ruling> consid. 2.3 p. 43). Ils bénéficient dès lors de la qualité pour recourir au sens de l'<ref-law>.
2.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer la constatation de faits qui importent pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire (cf. <ref-law>), ce qu'il lui appartient de démontrer par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law> (cf. <ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.1.2 p. 62).
Par ailleurs, conformément à l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision attaquée. Les pièces produites comme preuves par la Municipalité à l'appui de ses courriers des 22 août et 7 octobre 2019 et qui ne figuraient pas au dossier, ne peuvent donc pas être prises en considération par le Tribunal fédéral. Ces pièces, de même que les faits qui en découlent, sont nouveaux au sens de l'<ref-law> et, partant, irrecevables.
En outre, des mesures probatoires devant le Tribunal fédéral (<ref-law>) ne sont qu'exceptionnellement ordonnées dans une procédure de recours (<ref-ruling> consid. 2), dès lors que le Tribunal fédéral conduit en principe son raisonnement juridique sur la base des faits établis par l'autorité précédente. En l'espèce, les recourants requièrent du Tribunal fédéral la production de tous les permis de construire délivrés depuis 1990 pour des constructions situées sur les parcelles soumises à la surface minimale de l'art. 25 RPE. Ils ne cherchent cependant pas à démontrer l'existence de circonstances exceptionnelles justifiant d'ordonner une telle mesure d'instruction. Cela étant, pour les motifs exposés ci-dessous une telle mesure n'apparaissait de toute manière pas nécessaire.
3.
Les recourants invoquent une violation de leur droit d'être entendus, la cour cantonale n'ayant pas donné suite à leur réquisition de preuve tendant à ce que la Municipalité produise tous les permis de construire délivrés depuis 1990 pour des constructions situées sur les parcelles soumises à la surface minimale de l'art. 25 RPE. Selon les recourants, ce moyen de preuve serait indispensable pour démontrer que la Municipalité a adopté une pratique constante consistant à octroyer des dérogations à l'art. 25 RPE et, par conséquent, qu'ils peuvent prétendre à l'égalité de traitement en bénéficiant d'une telle dérogation.
3.1.
3.1.1. Tel qu'il est garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend en particulier le droit pour le justiciable de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos. Cette garantie constitutionnelle n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 p. 299 et les références citées).
3.1.2. Le principe de la légalité de l'activité administrative prévaut en principe sur celui de l'égalité de traitement. En conséquence, le justiciable ne peut généralement pas se prétendre victime d'une inégalité devant la loi lorsque celle-ci est correctement appliquée à son cas, alors qu'elle aurait été faussement, voire pas appliquée du tout, dans d'autres cas. Cela présuppose cependant, de la part de l'autorité dont la décision est attaquée, la volonté d'appliquer correctement à l'avenir les dispositions légales en question. Le citoyen ne peut prétendre à l'égalité dans l'illégalité que s'il y a lieu de prévoir que l'administration persévérera dans l'inobservation de la loi. Il faut encore que l'autorité n'ait pas respecté la loi selon une pratique constante, et non pas dans un ou quelques cas isolés, et qu'aucun intérêt public ou privé prépondérant n'impose de donner la préférence au respect de la légalité (<ref-ruling> consid. 7.1 p. 61 et les références citées; plus récemment arrêt 1C_627/2018 du 4 septembre 2019 consid. 4.1). Si l'autorité ne s'exprime pas sur ses intentions futures, le Tribunal fédéral présumera qu'elle se conformera au jugement qu'il aura rendu (cf. <ref-ruling> consid. 4a p. 451 s.; <ref-ruling> consid. 2 p. 83 et les références citées).
3.2. Dans l'arrêt entrepris, la cour cantonale a rappelé que, dans son arrêt du 29 juin 2015 (AC.2014.0156), elle a considéré que la Municipalité avait à bon droit refusé de délivrer le permis de construire aux recourants puisque la parcelle n'atteignait pas la surface minimale exigée par l'art. 25 RPE et que ce projet ne pouvait pas bénéficier de la situation acquise garantie par l'art. 80 LATC, l'ancien bâtiment ayant été démoli intentionnellement; il n'existait, à ses yeux, aucun motif de s'écarter de ce raisonnement.
L'instance précédente a ensuite constaté, d'une manière qui lie le Tribunal fédéral (cf. consid. 2 ci-dessus), qu'il ressortait des cartes topographiques datant d'avant 1990 - date de l'entrée en vigueur de l'art. 25 RPE - que plusieurs petites parcelles environnantes, d'une surface inférieure à celle exigée par cette disposition, étaient déjà bâties à cette époque. Elle a retenu que, dans sa réponse du 19 février 2019, la Municipalité précisait que ce qui distinguait la situation des recourants des autres résidait dans le fait qu'ils avaient démoli le bâtiment existant sur leur parcelle et que cette autorité n'admettait pas avoir adopté une pratique consistant à ne pas exiger le respect de l'art. 25 RPE; au contraire, sa réponse montrait que la Municipalité entendait appliquer l'art. 25 RPE et qu'elle n'octroyait des permis de construire qu'aux propriétaires pouvant bénéficier du régime prévu par l'art. 80 LATC, c'est-à-dire pour des transformations de bâtiments antérieures à cette prescription communale, ce que ne pouvaient plus faire les recourants depuis qu'ils avaient démoli le bâtiment existant. La cour cantonale a enfin relevé que les recourants ne signalaient aucun cas concret de constructions érigées à partir de 1990, et non pas seulement transformées, sur une parcelle de la même zone dont la surface ne dépasserait pas 750 m2. Elle a, dans ces conditions, considéré qu'il n'y avait pas lieu de donner suite à la réquisition des recourants tendant à la production de tous les permis de construire accordés depuis 1990 pour des projets situés sur des parcelles soumises à l'art. 25 RPE.
Les recourants critiquent cette appréciation, affirmant pour l'essentiel que la Municipalité n'a pas soutenu ce qui a été retenu par la cour cantonale. Ils ne démontrent toutefois pas le caractère arbitraire des constatations de l'instance précédente selon lesquelles la Municipalité entendait appliquer l'art. 25 RPE et n'octroyait des permis de construire qu'aux propriétaires pouvant bénéficier du régime prévu par l'art. 80 LATC. Les recourants ne peuvent rien tirer du fait que la Municipalité a reconnu que bon nombre des parcelles environnantes étaient bâties, puisque celles-ci l'ont été avant 1990 selon les constatations de l'arrêt cantonal, soit avant l'entrée en vigueur de l'art. 25 RPE. Il ressort à cet égard des déterminations de la Municipalité auprès du Tribunal fédéral que celle-ci nie avoir adopté une pratique constante consistant à octroyer des dérogations à l'art. 25 RPE et donc qu'a fortiori elle n'a pas l'intention de poursuivre une telle pratique. Les recourants n'ont d'ailleurs pas apporté le moindre indice concret montrant que l'autorité municipale accorderait des dérogations à l'art. 25 RPE pour de nouvelles constructions. Dans ces conditions, l'instance précédente pouvait, sans arbitraire, rejeter la réquisition des recourants tendant à la production de tous les permis de construire délivré depuis 1990 pour des projets situés sur des parcelles soumises à l'art. 25 RPE.
Ce premier moyen peut donc être écarté.
4.
Ensuite, les recourants se plaignent d'une application arbitraire de l'art. 85 LATC. Ce grief est irrecevable puisqu'il est soulevé pour la première fois devant le Tribunal fédéral, les griefs juridiques nouveaux n'étant en effet recevables devant la cour de céans que lorsqu'ils relèvent du droit fédéral (cf. <ref-ruling> consid. 4.4.3 p. 156 s.).
5.
Il s'ensuit que le recours est rejeté dans la mesure de sa recevabilité, aux frais des recourants qui succombent (art. 65 et 66 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge des recourants.
3.
Le présent arrêt est communiqué aux mandataires des parties et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 24 juin 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Arn