Faits : A. Par décision du 12 octobre 2007, la Municipalité de Montreux a délivré à A._ le permis de construire quatre maisons familiales (désignées ci-après: les maisons A, B, C et D) ainsi que des garages semi enterrés sur la parcelle n° 5426 du registre foncier de la commune, dont il est propriétaire. Le 18 mars 2009, A._ a fractionné la parcelle précitée. Il est resté propriétaire d'une surface de 4'376 m 2, devenue le bien-fonds n° 12'593, comprenant le projet de maison familiale D. Le solde de la parcelle, d'une superficie de 2'759 m 2, englobant les projets des villas A, B et C a été vendu à B._. Le nouveau terrain n° 5426 issu du fractionnement comprend aussi les places de stationnement projetées pour les maisons A, B et C, donnant sur l'avenue de Naye. La nouvelle parcelle n° 12'593 a été fractionnée de manière à conserver un accès sur l'avenue de Naye pour la réalisation d'un garage réservé à la villa D, garage situé en contiguïté des garages prévus pour les immeubles A, B et C, mais séparé par l'accès (ascenseur en pente) prévu pour desservir les maisons implantées en amont. Les travaux de construction des villas A, B et C et des garages attenants ont débuté le 8 avril 2010. B. Par décision du 26 octobre 2011, la Municipalité a ordonné à A._ de cesser tous les travaux de construction de la villa D au motif que le projet en voie de réalisation ne correspondait pas aux plans qui avaient fait l'objet du permis de construire du 12 octobre 2007. Le 19 juillet 2012, la Municipalité a adressé un courrier au prénommé dans lequel elle accusait réception des plans des travaux réalisés permettant d'examiner les différences entre ceux-ci et les travaux dûment autorisés par le permis de construire de 2007; elle indiquait qu'un examen circonstancié allait être effectué. Cette lettre visait aussi à lever temporairement la cessation des travaux ordonnée en date du 26 octobre 2011; "les travaux de sécurisation, concernant notamment l'écroulement du mur de soutènement donnant sur la parcelle voisine n° 5449, peuvent être effectués. Par contre, ceux liés à la construction de la maison D ne peuvent en aucun cas reprendre, dans l'attente de la détermination de notre Autorité sur les documents susmentionnés". Aucun recours n'a été déposé contre cette décision. Le 2 octobre 2012, l'inspection des chantiers du district de Vevey a procédé à un contrôle sur la parcelle n° 12'593 à l'emplacement prévu pour la construction du garage réservé à la maison familiale D. Les constats effectués par l'inspecteur ont révélé un défaut ou une insuffisance des parois de protection, d'une part, et des étayages de fouilles et des protections de fouilles, d'autre part. L'inspection des chantiers a demandé en urgence une expertise sur l'ensemble de cette situation à réaliser par un ingénieur agréé, en raison de la proximité de l'hiver et des pluies successives qui ruinaient le terrain en amont sur la partie non protégée de la fouille. Le 5 octobre 2012, la Municipalité a adressé à A._ une nouvelle correspondance, dans laquelle elle lui a fait part de son "inquiétude quant à la stabilité du terrain à l'aval de la parcelle n° 12'593"; elle a souligné que "les travaux engagés pour réaliser le garage, autorisé par le permis de construire de 2007 n'avaient pas été poursuivis et que les lieux présentant un trou béant dont les parois berlinoises qui le bordent étaient maintenues par des étais"; elle a ordonné de prendre des mesures, l'hiver approchant; elle a rappelé la responsabilité du propriétaire sur ses immeubles issue de l'art. 58 CO et exprimé sa crainte qu'en "cas d'effondrement, la propriété voisine n° 5436 ainsi que le domaine public de l'avenue de Naye ne se trouvent impliqués dans les dégâts, sans compter des blessés potentiels". Le 24 octobre 2012, le bureau C._, mandaté par B._, a transmis au Service de l'urbanisme de la commune de Montreux les plans pour la réalisation du garage de la villa D. Le 13 novembre 2012, ledit Service a accusé réception des plans, confirmé qu'ils correspondaient à ce qui avait été autorisé par le permis de construire délivré en 2007 et remarqué que le radier du garage sera coulé 30 cm plus bas que l'altitude autorisée en 2007, dans le but de laisser une marge de manoeuvre au propriétaire quant aux finitions du garage; il a encore précisé avoir pris note que le garage était réalisé par B._ à ses frais et pour le compte de A._, conformément aux servitudes inscrites au registre foncier et aux accords convenus entre privés. Dans l'intervalle, le 31 octobre 2012, A._ a adressé à la Municipalité un rapport établi le 27 octobre 2012 par les ingénieurs civils D._ et E._ SA, selon lequel le site ne présentait aucun danger structurel et de stabilité. Le 14 novembre 2012, la Municipalité a adressé la lettre suivante au prénommé: "Nous prenons acte du rapport du bureau d'ingénieurs D._ & E._, daté du 27 octobre 2012. Bien que ce dernier atteste curieusement de la solidité des ouvrages en place, le risque possible d'effondrement sur l'avenue de Naye, qui concerne également le bien-fonds n° 5436, ne nous permet pas d'attendre que le propriétaire soit en état de reprendre les travaux. L'importance du litige à régler sur la villa D est à prendre en compte. Nous vous informons que B._, conformément aux servitudes inscrites au registre foncier et aux accords convenus entre privés, tels que vous les rappelez dans votre courrier du 31 octobre 2012, fera réaliser les travaux du garage de la villa D, selon les plans du 24 octobre 2012 que nous vous joignons en copie, ce dans les meilleurs délais". Le 17 décembre 2012, le bureau d'ingénieurs civils D._ et E._ SA a confirmé sa première expertise, se référant notamment au courriel de son sous-traitant F._ & G._ SA. C. A._ a recouru contre la lettre du 14 novembre 2012 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Par arrêt du 14 août 2013, celle-ci a rejeté le recours et a maintenu la mesure ordonnée par la Municipalité le 14 novembre 2012. Elle a considéré en substance qu'en raison du risque de danger, la Municipalité pouvait faire application de l'art. 92 de la loi cantonale du 4 décembre 1985 sur l'aménagement du territoire et les constructions (LATC; RSV 700.11) et que les modifications apportées au projet par rapport au permis de construire du 12 octobre 2007 ne justifiaient pas une procédure complète d'enquête publique. D. Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral de réformer l'arrêt du 14 août 2013 en ce sens que la décision du 14 novembre 2012 est nulle, subsidiairement annulée. Il conclut subsidiairement au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Le Tribunal cantonal conclut au rejet du recours. L'intimé et la Municipalité de Montreux font de même, tout en faisant valoir l'irrecevabilité du recours cantonal, faute de décision attaquable. Le recourant a répliqué par courrier du 12 décembre 2013. L'intimé a dupliqué par lettre du 16 janvier 2014.