Faits:
A. A._ et B._ sont propriétaires de la parcelle n° 12'592 du registre foncier de la commune de Montreux. Cette parcelle est située au coeur d'un coteau pentu originairement viticole dominant le centre de la ville de Montreux, dans un secteur résidentiel moyennement bâti. Le 24 novembre 2008, les prénommés ont obtenu un permis de construire une villa individuelle de 343 m2 sur trois niveaux avec deux dépendances souterraines dont un garage. Le permis de construire précisait cependant que:
"42. Compte tenu du décor paysager caractéristique d'anciens parchets de vigne, les plantations arbustives feront l'objet d'une concertation avec les services de l'urbanisme et de voirie espaces verts. D'autre part conformément au plan des aménagements extérieurs, la partie inférieure de la parcelle sera maintenue en vigne.
43. Conformément à l'arrêté du Conseil d'Etat du 7 juillet 1999 concernant la lutte contre le feu bactérien et prophylaxie, nous interdisons la plantation de végétaux jugés "très sensibles" au feu bactérien, selon la circulaire fédérale du 3 décembre 1997 [...]. D'autre part, les plans hôtes du feu bactérien sont à limiter, selon l'annexe 3 de l'ordonnance fédérale du 28 avril 1982. Il s'agit d'exiger de votre fournisseur toutes les garanties quant à la provenance des plantes achetées, en particulier [...]".
B. Par courrier du 6 janvier 2009, le chef du Service de l'urbanisme de la commune de Montreux a signalé aux constructeurs que le mur de soutènement de la rampe d'accès n'apparaissait pas sur les documents soumis à l'enquête publique et ne saurait dès lors être autorisé. Après remise de nouveaux plans par les constructeurs, la Direction du développement urbain et du territoire (ci-après: la Direction) a autorisé la reprise des travaux, tout en précisant qu'un plan dressant la nomenclature des essences devait être produit le moment venu au Service de l'urbanisme pour la plantation de végétation arbustive devant l'ouvrage de soutènement, par lettre du 30 janvier 2009. La Direction a rappelé cette exigence, par courrier du 23 mars 2009.
Le 25 juin 2009, le Service de l'urbanisme a constaté que la plantation d'une trentaine de cyprès de 6 à 7 mètres de hauteur était en cours à l'aplomb de la rampe d'accès. Le lendemain, la Municipalité de Montreux (ci-après: la Municipalité) a ordonné l'arrêt immédiat des travaux de plantation, relevant que ceux-ci n'étaient conformes ni au permis de construire délivré, ni aux accords survenus ultérieurement au sujet des aménagements extérieurs et qu'ils portaient atteinte aux caractéristiques du site. Elle a ensuite soumis la question au "comité d'expert" prévu par le nouveau règlement communal qui a formulé un avis négatif sur la plantation de cyprès dans le cadre paysager viticole. Une telle plantation était incongrue en tant qu'elle introduisait un cliché étranger et anecdotique dans le site. L'alignement de ces arbres fastigiés dramatisait encore la perception visuelle du mur, déjà trop haut.
Par décision du 30 juillet 2009, la Municipalité a ordonné l'enlèvement des cyprès déjà plantés. A._ et B._ ont recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Celle-ci a procédé à une inspection locale le 26 février 2010 en présence des parties. Par arrêt du 28 avril 2010, elle a admis le recours en tant qu'il concerne la modification de l'ouvrage soutenant la terrasse intermédiaire et l'a rejeté pour le surplus. Elle a considéré en substance que la Municipalité n'avait pas abusé de son large pouvoir d'appréciation en refusant d'autoriser a posteriori la plantation des cyprès. L'ordre de remise en état respectait en outre le principe de la proportionnalité.
C. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral de réformer, cas échéant d'annuler cet arrêt, en ce sens que la décision de la Municipalité du 30 juillet 2009 ordonnant l'enlèvement des cyprès déjà plantés est annulée. Ils se plaignent notamment de violations de la garantie de la propriété, du principe de la proportionnalité et de l'interdiction d'arbitraire.
Le Tribunal cantonal conclut au rejet du recours en se référant aux considérants de l'arrêt attaqué. La Municipalité de Montreux renonce à se déterminer et s'en remet à justice.

Considérant en droit:
1. Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 lit. d LTF) dans le domaine du droit public de l'aménagement du territoire et des constructions (art. 82 lit. a LTF), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure de recours devant le Tribunal cantonal. Ils sont particulièrement touchés par l'arrêt attaqué qui confirme l'ordre d'enlèvement des cyprès ordonné par la Municipalité de Montreux: ils peuvent ainsi se prévaloir d'un intérêt digne de protection à ce que cette décision soit annulée. Ils ont donc qualité pour agir au sens de l'<ref-law>. Les autres conditions de recevabilité du recours en matière de droit public sont réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
2. Les recourants ne contestent pas ne pas s'être soumis aux exigences qui avaient été fixées par la Municipalité. Ils prétendent en revanche que l'ordre d'enlèvement des cyprès viole la garantie de la propriété. Ils semblent reprendre cette critique sous l'angle de la violation de l'interdiction de l'arbitraire dans la constatation des faits et dans l'application du droit cantonal et/ou communal, sans toutefois préciser ni de quels faits ni de quelles dispositions il s'agit. Quoi qu'il en soit, dans la mesure où on le comprend, ce dernier grief se confond avec la violation de la garantie de la propriété et doit être examiné avec elle.
2.1 Le droit de propriété, garanti par l'art. 26 al. 1 Cst., peut être restreint si la restriction repose sur une loi, est justifiée par un intérêt public et demeure proportionnée au but visé (art. 36 al. 1 à 3 Cst.).
Selon la jurisprudence, l'ordre de démolir une construction édifiée sans droit et pour laquelle une autorisation ne pouvait être accordée n'est en soi pas contraire au principe de la proportionnalité. Celui qui place l'autorité devant un fait accompli doit s'attendre à ce que celle-ci se préoccupe davantage de rétablir une situation conforme au droit que des inconvénients qui en découlent pour le constructeur (<ref-ruling> consid. 4a p. 255; <ref-ruling> consid. 4b p. 218). L'autorité renonce à une telle mesure si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit qui aurait changé dans l'intervalle (<ref-ruling> consid. 3bb p. 252; <ref-ruling> consid. 6b p. 224 s.; <ref-ruling> consid. 4 p. 69).
En règle générale, le Tribunal fédéral examine librement si une restriction est justifiée par un intérêt public suffisant et respecte le principe de la proportionnalité; il s'impose toutefois une certaine retenue lorsqu'il doit se prononcer sur de pures questions d'appréciation ou tenir compte de circonstances locales, dont les autorités cantonales ont une meilleure connaissance que lui (cf. <ref-ruling> consid. 6.1 p. 181; <ref-ruling> consid. 4.3 p. 416 et les arrêts cités).
2.2 Aux termes de l'art. 86 LATC, la municipalité veille à ce que les constructions, quelle que soit leur destination, ainsi que les aménagements qui leur sont liés, présentent un aspect architectural satisfaisant et s'intègrent à l'environnement (al. 1). Elle refuse le permis pour les constructions ou les démolitions susceptibles de compromettre l'aspect et le caractère d'un site, d'une localité, d'un quartier ou d'une rue, ou de nuire à l'aspect d'un édifice de valeur historique, artistique ou culturelle (al. 2).
A teneur de l'art. 40 al. 2 du règlement sur le plan d'affectation et la police des constructions du 15 décembre 1972 (RPA), la Municipalité peut imposer le genre et la localisation des plantations à effectuer aux abords des constructions, la typologie des bâtiments et des aménagements annexes devant dans tous les cas tenir compte de la configuration générale du sol.
2.3 Les recourants soutiennent d'abord qu'il n'y a pas de base légale réglementaire suffisante, respectivement pas de décision suffisamment précise pour limiter la prérogative des propriétaires à une arborisation avec des cyprès. Le rapport du comité d'expert du 13 juillet 2009 ne saurait suppléer à l'absence de base réglementaire.
Cette critique manque de pertinence, dans la mesure où le Tribunal cantonal n'a pas retenu pour base légale ledit rapport, mais l'art. 40 al. 2 RPA qui concrétise l'art. 86 LATC. L'instance précédente a en effet constaté que, quand bien même le choix d'une plantation de cyprès pour masquer le mur de soutènement était une solution qui pouvait se défendre, la Municipalité n'avait pas abusé du très large pouvoir d'appréciation qui doit lui être reconnu lorsqu'elle se prononce sur l'admissibilité d'aménagements extérieurs au regard des exigences de protection d'un site qui, en l'espèce, est incontestablement de qualité. Dans ce contexte, le Tribunal cantonal a retenu à juste titre qu'il convenait de tenir compte du fait que, par l'art. 40 al. 2 RPA, le législateur communal avait clairement voulu donner à la municipalité des compétences renforcées s'agissant des aménagements extérieurs, plus particulièrement en ce qui concerne le genre et la localisation des plantations à effectuer aux abords des constructions.
De même, les recourants critiquent en vain certains faits retenus dans le rapport du comité d'experts, dans la mesure où le Tribunal cantonal a lui-même remis en cause ces appréciations. Le juge cantonal a ainsi relevé que contrairement à ce que soutenait la Municipalité, on trouvait des cyprès dans les hauts de la commune et non uniquement au bord du lac et dans les cimetières, ce qu'il avait pu constater en se rendant sur la parcelle litigieuse. Il a cependant considéré que le choix de privilégier de la vigne, voire du béton nu et d'éviter que ce type d'essence soit implanté à cet endroit pouvait effectivement se justifier compte tenu du contexte paysager de parchets viticoles, ceci quand bien même le site est d'ores et déjà altéré par les constructions existantes dans le coteau. La Municipalité pouvait de surcroît motiver son refus par la volonté d'éviter qu'il soit donné, par une haie se prolongeant bien au-dessus du mur en porte-à-faux, une impression supplémentaire de hauteur.
2.4 Les recourants se plaignent encore d'une violation du principe de la proportionnalité. A cet égard, ils font valoir qu'une remise en état entraînerait des coûts financiers de l'ordre de 100'000 francs sans ménager d'intérêt public. Ils se prévalent de leur bonne foi et soutiennent que face à l'intérêt privé des propriétaires de maintenir des organismes végétaux vivants intégrés dans le paysage d'une valeur d'implantation de l'ordre de 40'000 francs, il n'y a pas d'intérêt public.
Il convient d'emblée de relever que les recourants ne peuvent prétendre avoir agi de bonne foi et faire fi des courriers du 30 janvier 2009 et du 23 mars 2009, dans lesquels la Direction du développement urbain et du territoire a précisé la nécessité de produire un plan dressant la nomenclature des essences. En renonçant à se plier à cette exigence fixée par la Municipalité, les intéressés savaient qu'ils s'exposaient au désaccord de la commune lorsqu'ils ont commandé les cyprès et ne peuvent dès lors se prévaloir de leur bonne foi. Le Tribunal cantonal l'a d'ailleurs relevé à juste titre.
Quant à l'intérêt public, l'instance précédente a d'abord précisé que le coût de l'enlèvement des cyprès apparaissait relativement important par rapport à l'intérêt public en jeu, la gravité de l'atteinte au site devant être relativisée compte tenu du fait que le secteur concerné était une zone entièrement constructible déjà fortement bâtie et que la plantation litigieuse constituait un aménagement extérieur d'une maison d'habitation de style contemporain. Les constructions du quartier présentaient en outre une architecture disparate tout comme l'arborisation environnante alentour. C'est à bon droit que le Tribunal cantonal a ensuite considéré comme déterminant le fait que les recourants avaient procédé à un investissement important à leurs risques et périls puisqu'ils savaient qu'ils devaient au préalable obtenir l'accord de la Municipalité. Ce d'autant plus que l'importance de cet investissement doit être relativisée, compte tenu des coûts de l'ensemble des travaux, qui se montent à 4 millions de francs selon les explications fournies par les recourants. Dans ces circonstances, la pesée des intérêts effectuée par la Cour cantonale ne prête pas flanc à la critique et doit être confirmée. L'ordre de remise en état respectant le principe de la proportionnalité, le grief doit être écarté.
3. Il s'ensuit que le recours est rejeté. Les recourants, qui succombent, doivent supporter les frais judiciaires (art. 65 et 66 LTF). La commune de Montreux n'a en revanche pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 francs, sont mis à la charge des recourants.
3. Le présent arrêt est communiqué au mandataire des recourants, à la commune de Montreux et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 21 octobre 2010
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: La Greffière:
Aemisegger Tornay Schaller