Faits: A. A l'appui de leur recours contre l'adoption du plan de quartier "En Planchamp" à Montreux, A._, ainsi que d'autres opposants, ont requis la constatation formelle de la nature forestière des parcelles 5306 et 5309. La parcelle 5306, d'une surface de 1'760 m2, est sise à l'avenue de Chillon 88, à proximité du lac. Elle fait partie de la zone urbaine et de la zone de forte densité. Elle appartient à B._. Une villa abandonnée se trouve au milieu de la parcelle, qui est en forte pente. Le bas de la parcelle est situé à une douzaine de mètres du bâtiment "L'Alcazar", érigé sur la parcelle 5312, propriété de A._. Les deux parcelles sont séparées par un accès au chemin de Rosemont et par un parking appartenant au domaine public. La parcelle 5306 est en outre encadrée à l'ouest par la gare du funiculaire Territet-Glion et au sud par celle de l'ancien funiculaire Territet-Montfleuri. La parcelle 5309 se trouve juste au-dessus de la parcelle 5306. D'une surface de 654 m2, elle est sise à l'avenue de Chantemerle et est affectée à la zone de forte densité. Elle n'est pas construite et appartient à C._. L'éventuelle nature forestière des parcelles 5306 et 5309 avait déjà été auparavant évoquée. Par lettre du 4 décembre 1991, le chef du service des forêts, de la faune et de la nature (ci-après: SFFN) avait indiqué à l'ancien propriétaire de la parcelle 5312 que D._, alors Inspecteur des forêts d'arrondissement, avait procédé à une visite locale et avait constaté que la végétation existante n'était pas soumise au régime forestier. B. Suite à une visite locale organisée en présence des parties, E._, Inspecteur des forêts de l'arrondissement concerné, a rédigé un rapport concluant à l'inexistence de végétation - ou ensemble de végétation - qui permette de soumettre les parcelles concernées au régime forestier. Par décision du 2 mai 2002, le chef du département de la sécurité et de l'environnement (ci-après DSE) a constaté que les parcelles 5306 et 5309 n'étaient pas soumises au régime forestier. C. A._, et d'autres opposants, ont recouru contre cette décision auprès du Tribunal administratif. Lors d'une audience sur place, ils ont déposé une expertise effectuée par un ingénieur forestier EPFZ. Cette dernière conclut à la nature forestière d'une surface de 1'043 m2, d'un seul tenant, sur la parcelle 5306. Elle prend également en considération les surfaces boisées qui auraient existé en 1980 au sud de la parcelle 5306, portant la surface forestière de référence à 1'838 m2. Le SFFN s'est déterminé sur cette expertise privée selon une contre-analyse du 7 juillet 2005. Il a confirmé que les boisements sis sur les parcelles 5306 et 5309 n'étaient pas soumis au régime forestier. Par arrêt du 10 février 2006, le Tribunal administratif cantonal a rejeté le recours et confirmé la décision du chef du DSE. D. Agissant par la voie du recours de droit administratif, A._ demande au Tribunal fédéral de réformer l'arrêt du Tribunal administratif en ce sens que les parcelles 5306 et 5309 sont soumises au régime forestier dans la mesure que justice dira. Subsidiairement, il demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif et de lui renvoyer la cause pour nouvelle décision dans le sens des considérants. Il invoque une violation du droit fédéral, en particulier des art. 2 LFo et 1 OFo. Il requiert également une visite des lieux. Le Tribunal administratif a conclu au rejet du recours en se référant aux considérants de son arrêt. La Municipalité de Montreux et le SFFN ainsi que B._ ont répondu au recours et conclu à son rejet. C._ n'a pas déposé de réponse. L'Office fédéral de l'environnement (ci-après OFEV) a déposé ses observations. Il a conclu qu'il n'y avait pas lieu de considérer les boisements occupant les parcelles 5306 et 5309 comme de la forêt. B._ a déposé une détermination et a persisté dans ses conclusions. Le Tribunal administratif ainsi que le SFFN ont renoncé à se déterminer. A._ a déposé des observations, dans lesquelles il requiert une expertise judiciaire ainsi qu'une audience précédée d'une inspection locale. Spontanément, B._ s'est opposé à ces mesures d'instruction. De la même manière, A._ a ensuite persisté dans ses demandes. Par ordonnance du 21 mars 2006, le Président de la Ire Cour de droit public a rejeté la demande d'effet suspensif formulée par A._. Par ordonnance du 21 avril 2006, il a partiellement admis la requête de mesures provisionnelles sollicitée par A._ et interdit toute mesure assimilable à un défrichement à l'intérieur de la surface décrite comme aire forestière par l'expertise produite par A._.