Faits:
A. Le Département fédéral de la défense, de la protection de la population et des sports (ci-après: le DDPS) a étudié l'éventuelle implantation d'une antenne au sommet du Mont-Tendre, sur le territoire de la commune de Montricher (VD). Il était notamment prévu que la société Skyguide puisse bénéficier en partie de cette infrastructure pour y installer un système propre. Le DDPS a invité divers intervenants à présenter des observations sur ce projet. Il a en particulier informé des organisations de défense de la nature et du paysage.
B. Le 28 mai 2010, Pro Natura, Pro Natura Vaud, la Fondation suisse pour la protection et l'aménagement du paysage, le WWF Suisse et le WWF Vaud ont formé un recours auprès du Tribunal administratif fédéral contre "toute autorisation quelconque" délivrée par la commune de Montricher, l'Etat de Vaud ou la Confédération "autorisant sans enquête publique la construction d'une antenne radio réceptrice de 25 mètres de hauteur, au sommet du Mont-Tendre". Le Club Alpin Suisse s'est joint à ce recours.
Par ordonnance du 3 juin 2010, le Tribunal administratif fédéral a réservé la question de sa compétence, de l'objet du recours et de la qualité pour recourir des organisations précitées. Dans ses déterminations, le DDPS a notamment exposé que l'installation litigieuse était un ouvrage militaire soumis à une procédure particulière, qui ne s'achevait pas par l'adoption d'une décision formelle susceptible de recours mais par la délivrance d'une autorisation de débuter les travaux. Une telle autorisation n'avait au demeurant pas été délivrée, car le DDPS envisageait de reporter le début des travaux en 2011.
Par décision du 16 septembre 2010, le Tribunal administratif fédéral a considéré que le recours était devenu sans objet et il a radié la cause du rôle. Il ne s'est pas prononcé sur les questions de sa compétence, de l'objet du recours et de la qualité pour agir des recourants. Il a toutefois considéré que "compte tenu de la renonciation unilatérale" du DDPS à autoriser le début des travaux, les recourants devaient être "considérés comme ayant eu gain de cause". Le DDPS devait donc verser une indemnité aux recourants à titre de dépens.
C. Agissant par la voie du recours en matière de droit public, le DDPS demande au Tribunal fédéral d'annuler cette décision, de déclarer le Tribunal administratif fédéral non compétent pour connaître du recours dont il était saisi, de déclarer ce recours irrecevable et, subsidiairement, de renvoyer la cause au Tribunal administratif fédéral pour nouvelle décision. Au terme de leurs observations, Pro Natura, Pro Natura Vaud, la Fondation suisse pour la protection et l'aménagement du paysage, le WWF Suisse et le WWF Vaud concluent au rejet du recours. Le Tribunal administratif fédéral a renoncé à se déterminer. Le 15 février 2011, le DDPS a déposé un communiqué de presse faisant part de son renoncement à l'installation de l'antenne litigieuse au sommet du Mont-Tendre, un autre site ayant été choisi. Il déclarait néanmoins maintenir son recours, qui portait selon lui sur une question de principe. Les organisations intimées ont présenté des observations complémentaires.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43; <ref-ruling> consid. 1 p. 331 et les arrêts cités).
1.1 En vertu de l'art. 82 let. a LTF, le Tribunal fédéral connaît des recours contre les décisions rendues en matière de droit public. L'art. 83 LTF prévoit cependant que le recours est irrecevable contre un certain nombre de décisions. Il en va notamment ainsi des décisions concernant "la sûreté intérieure ou extérieure du pays" (art. 83 let. a LTF). En l'occurrence, le projet litigieux est une antenne destinée en partie à un usage militaire et le département recourant soutient que la présente procédure concerne la sûreté intérieure ou extérieure du pays au sens de l'art. 32 al. 1 let. a de la loi sur le Tribunal administratif fédéral (LTAF; RS 173.32). On peut donc se demander si l'exception précitée est réalisée.
Reprise de l'art. 100 al. 1 let. a de l'ancienne loi fédérale d'organisation judiciaire (OJ), la notion de "décisions concernant la sûreté intérieure ou extérieure du pays" n'est pas définie dans les travaux préparatoires (Message concernant l'extension de la juridiction administrative fédérale du 24 septembre 1965, FF 1965 II 1342; Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 4119 ss). Les auteurs qui se sont exprimés sur cette question ne donnent pas davantage de précision, se limitant pour l'essentiel à relever que l'exception de l'art. 83 let. a LTF vise les "actes de gouvernement" (ALAIN WURZBURGER, in Commentaire de la LTF, 2009, n. 23 ad art. 83 LTF; YVES DONZALLAZ, Loi sur le Tribunal fédéral: commentaire, 2008, p. 1057; THOMAS HÄBERLI, in Basler Kommentar BGG, 2008, n. 20 ad art. 83 LTF; HANSJÖRG SEILER, in Seiler/vonWerdt/Güngerich, Bundesgerichtsgesetz, 2007, n. 16 ad art. 83 LTF; BENOÎT BOVAY, Procédure administrative, 2000, p. 477 s.). Quant à la jurisprudence rendue en application de l'art. 100 al. 1 let. a OJ, elle porte le plus souvent sur des mesures concernant la lutte contre le terrorisme, l'espionnage, l'extrémisme violent et le crime organisé (<ref-ruling> consid. 2 p. 197 s.; <ref-ruling> consid. 4a p. 420; <ref-ruling> consid. 2 p. 279 s.).
Il n'apparaît dès lors pas d'emblée certain que la décision d'autoriser une installation militaire du type de celle qui faisait l'objet de la procédure litigieuse tombe sous le coup de l'art. 83 let. a LTF. La cause n'est cependant pas en état d'être jugée à cet égard, dès lors que les éléments permettant de déterminer l'objet exact de la procédure en question font défaut (cf. infra consid. 2).
1.2 Au surplus, le recours est recevable dans la mesure où il a été formé en temps utile et dans les formes requises, contre une décision finale du Tribunal administratif fédéral (art. 42, 86 al. 1 let. a, 90 et 100 al. 1 LTF). Le département recourant a en outre la qualité pour agir, dès lors qu'il soutient que l'acte attaqué est susceptible de violer la législation fédérale dans son domaine d'attributions (art. 89 al. 2 let. a LTF). On peut enfin admettre qu'il conserve un intérêt actuel et pratique à obtenir l'annulation de la décision attaquée malgré le renoncement au projet litigieux. Cet intérêt résulte à tout le moins des dépens qui ont été mis à la charge du département.
2. Le département recourant soutient que le Tribunal administratif fédéral devait déclarer irrecevable le recours dont il était saisi, en raison de l'absence de décision sujette à recours et parce que le recours n'était pas ouvert contre les décisions concernant la sûreté intérieure ou extérieure du pays. Le Tribunal administratif ne s'est pas prononcé sur ces questions. Il a en revanche estimé que l'autorisation de débuter les travaux litigieux "semblait imminente" au moment du dépôt du recours, que "la renonciation unilatérale" du département à autoriser le début de ces travaux avait rendu la cause sans objet, de sorte que les organisations recourantes devaient être considérées comme ayant eu gain de cause.
Ce faisant, le Tribunal administratif fédéral paraît retenir implicitement que la cause avait bien eu un objet, qu'il était compétent pour s'en saisir et que les organisations recourantes avaient la qualité pour agir dans ce domaine. On ignore cependant les motifs qui permettraient d'aboutir à de telles conclusions. Le Tribunal administratif fédéral ne pouvait pourtant pas se dispenser d'examiner ces questions. On ne saurait en effet admettre qu'une partie puisse avoir gain de cause alors que l'on ne connaît pas l'objet exact de la procédure, la qualité pour agir des parties, ni même l'étendue de la compétence de l'autorité appelée à statuer (notamment au regard de l'art. 32 al. 1 let. a LTAF). Dès lors que ces questions ne sont pas abordées dans la décision querellée, la Cour de céans n'est pas en mesure de déterminer si l'instance précédente a correctement appliqué le droit. Dans ces conditions, il y a lieu de constater que la décision attaquée ne contient pas "les motifs déterminants de fait et de droit" requis par l'art. 112 al. 1 let. b LTF (cf. <ref-ruling> consid. 8.2 p. 153 et les références citées), si bien qu'elle doit être annulée et que la cause doit être renvoyée à l'autorité cantonale en application de l'art. 112 al. 3 LTF.
3. Il s'ensuit que le recours doit être partiellement admis. La décision attaquée est annulée et la cause est renvoyée à l'instance précédente pour qu'elle rende une décision qui réponde aux réquisits de l'art. 112 al. 1 LTF. Vu l'issue de la cause, il n'y a pas lieu de percevoir des frais judiciaires (art. 66 al. 1 LTF). Il n'est pas non plus alloué de dépens (art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis partiellement. La décision attaquée est annulée et la cause est renvoyée au Tribunal administratif fédéral pour nouvelle décision.
2. Il n'est pas perçu de frais judiciaires, ni alloué de dépens.
3. Le présent arrêt est communiqué aux parties et au Tribunal administratif fédéral, Cour I.
Lausanne, le 11 mai 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Fonjallaz Rittener