Faits: A. Le Département fédéral de la défense, de la protection de la population et des sports (ci-après: le DDPS) a étudié l'éventuelle implantation d'une antenne au sommet du Mont-Tendre, sur le territoire de la commune de Montricher (VD). Il était notamment prévu que la société Skyguide puisse bénéficier en partie de cette infrastructure pour y installer un système propre. Le DDPS a invité divers intervenants à présenter des observations sur ce projet. Il a en particulier informé des organisations de défense de la nature et du paysage. B. Le 28 mai 2010, Pro Natura, Pro Natura Vaud, la Fondation suisse pour la protection et l'aménagement du paysage, le WWF Suisse et le WWF Vaud ont formé un recours auprès du Tribunal administratif fédéral contre "toute autorisation quelconque" délivrée par la commune de Montricher, l'Etat de Vaud ou la Confédération "autorisant sans enquête publique la construction d'une antenne radio réceptrice de 25 mètres de hauteur, au sommet du Mont-Tendre". Le Club Alpin Suisse s'est joint à ce recours. Par ordonnance du 3 juin 2010, le Tribunal administratif fédéral a réservé la question de sa compétence, de l'objet du recours et de la qualité pour recourir des organisations précitées. Dans ses déterminations, le DDPS a notamment exposé que l'installation litigieuse était un ouvrage militaire soumis à une procédure particulière, qui ne s'achevait pas par l'adoption d'une décision formelle susceptible de recours mais par la délivrance d'une autorisation de débuter les travaux. Une telle autorisation n'avait au demeurant pas été délivrée, car le DDPS envisageait de reporter le début des travaux en 2011. Par décision du 16 septembre 2010, le Tribunal administratif fédéral a considéré que le recours était devenu sans objet et il a radié la cause du rôle. Il ne s'est pas prononcé sur les questions de sa compétence, de l'objet du recours et de la qualité pour agir des recourants. Il a toutefois considéré que "compte tenu de la renonciation unilatérale" du DDPS à autoriser le début des travaux, les recourants devaient être "considérés comme ayant eu gain de cause". Le DDPS devait donc verser une indemnité aux recourants à titre de dépens. C. Agissant par la voie du recours en matière de droit public, le DDPS demande au Tribunal fédéral d'annuler cette décision, de déclarer le Tribunal administratif fédéral non compétent pour connaître du recours dont il était saisi, de déclarer ce recours irrecevable et, subsidiairement, de renvoyer la cause au Tribunal administratif fédéral pour nouvelle décision. Au terme de leurs observations, Pro Natura, Pro Natura Vaud, la Fondation suisse pour la protection et l'aménagement du paysage, le WWF Suisse et le WWF Vaud concluent au rejet du recours. Le Tribunal administratif fédéral a renoncé à se déterminer. Le 15 février 2011, le DDPS a déposé un communiqué de presse faisant part de son renoncement à l'installation de l'antenne litigieuse au sommet du Mont-Tendre, un autre site ayant été choisi. Il déclarait néanmoins maintenir son recours, qui portait selon lui sur une question de principe. Les organisations intimées ont présenté des observations complémentaires.