Faits:
A. Le 2 mars 1973, le Conseil d'Etat du canton de Vaud a octroyé une concession pour usage d'eau (portant désormais le numéro 35/617) à l'Association A._ (ci-après: l'Association) sur le lac de Neuchâtel, au lieu-dit "Les Grèves". Le port, d'une surface totale de 640 m2, est un port intérieur réalisé sur le domaine privé de l'Etat de Vaud et les digues d'entrée se trouvent sur le domaine public cantonal du lac de Neuchâtel.
Le lieu-dit "Les Grèves" se situe dans un secteur inclus dans le périmètre de l'objet n° 416 de l'inventaire des sites marécageux de beauté particulière et d'importance nationale de l'ordonnance sur la protection des sites marécageux de beauté particulière et d'importance nationale du 1er mai 1996 (OSM; RS 451.35). Il a aussi été intégré dans les réserves d'oiseaux d'eau et migrateurs d'importance internationale (n° 5 de l'annexe à l'ordonnance sur les aires d'oiseaux d'eau et migrateurs d'importance internationale et nationale du 21 janvier 1991 [RS 922.32]). Il fait également partie de la liste des zones alluviales d'importance nationale (n° 207 de l'annexe 1 de l'ordonnance du 28 octobre 1992 sur la protection des zones alluviales d'importance nationale [RS 451.31]) et des bas-marais d'importance nationale (n° 645 de l'annexe 1 de l'ordonnance du 7 septembre 1994 sur la protection des bas-marais d'importance nationale [RS 451.33]). En application de ces ordonnances fédérales, le Département de la sécurité et de l'environnement du canton de Vaud (ci-après: le Département de la sécurité) a rendu, le 25 mars 2002, une décision de classement de réserves naturelles concernant les territoires situés notamment sur la commune de Chabrey.
B. La concession pour usage d'eau n° 35/617, accordée pour une durée de trente ans, est arrivée à échéance le 31 décembre 2002, sans que l'Association n'ait requis son renouvellement.
En décembre 2007, l'Association a déposé auprès du Service des eaux, sols et assainissement du canton de Vaud (ci-après: le Service des eaux) une demande de renouvellement de la concession pour une durée de trente ans, soit jusqu'au 31 décembre 2037. Mis à l'enquête publique du 27 janvier au 25 février 2008, le renouvellement de la concession a suscité l'opposition de Pro Natura Vaud, Pro Natura Suisse, WWF Vaud, WWF Suisse et de l'Association suisse pour la protection des oiseaux (ci-après: Pro Natura et consorts).
Les services concernés de l'administration cantonale ont été consultés et ont rendu des préavis négatifs. Le Centre de conservation de la faune et de la nature du Service des forêts, de la faune et de la nature du canton de Vaud a refusé de délivrer les autorisations nécessaires pour le renouvellement de la concession du port, a proposé d'autoriser le maintien du port à bien plaire jusqu'à ce que les places d'amarrages dans le port de Portalban soient disponibles et a précisé que les aménagements portuaires devront alors être démontés et le site remis en état, aux frais des bénéficiaires. La Commission de gestion de la Grande Cariçaie, la section Hors Zone à bâtir et la Commission des rives du lac du Service du développement territorial du canton de Vaud ont également préavisé négativement le renouvellement de la concession, le projet étant situé dans une réserve naturelle légalisée.
C. Par décision du 13 février 2009, le Département de la sécurité a refusé de renouveler la concession, tout en la tolérant "jusqu'à la mise en exploitation de l'extension du port de Delley-Portalban". Il a aussi précisé que "dès la mise à disposition effective des places au port de Portalban, le port concédé par l'acte n° 35/617 sera détruit et les lieux remis en état". L'Association et plusieurs de ses membres, dont B._ et consorts (ci-après: l'Association et consorts) ont recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), en vue du renouvellement de la concession. Pro Natura et consorts ont également déposé un recours à l'encontre de cette décision, demandant qu'il soit imparti à l'Association un "délai au 13 février 2011 pour mettre fin à l'utilisation du port construit en vertu de cette concession et pour détruire ce port et rétablir les lieux dans leur état initial naturel".
Le 4 octobre 2010, le Tribunal cantonal a tenu une inspection locale en présence des parties. Par arrêt du 31 mars 2011, il a admis le recours de Pro Natura et consorts et annulé la condition autorisant l'utilisation du port jusqu'à la mise en exploitation de l'extension du port de Delley-Portalban. Il a admis très partiellement le recours de l'Association et consorts, en ce sens que l'ordre de démolition est annulé et le dossier retourné au Département de la sécurité pour compléter l'instruction dans le sens des considérants et statuer à nouveau.
D. Agissant par la voie du recours en matière de droit public, l'Association et consorts demandent au Tribunal fédéral principalement de réformer l'arrêt du 31 mars 2011, en ce sens que la concession d'usage d'eau n° 35/617 est renouvelée au bénéfice de l'Association. Ils concluent subsidiairement au renvoi du dossier au Département de la sécurité pour qu'il procède au renouvellement de ladite concession pour usage d'eau.
Le Service du développement territorial, le Service des eaux, le Service des forêts, de la faune et de la nature du canton de Vaud, l'Office fédéral de l'environnement, le Tribunal cantonal ainsi que Pro Natura et consorts concluent au rejet du recours. L'Office fédéral du développement territorial renonce à se déterminer. Les recourants ont répliqué par courrier du 5 décembre 2011.
Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis.
1.1 Selon l'art. 90 LTF, le recours au Tribunal fédéral est recevable contre les décisions qui mettent fin à la procédure. En vertu de l'art. 91 LTF, il l'est également contre les décisions qui statuent sur un objet dont le sort est indépendant de celui qui reste en cause (let. a) et qui mettent fin à la procédure à l'égard d'une partie des consorts (let. b). Hormis les décisions préjudicielles et incidentes mentionnées à l'art. 92 al. 1 LTF, le recours n'est recevable contre de telles décisions que si elles peuvent causer un dommage irréparable ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (art. 93 al. 1 let. a et b LTF).
1.2 En l'espèce, l'arrêt attaqué porte sur deux objets distincts. D'une part, le Tribunal cantonal a confirmé le refus de renouveler la concession pour usage d'eau. D'autre part, il a renvoyé la cause au Département de la sécurité pour qu'il complète l'instruction et statue à nouveau sur la question de la remise en état des lieux. Le recours en matière de droit public selon les art. 82 ss LTF est donc ouvert contre le premier objet, à savoir le refus de renouveler la concession litigieuse, le Tribunal cantonal ayant mis définitivement fin à la procédure sur le plan cantonal. Il s'agit en effet d'une décision partielle au sens de l'art. 91 let. a LTF, prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de la protection de la nature et de l'utilisation de lacs dépendant du domaine public (art. 82 let. a LTF).
L'instance précédente n'a en revanche pas tranché le second objet, à savoir la question de la remise en état des lieux. Dans la mesure où la cause a été renvoyée à l'administration pour complément d'instruction, le second objet de l'arrêt attaqué n'est donc pas une décision finale (art. 90 LTF), mais une décision de renvoi, donc incidente au sens de l'art. 93 LTF (ATF 135 III 329 consid. 1.2; 135 V 141 consid. 1.1). Il appartient donc aux recourants d'alléguer et d'établir la possibilité que cette décision leur cause un dommage irréparable (art. 93 al. 1 let. a LTF; ATF 134 III 426 consid. 1.2), à moins que celui-ci ne fasse d'emblée aucun doute (ATF 133 III 629 consid. 2.3.1 in fine), ou que l'admission du recours puisse conduire immédiatement à une décision finale permettant d'éviter une procédure probatoire longue et coûteuse (art. 93 al. 1 let. b LTF). Le recours déposé en l'espèce ne contient aucun exposé répondant à ces exigences. Le Tribunal de céans ne peut donc pas entrer en matière sur les griefs dirigés contre le second objet de l'arrêt attaqué, soit la question de la remise en état des lieux.
1.3 Les recourants ont pris part à la procédure de recours devant le Tribunal cantonal. Ils sont particulièrement touchés par l'arrêt attaqué confirmant le refus de renouvellement de la concession pour usage d'eau sollicitée. Ils peuvent ainsi se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué, et ont qualité pour agir au sens de l'art. 89 al. 1 LTF.
1.4 Le "nouveau mémoire rectifié et complété", daté du 17 mai 2011, et destiné à remplacer celui qui a été adressé au Tribunal fédéral le 16 mai 2011 est irrecevable, pour cause de tardiveté (art. 100 al. 1 et 46 al. 1 let. a LTF).
2. Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, les recourants se plaignent d'une constatation "fantaisiste manifestement inexacte d'un fait déterminant". Ils reprochent au Tribunal cantonal d'avoir qualifié l'acte de concession du 2 mars 1973 formellement intitulé "pour usage d'eau" de "concession de port". Ils prétendent que l'objet de la concession dont ils ont sollicité le renouvellement est l'usage de l'eau du lac et non le maintien de leur port privé.
2.1 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 137 I 58 consid. 4.1.2) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
Le recourant qui entend contester les constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF sont réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 133 II 249 consid. 1.4.3).
2.2 En l'occurrence, il est vrai que le Tribunal cantonal a parfois utilisé le terme de "concession de port" en lieu et place de celui de "concession pour usage d'eau". L'expression "concession de port" peut toutefois être comprise comme une formule elliptique signifiant "concession pour usage d'eau destinée à l'alimentation d'un port". En effet, l'acte de concession pour usage d'eau du 2 mars 1973 avait autorisé l'Association à faire usage des eaux du lac de Neuchâtel, "pour la construction de deux jetées et pour l'alimentation de son port privé de plaisance".
Au demeurant, les intéressés ne démontrent pas en quoi la rectification sollicitée permettrait de trancher différemment la question du renouvellement de la concession litigieuse. Ils ne peuvent être suivis lorsqu'ils prétendent que la concession litigieuse ne concerne que les jetées et non le port proprement dit (places d'amarrage). En effet, l'avis de mise à l'enquête publique, publié dans la Feuille des avis officiels du canton de Vaud le 25 janvier 2008, fait état du "renouvellement de la concession d'eau n° 35/617, au bénéfice de l'Association, concernant le maintien d'un port privé de plaisance, ainsi que de deux jetées en enrochements, sur le domaine public cantonal du lac de Neuchâtel".
Ainsi, faute d'avoir une influence sur l'issue de la procédure, le grief de l'établissement arbitraire des faits doit être écarté.
3. Sur le fond, les recourants s'en prennent d'abord à l'arrêt attaqué "en tant qu'il vise le port privé sujet à permis de construire de la Municipalité de Chabrey". Ils prétendent que le Département de la sécurité n'était pas compétent pour statuer sur "la révocation du permis de construire" et se plaignent d'une violation des art. 22 ss LAT et 103 ss de la loi cantonale sur l'aménagement du territoire et les constructions du 4 décembre 1985 (LATC; RSV 700.11).
Ce grief doit être d'emblée rejeté, dans la mesure où il ne se rapporte pas à l'objet du litige. L'objet de la contestation n'est pas le permis de construire le port délivré par la Municipalité de Chabrey en 1972, mais le refus du renouvellement de la concession pour usage d'eau. Il a été exposé ci-dessus que le Tribunal cantonal n'a en effet pas tranché la question de la démolition du port (cf. supra consid. 1.2). Or, selon la jurisprudence, l'objet de la contestation qui peut être porté devant le Tribunal fédéral est déterminé par la décision attaquée (sur la notion d'objet de la contestation, voir ATF 125 V 413 consid. 1b p. 414; arrêt 2C_669/2008 du 8 décembre 2008, consid. 4.1 et les références citées) et par les conclusions des parties (art. 107 al. 1 LTF). Dès lors, faute de se rapporter à l'objet de la contestation, ce grief, dont la motivation ne satisfait de surcroît pas aux exigences de l'art. 42 al. 2 LTF, est irrecevable.
Il en va de même des griefs portant sur les digues et les ouvrages construits au bénéfice de la concession litigieuse.
4. Au sujet du renouvellement de la concession d'usage d'eau, les recourants avancent que "les motifs invoqués par les autorités intimées pour justifier de leur décision n'a [recte: n'ont] pas de portée propre, concrète, nouvelle et par rapport aux buts de la protection de la rive visées [recte: visés] par la décision de classement"; "dépourvue de tout fondement concret, la mesure de refus ordonnée ne [répondrait] à aucun intérêt prépondérant l'emportant sur celui des recourants visant au simple renouvellement de leur concession".
Il est douteux que ce reproche satisfasse aux exigences de motivation posées par l'art. 42 al. 2 LTF. Peu importe au demeurant puisque le grief est de toute façon mal fondé.
En effet, les raisons pour lesquelles un renouvellement de la concession pour usage d'eau n'a pas pu être octroyé ont été exposées de manière convaincante d'abord dans la décision du 13 février 2009, puis dans l'arrêt attaqué. De fait, après un examen détaillé, l'instance précédente a constaté que les dispositions fédérales et cantonales concernant l'aménagement du territoire et la protection de la nature avaient fondamentalement évolué depuis 1973 et qu'elles ne permettaient plus aujourd'hui de renouveler la concession. Elle a relevé que le port de Chabrey se situait désormais au coeur d'une réserve naturelle et était entouré de secteurs terrestres fragiles (forêts alluviales, marais et bosquets en zone marécageuse), protégés par quatre ordonnances fédérales (l'OSM, l'ordonnance sur les aires d'oiseaux d'eau et migrateurs d'importance internationale et nationale, l'ordonnance sur la protection des zones alluviales d'importance nationale et l'ordonnance sur la protection des bas-marais d'importance nationale). Elle a exposé que, sur la base de ces ordonnances, le canton de Vaud avait adopté, le 25 mars 2002, une décision de classement de réserve naturelle notamment pour sauvegarder les écosystèmes du lac et préserver les biotopes; pour ces raisons, la navigation a été interdite dans ce secteur (art. 12 du règlement de la décision de classement). Une disposition transitoire, l'art. 21 al. 1 du règlement de la décision de classement, avait cependant permis l'exploitation du port jusqu'à l'échéance des droits d'amarrage, soit jusqu'à fin 2002.
Le Tribunal cantonal a également retenu que l'utilisation du port portait un préjudice important à la faune par la circulation des embarcations à proximité des milieux naturels de grande valeur. L'exploitation du port était donc incompatible avec les buts poursuivis par la décision de classement qui met en oeuvre les ordonnances fédérales.
Ainsi, l'intérêt public prépondérant auquel répond le non-renouvellement de la concession pour usage d'eau ressort de manière patente de l'arrêt attaqué.
Enfin, on peine à suivre les recourants lorsqu'ils mettent en avant le fait que l'interdiction de naviguer à moins de 25 m de la végétation aquatique est déjà décrétée par l'ordonnance sur la navigation dans les eaux suisses du 8 novembre 1978 (RS 747.201.1). Cet élément n'a en effet aucune incidence sur la question du renouvellement de la concession litigieuse.
5. Dans leur réplique, les intéressés se plaignent d'une violation des art. 24c et 25 LAT ainsi que des art. 41 et 42 al. 4 de l'ordonnance du 28 juin 2000 sur l'aménagement du territoire (OAT; RS 700.1).
Ce grief ne peut être pris en compte, dans la mesure où les recourants ne l'ont pas fait valoir dans leur recours. En effet, le mémoire de réplique ne peut contenir qu'une argumentation de fait et de droit complémentaire, destinée à répondre aux arguments nouveaux développés dans le mémoire de réponse. Il ne saurait en revanche être utilisé aux fins de présenter de nouvelles conclusions ou de nouveaux griefs qui auraient déjà pu figurer dans l'acte de recours (ATF 125 I 71 consid. 1d/aa p. 77 et les références citées). Admettre le contraire aurait en effet pour conséquence de prolonger les délais légaux, ce qui est expressément prohibé par l'art. 47 al. 1 LTF, et de créer des inégalités de traitement. Par conséquent, ce moyen n'est pas recevable.
6. Il s'ensuit que le recours doit être rejeté, dans la mesure de sa recevabilité. Les recourants, qui succombent, doivent supporter les frais de la présente procédure (art. 66 al. 1 LTF). Ils verseront en outre une indemnité de dépens à Pro Natura et consorts, qui obtiennent gain de cause avec l'assistance d'un avocat (art. 68 al. 1 et 2 LTF)
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure de sa recevabilité.
2. Les frais judiciaires, arrêtés à 4'000 francs, sont mis à la charge des recourants.
3. Une indemnité de 2'000 francs est allouée à Pro Natura et consorts à titre de dépens, à la charge des recourants, pris solidairement entre eux.
4. Le présent arrêt est communiqué aux mandataires des recourants, de la Municipalité de Vully-les-Lacs, et de Pro Natura et consorts, ainsi qu'au Service des eaux, sols et assainissement, au Centre de Conservation de la faune et de la nature du Service des forêts, de la faune et de la nature, au Service du développement territorial et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral de l'environnement et à l'Office fédéral du développement territorial.
Lausanne, le 16 janvier 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Aemisegger
La Greffière: Tornay Schaller