Faits : A. Dans le cadre d'une affaire pénale, l'avocat Y._ a requis la récusation du procureur A._ au motif que ce dernier éprouverait une certaine inimitié à l'égard de son étude du fait que son associée, l'avocate X._, défendait B._, épouse du procureur, dans un dossier qui les opposait tous les deux. Le 26 novembre 2015, B._ a écrit à son avocate, l'accusant de « violation de la sphère privée et du secret professionnel, aggravée par l'absence de mandat ». Elle reprochait à X._ d'avoir autorisé l'accès à son dossier à un associé de son étude, celui-ci ayant ensuite utilisé ces informations dans le cadre de l'affaire pénale précitée. B. Le 4 décembre 2015, l'avocate X._ a dénoncé le procureur A._ pour violation du secret de fonction. Par acte du 15 décembre 2015, l'avocat Y._ s'est joint à cette dénonciation et a également déposé une plainte pénale pour le même motif. Ils lui reprochaient en substance d'avoir informé B._ de l'existence de la requête de récusation déposée par Y._. C. Par ordonnance du 18 décembre 2015, le Procureur du Ministère public central, division affaires spéciales, contrôle et mineurs, du canton de Vaud n'est pas entré en matière sur la dénonciation de X._ et la dénonciation/plainte de Y._ contre le procureur A._. D. Par arrêt du 16 février 2016, la Chambre des recours pénale du Tribunal cantonal vaudois a déclaré irrecevable le recours formé par X._ et Y._ contre l'ordonnance de non-entrée en matière précitée. E. Contre ce dernier arrêt, X._ et Y._ déposent un recours en matière pénale devant le Tribunal fédéral. Ils concluent, principalement, à la réforme de l'arrêt attaqué en ce sens que l'ordonnance de non-entrée en matière du 18 décembre 2015 est annulée et le dossier renvoyé au Ministère public central pour instruction complémentaire au sens de l'art. 309 CPP; à titre subsidiaire, ils requièrent l'annulation de l'arrêt attaqué et le renvoi de la cause à la cour cantonale pour nouveau jugement. Invités à se déterminer, la cour cantonale et le Ministère public central y ont renoncé.