Faits :
A.
Par ordonnance du 10 février 2014, le Procureur général du canton de Vaud a refusé d'entrer en matière sur la plainte pénale déposée par X._ pour violation du secret professionnel et complicité de violation du secret professionnel contre deux médecins psychiatres s'étant occupé et s'occupant de son suivi dans deux prisons vaudoises.
B.
Par arrêt du 19 février 2014, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours interjeté contre cette ordonnance par X._.
C.
Ce dernier forme un recours en matière pénale et un recours constitutionnel subsidiaire contre cet arrêt auprès du Tribunal fédéral. Il conclut à son annulation et à ce qu'il lui soit "donné gain de cause". Il sollicite par ailleurs l'assistance judiciaire.
Considérant en droit :
1.
Le jugement attaqué, qui est final, a été rendu dans une cause de droit pénal. Il peut donc faire l'objet d'un recours en matière pénale (art. 78 ss LTF), qui permet d'invoquer notamment toute violation du droit fédéral, y compris des droits constitutionnels (art. 95 let. a LTF). Le recours constitutionnel subsidiaire est donc exclu (art. 113 LTF). Au demeurant, la qualité pour recourir n'est pas plus large dans ce recours que dans celui en matière pénale, puisque l'une et l'autre voie supposent un intérêt juridique au recours (cf. art. 81 al. 1 let. b et 115 let. b LTF).
2.
Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles.
2.1. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des art. 41 ss CO. Selon l'art. 42 al. 1 LTF, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir (ATF 138 III 537 consid. 1.2 p. 539; 133 II 353 consid. 1 p. 356). Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles (ATF 137 IV 246 consid. 1.3.1 p. 248). Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. art. 119 al. 2 let. b CPP), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. art. 320 al. 3 CPP). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre la personne visée par sa plainte. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte. Le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (ATF 138 IV 186 consid. 1.4.1 p. 189; 137 IV 219 consid. 2.4 p. 222 s.).
2.2. Le recourant se plaint des décisions entreprises et cite plusieurs dispositions constitutionnelles que les médecins mis en cause et les autorités précédentes auraient violées. Il n'explique toutefois pas dans quelle mesure il détiendrait contre ces médecins des prétentions civiles. Comme l'admet le recourant, ces médecins ont agi dans le cadre de leur fonction au sein de prisons vaudoises. Or, la loi vaudoise du 16 mai 1961 sur la responsabilité de l'Etat, des communes et de leurs agents (LRECA; RS/VD 170.11) prévoit que l'Etat et les corporations communales répondent du dommage que leurs agents causent à des tiers d'une manière illicite (art. 4 al. 1). L'agent n'est pas tenu personnellement envers le lésé de réparer le dommage (art. 5; cf. arrêt 6B_769/2013 du 16 janvier 2014 consid. 1.2). Ainsi, le recourant pourrait au plus disposer d'une prétention de droit public contre l'État. Or, une telle prétention ne peut être invoquée dans le procès pénal par voie d'adhésion et ne constitue dès lors pas une prétention civile au sens de l'art. 81 LTF (ATF 138 IV 86 consid. 3.1 p. 88).
2.3. Pour le surplus, le recourant n'invoque pas de violation de son droit de porter plainte (art. 81 al. 1 let. b ch. 6 LTF) ou de ses droits de partie équivalant à un déni de justice formel (cf. ATF 138 IV 78 consid. 3.1 p. 79 s.).
Il résulte de ce qui précède que le recourant n'a pas la qualité pour recourir auprès du Tribunal fédéral contre l'arrêt du 19 février 2014.
3.
Le recours est irrecevable. Il est écarté en application de l'art. 108 al. 1 let. a LTF. Le recours étant voué à l'échec, l'assistance judiciaire est refusée. Le recourant supporte les frais de la cause, réduits pour tenir compte de sa situation financière.
Par ces motifs, le Juge unique prononce :
1.
Le recours est irrecevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaire, arrêtés à 500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 8 septembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge unique : La Greffière :
Denys Cherpillod