Faits :
A.
Le 15 novembre 2013, X._ a déposé une plainte pénale contre A._, Présidente du Tribunal d'arrondissement du Nord vaudois, pour abus d'autorité. Il reprochait à cette magistrate de lui avoir interdit, sans raison, d'accéder à la salle d'audience dans laquelle un procès était sur le point de débuter le 4 novembre 2013.
B.
Par ordonnance du 13 décembre 2013, le Procureur général du Ministère public du canton de Vaud n'est pas entré en matière sur cette plainte au motif que l'interdiction faite à X._ poursuivait un but légitime, compte tenu de ses comportements récurrents à l'encontre de la justice, respectait les règles sur la publicité des débats et ne procédait pas d'un dessein de nuire.
C.
La Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours interjeté par X._ contre l'ordonnance de non-entrée en matière et a confirmé cette dernière, par arrêt du 17 janvier 2014. Les frais de la procédure de recours étaient mis à la charge du recourant.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre la décision cantonale et conclut à son admission dans la mesure où il est recevable et au renvoi de la cause à l'autorité inférieure pour nouvelle décision dans le sens des considérants. Il sollicite en outre l'assistance judiciaire.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 46).
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>.
En vertu de l'<ref-law>, il incombe à la partie recourante d'alléguer les faits qu'elle considère comme propres à fonder sa qualité pour recourir (<ref-ruling> consid. 1.2 p. 539; <ref-ruling> consid. 1 p. 356). Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, il n'est pas nécessaire que la partie plaignante ait déjà pris des conclusions civiles (<ref-ruling> consid. 1.3.1 p. 248). En revanche, elle doit expliquer dans son mémoire quelles prétentions civiles elle entend faire valoir contre l'intimé à moins que, compte tenu notamment de la nature de l'infraction alléguée, on puisse déduire directement et sans ambiguïté quelles prétentions civiles pourraient être élevées et en quoi la décision attaquée pourrait influencer négativement leur jugement (<ref-ruling> consid. 2.4 p. 222 s.).
1.2. Le recourant se borne à affirmer qu'il a " manifestement un intérêt juridique à l'annulation o [sic] à la modification de la décision attaquée ", et ne consacre aucun développement sur la question de ses prétentions civiles.
En tout état, elles ne sauraient être admises en l'espèce, dans la mesure où, lorsqu'une collectivité publique assume une responsabilité de droit public exclusive de toute action directe contre l'auteur pour les actes qui lui sont reprochés, la partie plaignante ne dispose pas de prétentions civiles qu'elle peut faire valoir par adhésion au procès pénal (<ref-ruling> consid. 3.1 p. 88; <ref-ruling> consid. 2 p. 190; arrêts 6B_474/2013 du 23 août 2013 consid. 1.3; 1B_492/2012 du 10 décembre 2012 consid. 2, rendu dans une configuration similaire). Or tel est précisément le cas en l'espèce, puisque la loi vaudoise du 16 mai 1961 sur la responsabilité de l'Etat, des communes et de leurs agents (LRECA; RS/VD 170.11) prévoit que l'Etat et les corporations communales répondent du dommage que leurs agents causent à des tiers d'une manière illicite (art. 4 al. 1). L'agent n'est pas tenu personnellement envers le lésé de réparer le dommage (art. 5). Ainsi, en sa qualité de magistrate, A._ n'engage pas sa responsabilité personnelle mais celle de l'Etat (art. 3 al. 1 ch. 5 LRECA), le canton de Vaud ayant fait usage de la faculté réservée à l'<ref-law>.
Partant, faute pour le recourant de pouvoir élever des prétentions civiles à raison des faits reprochés à la magistrate, il ne peut fonder sa qualité pour recourir sur la base de l'art. 81 al. 1 let. b ch. 5 LTF.
Par ailleurs, l'hypothèse visée à l'art. 81 al. 1 let. b ch. 6 LTF n'entre pas en considération, la contestation ne portant pas sur le droit de porter plainte.
2.
Indépendamment des conditions posées par l'<ref-law>, la partie plaignante est aussi habilitée à se plaindre d'une violation de ses droits de partie équivalant à un déni de justice formel, sans toutefois pouvoir faire valoir par ce biais, même indirectement, des moyens qui ne peuvent être séparés du fond (<ref-ruling> consid. 1.3 p. 79 s.; <ref-ruling> consid. 1.9 p. 40).
Le recourant voit une violation de son droit d'être entendu dans l'absence de motivation de la décision rendue par la Présidente du Tribunal d'arrondissement du Nord vaudois. Il invoque une violation des art. 9, 29 al. 2 Cst., 6 par. 1 et 15 CEDH et allègue que, faute de motivation, la décision d'interdiction d'accès à la salle d'audience n'a pas pu être comprise par son destinataire qui a été empêché de la contester utilement devant l'autorité de recours, de sorte que celle-ci ne pouvait exercer un contrôle effectif. Ce faisant, il n'invoque pas une violation de ses droits de partie à la procédure pénale ouverte à la suite de sa plainte pour abus d'autorité, mais s'en prend à la décision l'ayant empêché d'assister à une audience en tant que membre du public dans un procès auquel il n'était pas partie (cf. arrêt 1C_332/2008 du 15 décembre 2008 consid. 1.2, sur la qualification d'une décision relative à la police de l'audience). Si pareilles critiques auraient pu intervenir dans le cadre d'un éventuel recours contre la décision d'expulsion en tant que telle, elles ne sont pas recevables dans le cadre d'un recours contre la confirmation de non-entrée en matière de sa propre plainte, puisqu'il n'est pas allégué que le Ministère public, respectivement la cour cantonale, auraient violé ses droits de partie en sa qualité de plaignant.
Le recourant se contente d'affirmer que le Ministère public ne s'est pas prononcé sur le respect de la systématique de l'<ref-law>. Or en l'espèce, l'ordonnance de non-entrée en matière résultait du fait que les éléments constitutifs de l'infraction d'abus d'autorité n'étaient pas réunis (<ref-law>; cf. <ref-law>), soit notamment le dessein de la magistrate de nuire personnellement au recourant; constatation que ce dernier ne conteste au demeurant d'aucune manière (cf. art. 42 al. 2 et art. 106 al. 2 LTF). Dans la mesure où l'infraction dénoncée n'était manifestement pas réalisée, il n'appartenait pas au Ministère public de se prononcer sur le respect de l'<ref-law>.
En définitive, le recourant n'a pas la qualité pour recourir.
3.
Le recours doit être déclaré irrecevable. Les conclusions du recourant étaient d'emblée dénuées de chance de succès. L'assistance judiciaire doit être refusée (<ref-law>). Le recourant, qui succombe, supporte les frais de la procédure, qui seront fixés en tenant compte de sa situation économique qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, fixés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 25 septembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Mathys
La Greffière : Boëton