Faits : A. Le 25 juin 2007, X._ a déposé plainte pénale contre inconnu. Il a expliqué avoir été pris en charge par des policiers, puis par une ambulance, le matin du 23 juin 2007, au chemin A._ à Lausanne. Il avait le visage ensanglanté et présentait différentes blessures. L'enquête a permis de conclure qu'il avait très vraisemblablement chuté, en regagnant son domicile, de l'esplanade d'une hauteur d'environ 4 mètres jouxtant l'entrée de l'immeuble qu'il habite, avenue B._. Il présentait au moment des faits un taux d'alcoolémie de 1,7 g o/oo. Il a souffert de multiples fractures à la face, d'une fracture frontale gauche, de fractures des orbites, d'une contusion de la moelle cervicale au niveau C5 ainsi que d'une fracture multi-fragmentaire de la rotule gauche. Des ecchymoses et des dermabrasions étaient en outre présentes au niveau de la tête, notamment de la face. L'intervention d'un tiers étant écartée, le plaignant a demandé que les investigations soient réorientées en vue de déterminer pourquoi la hauteur du garde-corps bordant l'esplanade n'avait pas été adaptée aux exigences de la norme SIA 358 et, le cas échéant, qui était responsable de cette carence. Par ordonnance du 13 novembre 2009, le Juge d'instruction de l'arrondissement de Lausanne, a prononcé un non-lieu. Par arrêt du 9 décembre 2009, le Tribunal d'accusation a confirmé cette décision, en considérant que le comportement du plaignant, fortement alcoolisé, avait interrompu le lien de causalité adéquate entre la non-conformité du garde-corps à la norme SIA 358 et les lésions subies. Par arrêt du 21 octobre 2010 (6B_185/2010), la cour de céans a annulé cette décision et renvoyé la cause à l'autorité cantonale au sens des considérants. En bref, la décision cantonale ne constatait pas formellement la hauteur du garde-corps. La cour cantonale ne s'était pas non plus prononcée expressément sur le risque qu'il pouvait représenter à cet endroit eu égard à sa hauteur et ne précisait pas non plus si le comportement de l'éventuel auteur relevait de l'action ou de l'omission. Compte tenu de l'indétermination de tous ces éléments, seules des circonstances tout à fait exceptionnelles ou extraordinaires auraient permis d'exclure d'emblée tout lien de causalité adéquate avec le dommage subi par le recourant. De surcroît, au stade où se trouvait la procédure, la difficulté d'établir le comportement de la victime, en tant qu'il pourrait constituer un facteur libératoire pour l'auteur, devait plutôt, si ce dernier pouvait être identifié, conduire au renvoi de la cause à l'autorité de jugement (in dubio pro duriore). Une retenue s'imposait d'autant plus que le non-lieu, motivé en droit, était susceptible d'acquérir l'autorité de chose jugée. L'ensemble de ces éléments conduisait à exiger d'autant plus strictement que le caractère interruptif de la causalité du comportement de la victime soit clairement établi. Cette condition n'était pas réalisée. La cause a dès lors été renvoyée à l'autorité cantonale afin qu'elle complète l'instruction. Il s'agissait, avant d'examiner une éventuelle interruption du lien de causalité, de se prononcer notamment sur la question de la négligence en relation avec la hauteur du garde-corps érigé en 1961. L'autorité cantonale a été invitée à rechercher si une personne responsable pouvait être tenue juridiquement (position de garant) d'adapter la barrière aux normes nouvelles édictées depuis lors ou, de manière plus générale, de modifier ce dispositif de sécurité afin de le rendre plus efficace. Il fallait, en particulier, rechercher si cette obligation découlait du droit cantonal, éventuellement d'une décision de l'autorité ou encore si les circonstances l'imposaient. Par ordonnance du 3 juillet 2013, le Procureur de l'arrondissement de Lausanne, après avoir rejeté diverses réquisitions de preuve de X._, a ordonné le classement de la procédure, considérant qu'il n'existait aucune obligation de modifier le dispositif de sécurité. B. Saisie d'un recours de X._, par arrêt du 6 février 2014, la Chambre des recours pénale du Tribunal cantonal vaudois l'a rejeté. C. X._ forme un recours en matière pénale contre cette décision. Il conclut, avec suite de frais et dépens, principalement, à l'annulation de l'arrêt querellé et au renvoi de la cause à l'autorité de première instance afin qu'elle procède à certaines mesures d'instruction tendant à l'identification et au renvoi en jugement de diverses personnes. A titre subsidiaire, il demande qu'il soit constaté qu'il est victime d'un déni de justice.