Faits : A. A._ souffrait d'une schizophrénie paranoïde et a connu de ce fait plusieurs épisodes d'institutionnalisation, dont notamment une hospitalisation en octobre 2012 pour décompensation maniaque avec symptômes psychotiques. En 2014, un placement à des fins d'assistance (ci-après PLAFA) a été décidé le 13 janvier et le patient transféré à l'hôpital psychiatrique de Prangins pour mise à l'abri d'un risque hétéro-agressif. Après avoir été placé en chambre de soins intensifs, il a pu sortir de ce service et bénéficier, le 22 janvier 2014, d'une levée du PLAFA. Néanmoins, le 27 janvier 2014, le patient a été transféré au Centre de psychiatrie du Nord vaudois en raison d'un risque d'hétéro-agressivité élevé. Il a été placé en chambre de soins intensifs, puis a pu en sortir avant d'être transféré à l'hôpital psychiatrique de Prangins. Dans la journée, il a à nouveau été placé en chambre de soins intensifs. Le 28 janvier 2014, un nouveau PLAFA a été décidé. Le 1er février 2014, vers 17 h, le Dr B._ a rendu visite à A._, en qualité de médecin-délégué. Il était accompagné de l'infirmier X._, membre de l'équipe en charge du patient depuis le début de son séjour à Prangins, ainsi que de deux autres infirmiers. Le patient a indiqué qu'il ne voyait pas pourquoi il devait rester à l'hôpital. Le médecin a toutefois constaté qu'il était délirant et n'était dès lors pas en mesure de coopérer dans le cadre d'un traitement. Il lui est apparu que le patient avait besoin de soins en milieu hospitalier fermé et a signifié au patient qu'il devrait rester à l'hôpital contre son gré. Malgré deux directives émises par le Département de psychiatrie du CHUV imposant que " deux soignants soient présents lors de soins directs au patient dans la chambre de soins intensifs ", X._ a pris l'initiative de passer un accord avec A._, aux termes duquel l'infirmier pourrait aller voir seul le patient lorsque celui l'appellerait, à condition que l'intéressé ne se montre pas violent et ne tente pas de s'enfuir. X._ pouvait de la sorte se rendre plus souvent auprès du patient pour répondre à ses angoisses. Ainsi, après le départ du Dr B._, sachant que l'entretien avait été une déception pour le patient, X._ est passé voir celui-ci. Il est alors resté à l'extérieur de la chambre de soins intensifs et a vu le patient assis sur son lit. L'ayant trouvé calme, il s'en est allé. Peu après, A._ a sonné à nouveau. X._ est alors revenu et a ouvert la première porte de la chambre. Il a vu, à travers la seconde porte, fermée à clef et partiellement vitrée, du sas d'entrée de la chambre de soins intensifs que A._ l'attendait debout, à environ deux mètres de distance. X._, seul, a ouvert la seconde porte. Le patient a immédiatement bondi et poussé fortement la porte qui s'est ouverte vers l'extérieur. Il a réussi à mettre son bras dans l'ouverture et a tenté de passer. X._ a déclenché son alarme et est parvenu à faire tomber le patient entre les deux portes du sas. Ce dernier s'est toutefois relevé et a quitté la chambre. Après avoir poursuivi son patient dans le couloir puis dans le hall de l'hôpital et l'avoir fait tomber à deux reprises, X._, moins fort que l'intéressé, a abandonné la poursuite et laissé s'échapper de l'établissement le patient. Le 1er février 2014, à 17 h 45, le personnel de l'hôpital psychiatrique de Prangins a signalé la fuite de A._ à la police. Celle-ci a mené durant les jours qui ont suivi des recherches qui sont toutefois restées vaines. Le 7 février 2014, vers 11 h 40, des baigneurs ont découvert dans le lac Léman le corps sans vie de A._, à proximité de la plage de C._, à D._. B. Par ordonnance du 3 octobre 2016, le Ministère public central du canton de Vaud a classé la procédure pénale dirigée contre X._ pour homicide par négligence, a refusé de lui accorder une indemnité fondée sur l'art. 429 CPP et a mis les frais à sa charge. Au vu des circonstances, cette autorité a décidé de renoncer à renvoyer X._ en jugement sous la prévention d'homicide par négligence et rendu une ordonnance de classement en faisant une application par analogie de l'art. 53 CP. C. Par arrêt du 9 décembre 2016, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé contre cette ordonnance par X._. D. Ce dernier forme un recours en matière pénale au Tribunal fédéral à l'encontre de cet arrêt. Il en requiert, avec suite de frais et dépens, la réforme en ce sens qu'une indemnité pour l'exercice de ses droits de procédure lui est accordée par 9'236 fr. et que les frais de première instance sont laissés à la charge de l'Etat. Il conclut à titre subsidiaire à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite l'octroi de l'effet suspensif.