Faits :
A.
Le 22 septembre 2015, X._ a déposé une plainte pénale au ministère public de l'arrondissement de La Côte contre inconnu pour contrainte, lésions corporelles simples, séquestration, atteinte à l'honneur et dommages à la propriété. A l'appui de sa plainte, il exposait que, le 24 juin 2015, il avait consulté son médecin traitant, A._, pour un contrôle du cholestérol. Elle l'avait trouvé déprimé et lui avait suggéré d'aller consulter un psychiatre, ce qu'il avait accepté. Elle avait alors fait appel à une ambulance afin qu'il soit pris en charge immédiatement. Deux ambulanciers de la société B._ SA se sont rendus au cabinet médical mais X._ a refusé de les suivre, déclarant qu'il était capable de rentrer chez lui par ses propres moyens. Selon ses dires, après qu'il eut quitté le cabinet médical, alors qu'il se dirigeait vers sa voiture, les deux ambulanciers sont arrivés derrière lui, l'ont immobilisé en lui causant de fortes douleurs, l'ont mis à terre en provoquant des dommages matériels et ont proféré à son encontre des propos attentatoires à l'honneur. Les ambulanciers l'ont maintenu à terre jusqu'à l'arrivée de la police. Il a ensuite été conduit à l'hôpital psychiatrique de Prangins, menotté. Enfermé dans une cellule de sécurité, il a pu sortir le lendemain matin, le médecin-chef lui expliquant qu'il s'agissait d'un malentendu.
X._ s'est alors rendu à l'hôpital de Nyon pour faire constater ses blessures. Il a indiqué dans sa plainte avoir annexé les certificats médicaux ainsi que les photos de ses blessures. Cependant, aucune pièce n'était jointe à la plainte déposée.
Par ordonnance du 2 novembre 2015, le ministère public de l'arrondissement de La Côte a refusé d'entrer en matière et laissé les frais à la charge de l'Etat. Le ministère public a considéré que les ambulanciers étaient intervenus légalement dans le cadre de leurs fonctions (<ref-law>) à la suite du placement à des fins d'assistance ordonné par la Dresse A._.
B.
Par arrêt du 25 janvier 2016, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par X._ contre l'ordonnance précitée.
C.
Contre l'arrêt cantonal, X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause au ministère public de l'arrondissement de La Côte pour qu'il ouvre une instruction pénale contre les ambulanciers de B._ SA pour lésions corporelles simples, séquestration, atteinte à l'honneur et dommages à la propriété. Le Tribunal cantonal a été invité à produire son dossier sans échange d'écriture (<ref-law>).

Considérant en droit :
1.
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>.
Selon l'art. 42 al. 1 et 2 LTF, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. <ref-law>), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. <ref-law>). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4).
1.2. Le recourant affirme qu'il a des prétentions civiles à faire valoir contre les intimés en raison des actes de contrainte, lésions corporelles simples, séquestration, atteinte à l'honneur et dommage à la propriété qu'il leur reproche, le dommage s'élevant selon lui à la valeur de remplacement des verres de lunettes et de son tee-shirt, des frais de la consultation à l'hôpital de Nyon et du transport en ambulance ainsi que des suites financières de son incapacité de travail. Les frais de remplacement de son maillot ainsi que ceux résultant de son incapacité de travail ne sont pas documentés, quant aux frais de transport en ambulance, ils ne peuvent être imputés aux intimés. Le recourant ne fournit pas d'explication détaillée sur l'existence d'un tort moral, en particulier sur la gravité de l'atteinte et l'ampleur de sa souffrance morale. Il ne fait pas non plus de distinction sur le fondement de ses prétentions en considération des infractions distinctes qu'il invoque. Il est douteux que la motivation fournie soit suffisante au regard de l'<ref-law>. Quoi qu'il en soit, vu le sort du recours, cette question peut rester ouverte.
2.
Le recourant invoque la violation de l'<ref-law> en relation avec l'adage in dubio pro duriore.
2.1. Conformément à l'<ref-law>, le ministère public rend immédiatement une ordonnance de non-entrée en matière s'il ressort de la dénonciation ou du rapport de police que les éléments constitutifs de l'infraction ou les conditions à l'ouverture de l'action pénale ne sont manifestement pas réunis. L'entrée en matière peut encore être refusée au terme des investigations policières (art. 306 et 307 CPP) - même diligentées à l'initiative du procureur - si les conditions de l'<ref-law> sont réunies (arrêt 1B_183/2012 du 20 novembre 2012 consid. 3). Selon la jurisprudence, cette disposition doit être appliquée conformément à l'adage in dubio pro duriore (arrêt 6B_127/2013 du 3 septembre 2013 consid. 4.1). Celui-ci découle du principe de la légalité (art. 5 al. 1 Cst. et 2 al. 1 CPP en relation avec les art. 309 al. 1, 319 al. 1 et 324 CPP; <ref-ruling> consid. 4.2 p. 91) et signifie qu'en principe un classement ou une non-entrée en matière ne peuvent être prononcés par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave (<ref-ruling> consid. 4.1.2 p. 91; 186 consid. 4.1 p. 190; <ref-ruling> consid. 2.5 p. 288 s.).
2.2. Conformément à l'<ref-law>, quiconque agit comme la loi l'ordonne ou l'autorise se comporte de manière licite, même si l'acte est punissable en vertu de ce même code ou d'une autre loi. La licéité de l'acte est, en tous les cas, subordonnée à la condition qu'il soit proportionné à son but (<ref-ruling> consid. 4 p. 86).
La loi vaudoise d'application du droit fédéral de la protection de l'adulte et de l'enfant (désignée ci-après LVPAE / RS VD 211.255) prévoit à son art. 23 que le médecin qui rend la décision de placement enjoint au malade de se rendre dans l'établissement désigné. L'alinéa 2 indique que, s'il y a lieu, il fait appel à des proches du malade, et s'il n'est pas possible de procéder autrement, à la force publique, par l'intermédiaire du préfet. L'<ref-law> autorise la personne chargée de l'exécution à demander, en cas de nécessité, le concours de la police. Les mesures de contrainte directes, doivent, en règle générale, faire l'objet d'un avertissement (art. 450g al. 3 i.f. CC). Il peut être renoncé à cet avertissement, dans des cas exceptionnels, pour ne pas faire échouer le but de protection de la mesure (Message du Conseil fédéral relatif à la révision du Code civil suisse du 28 juin 2006, FF 2006 6635, p. 6720-6721; KURT AFFOLTER, in Basler Kommentar ZBG, 5ème éd. 2014, n° 51 ad art. 450g).
2.3. En l'occurrence, le médecin traitant du recourant, la Dresse A._, a considéré qu'un placement à des fins d'assistance au sens de l'<ref-law> était justifié par les circonstances. Se fondant sur l'art. 23 LVPAE, elle a établi un formulaire « PLAFA » et l'a transmis aux ambulanciers qu'elle avait requis pour conduire le recourant à l'hôpital psychiatrique de Prangins. Cette décision ne fait pas l'objet de la présente procédure.
La Chambre des recours pénale a souligné que l'action des ambulanciers était légitime au regard de l'<ref-law> car elle avait permis d'atteindre le but de protection visé par l'ordre établi par le médecin traitant. En effet, il est possible, selon la loi, de faire appel à la force publique pour mener à bien la conduite dans un établissement approprié et a fortiori de requérir que les ambulanciers tentent de procéder au transport médicalisé. Ces derniers, chargés de l'exécution de l'ordre de placement délivré par la Dresse A._, ne sont pas parvenus à l'exécuter en raison de la forte opposition du recourant. Ils ont donc, comme la loi les y autorise, fait appel aux policiers et ont été contraints de faire usage de la force jusqu'à leur arrivée pour immobiliser le recourant qui hurlait et se débattait. Comme l'a souligné la juridiction précédente, si les ambulanciers ne l'avaient pas maintenu à terre et appelé la police, il est à craindre que l'exécution de la décision médicale de placement en milieu psychiatrique, décidé par le médecin traitant, n'échoue.
Dès lors, la cour cantonale n'a pas violé le droit fédéral en considérant que l'action des ambulanciers était légitime au sens de l'<ref-law> et que c'est à juste titre que le procureur avait conclu à la licéité des actes reprochés, s'agissant des éventuelles atteintes à l'intégrité corporelle et à la liberté.
2.4. Ce qui précède rend superflu l'examen du grief relatif à la violation du droit d'être entendu pour défaut d'interpellation du recourant sur la production des pièces annexées à sa plainte.
2.5. Le recourant se plaint également de dommages à la propriété en raison des rayures sur ses verres de lunettes dues aux violences dont il aurait été victime. La cour cantonale souligne d'une part qu'aucune pièce n'établit le dommage et que, d'autre part, l'élément subjectif de l'infraction fait ici défaut. Il ressort du rapport de police que le recourant se trouvait, à l'arrivée des forces de l'ordre, couché face contre terre, qu'il hurlait et gesticulait, ses lunettes se trouvant à ses côtés. Les ambulanciers étaient entièrement occupés à mettre en oeuvre la décision médicale et on ne saurait considérer qu'ils ont voulu, ou accepté si cela devait se produire, que les lunettes du recourant soient endommagées. L'élément intentionnel du dommage à la propriété n'est pas réalisé, même par dol éventuel. Il en va de même des propos échangés qui, comme l'a relevé la cour cantonale, ne comportaient aucune atteinte à l'honneur du recourant. Quant à la prétendue séquestration, elle ne peut à l'évidence être réalisée en l'espèce, les ambulanciers ne faisant qu'exécuter une décision médicale dont il ne leur appartenait pas de discuter le bien-fondé.
2.6. Il en résulte que la Chambre des recours pénale a confirmé, sans violer le droit fédéral et le principe "in dubio pro duriore", l'ordonnance de classement rendue par le ministère public.
3.
Il s'ensuit que le recours est rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 22 août 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy