Faits : A. Le 22 septembre 2015, X._ a déposé une plainte pénale au ministère public de l'arrondissement de La Côte contre inconnu pour contrainte, lésions corporelles simples, séquestration, atteinte à l'honneur et dommages à la propriété. A l'appui de sa plainte, il exposait que, le 24 juin 2015, il avait consulté son médecin traitant, A._, pour un contrôle du cholestérol. Elle l'avait trouvé déprimé et lui avait suggéré d'aller consulter un psychiatre, ce qu'il avait accepté. Elle avait alors fait appel à une ambulance afin qu'il soit pris en charge immédiatement. Deux ambulanciers de la société B._ SA se sont rendus au cabinet médical mais X._ a refusé de les suivre, déclarant qu'il était capable de rentrer chez lui par ses propres moyens. Selon ses dires, après qu'il eut quitté le cabinet médical, alors qu'il se dirigeait vers sa voiture, les deux ambulanciers sont arrivés derrière lui, l'ont immobilisé en lui causant de fortes douleurs, l'ont mis à terre en provoquant des dommages matériels et ont proféré à son encontre des propos attentatoires à l'honneur. Les ambulanciers l'ont maintenu à terre jusqu'à l'arrivée de la police. Il a ensuite été conduit à l'hôpital psychiatrique de Prangins, menotté. Enfermé dans une cellule de sécurité, il a pu sortir le lendemain matin, le médecin-chef lui expliquant qu'il s'agissait d'un malentendu. X._ s'est alors rendu à l'hôpital de Nyon pour faire constater ses blessures. Il a indiqué dans sa plainte avoir annexé les certificats médicaux ainsi que les photos de ses blessures. Cependant, aucune pièce n'était jointe à la plainte déposée. Par ordonnance du 2 novembre 2015, le ministère public de l'arrondissement de La Côte a refusé d'entrer en matière et laissé les frais à la charge de l'Etat. Le ministère public a considéré que les ambulanciers étaient intervenus légalement dans le cadre de leurs fonctions (art. 14 CP) à la suite du placement à des fins d'assistance ordonné par la Dresse A._. B. Par arrêt du 25 janvier 2016, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par X._ contre l'ordonnance précitée. C. Contre l'arrêt cantonal, X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause au ministère public de l'arrondissement de La Côte pour qu'il ouvre une instruction pénale contre les ambulanciers de B._ SA pour lésions corporelles simples, séquestration, atteinte à l'honneur et dommages à la propriété. Le Tribunal cantonal a été invité à produire son dossier sans échange d'écriture (art. 102 al. 2 LTF).