Faits: Faits: A. Au terme d'une enquête instruite, d'office et sur plainte de X._, contre inconnu pour lésions corporelles graves par négligence, le Juge d'instruction de la Côte a rendu, le 3 janvier 2005, une ordonnance de non-lieu. Saisi d'un recours de X._, le Tribunal d'accusation du Tribunal cantonal vaudois l'a rejeté par arrêt du 25 janvier 2005, confirmant l'ordonnance qui lui était déférée. Saisi d'un recours de X._, le Tribunal d'accusation du Tribunal cantonal vaudois l'a rejeté par arrêt du 25 janvier 2005, confirmant l'ordonnance qui lui était déférée. B. Cet arrêt retient, en résumé, ce qui suit. B.a Dès le 14 novembre 2002, X._ a travaillé, en tant qu'intérimaire, pour le compte de la société B._ SA, dans une usine de ciment. Son responsable était D._, conducteur de travaux au sein de l'entreprise. Le 16 novembre 2002, le travail à effectuer consistait à changer une bande et des godets sur un élévateur, qui partait du 5ème étage d'une tour et allait jusqu'au dernier étage. Au sommet de celle-ci, un aspirateur des poussières avait été enlevé avant le début des travaux et devait être refixé après ceux-ci. X._ avait pour tâche de donner un coup de main, principalement d'aller chercher du matériel et de procéder à du boulonnage, au ramassage du matériel ainsi qu'au nettoyage du chantier. Alors qu'il se trouvait en haut de la tour afin de contrôler la tête de l'élévateur, D._ a soudainement entendu un bruit, puis constaté que X._, présent au sommet de la tour, avait reçu le tuyau d'aspiration des poussières sur le dos. Suite à cet accident, X._ a subi une fracture de la colonne dorsale. D._ a dit avoir été surpris de voir X._ au sommet de la tour, car il lui avait donné l'ordre de rassembler du matériel au 5ème étage de celle-ci. De son côté, X._ a expliqué qu'il avait terminé son travail et était venu demander à D._ ce qu'il pouvait faire. Il avait alors commencé à mettre des boulons autour de la tête de l'élévateur. Il ignorait si c'était D._ qui lui avait dit de le faire. Il s'était déplacé de quelques mètres pour aller chercher des boulons, à un endroit où F._ était en train de manipuler le tuyau d'aspiration des poussières, qu'il s'apprêtait, après avoir contrôlé qu'il n'y avait personne à proximité, à refixer. Alors qu'il le tenait sur l'épaule, F._ a senti que le tuyau se dérobait. Ce dernier était en effet sorti de son point d'ancrage. Pour éviter toute blessure, il a alors lâché le tuyau et s'est écarté. A ce moment, il a constaté que le tuyau partait en direction de X._, avant de le toucher. B.b Considérant que l'enquête n'avait pas permis d'établir la responsabilité d'un tiers dans l'accident, le juge d'instruction a prononcé un non-lieu. X._ a contesté cette décision. Invoquant l'ordonnance du 29 mars 2000 sur la sécurité et la protection de la santé des travailleurs dans les travaux de construction (OTConst; RS 832.311.141), il soutenait que les responsables de l'entreprise, respectivement le responsable de la sécurité au travail dans l'entreprise, devaient être inculpés de lésions corporelles graves par négligence. En bref, le Tribunal d'accusation cantonal a estimé que, l'OTConst fût-elle applicable, les dispositions de cette ordonnance invoquées par le recourant n'étaient pas pertinentes, qu'aucune des personnes mises en cause ne pouvait se voir reprocher la violation d'une règle de sécurité et qu'aucune négligence ne pouvait non plus être reprochée à F._ ou à D._. Il a dès lors confirmé le non-lieu. En bref, le Tribunal d'accusation cantonal a estimé que, l'OTConst fût-elle applicable, les dispositions de cette ordonnance invoquées par le recourant n'étaient pas pertinentes, qu'aucune des personnes mises en cause ne pouvait se voir reprocher la violation d'une règle de sécurité et qu'aucune négligence ne pouvait non plus être reprochée à F._ ou à D._. Il a dès lors confirmé le non-lieu. C. X._ se pourvoit en nullité au Tribunal fédéral. Reprochant à l'autorité cantonale d'avoir nié une violation des art. 8, 11 et 12 OTConst, il conclut à l'annulation de l'arrêt attaqué et de la décision du magistrat instructeur ainsi qu'au renvoi de la cause en première instance pour poursuite de l'instruction contre les cadres responsables de l'accident.