Faits: Faits: A. Par décision du 1er décembre 2004, le Préfet de Lausanne a condamné X._ à une amende de 10'000 fr. pour contraventions à la LSEE et à la loi vaudoise sur le contrôle des habitants. A. Par décision du 1er décembre 2004, le Préfet de Lausanne a condamné X._ à une amende de 10'000 fr. pour contraventions à la LSEE et à la loi vaudoise sur le contrôle des habitants. B. Par jugement du 10 mai 2005, le Tribunal de police de l'arrondissement de Lausanne a partiellement admis l'appel de X._, retenant que ce dernier n'avait pas agi intentionnellement, mais par négligence, et l'a condamné au paiement d'une amende de 5'000 fr. Ce jugement retient en substance les éléments suivants. B.a X._, né en 1954, est administrateur unique de la société Z._ SA et autorisé à exploiter l'Hôtel Y._. B.b Dans le courant de l'année 2004, six personnes ont été engagées, à l'Hôtel Y._, sans autorisation de travail. X._, en tant qu'administrateur unique, aurait dû signer tous les contrats d'engagement des employés. Toutefois, plusieurs d'entre eux ont été signés par la directrice, B._, en poste du 5 avril au 31 août 2004. Celle-ci a expliqué qu'elle avait été engagée suite au licenciement du précédent directeur, qui avait eu une gestion mettant en danger les finances de l'hôtel, qu'elle n'avait jamais eu de cahier des charges, que les propriétaires, à savoir les époux D._ et leur fils, s'occupaient aussi de la gestion de cet établissement et avaient maintes fois fait pression pour l'engagement de telle ou telle personne et qu'à plusieurs reprises il avait fallu procéder à des engagements dans l'urgence. Elle a précisé qu'il y avait eu de nombreux mouvements du personnel, notamment parce qu'il n'y avait pas de gestion claire, que personne ne savait vraiment qui dirigeait l'établissement et que X._ était mis de côté par la famille D._. X._ a expliqué qu'il s'occupait de l'administration, et plus particulièrement des finances de la société Z._ SA, qu'il n'était pas mêlé à la gestion de l'hôtel et que, lorsque sa société avait repris cet établissement, un directeur de toute confiance avait été nommé. Celui-ci avait licencié les travailleurs au noir et l'administrateur lui faisait par conséquent toute confiance pour l'engagement du nouveau personnel. B.c Le Tribunal de police a retenu que X._, en tant qu'administrateur unique, aurait dû vérifier que tous les employés engagés bénéficiaient d'une autorisation de travail, qu'il a laissé les propriétaires s'impliquer fortement dans la gestion de l'hôtel, qu'il a pensé que la directrice s'occupait des problèmes administratifs liés à l'engagement du personnel et qu'il avait ainsi agi avec beaucoup de négligence, délaissant ses responsabilités. B.c Le Tribunal de police a retenu que X._, en tant qu'administrateur unique, aurait dû vérifier que tous les employés engagés bénéficiaient d'une autorisation de travail, qu'il a laissé les propriétaires s'impliquer fortement dans la gestion de l'hôtel, qu'il a pensé que la directrice s'occupait des problèmes administratifs liés à l'engagement du personnel et qu'il avait ainsi agi avec beaucoup de négligence, délaissant ses responsabilités. C. X._ dépose un pourvoi en nullité au Tribunal fédéral. Il invoque une violation de l'art. 23 ch. 4 LSEE et conclut à l'annulation du jugement attaqué en tant qu'il le condamne pour infraction à la LSEE.