Faits : Faits : A. Ressortissant de Serbie-Monténégro né le 6 septembre 1967, X._ a travaillé en Suisse de 1991 à 1996 comme saisonnier (permis A). Marié à A._, il a divorcé le 17 février 1995 et épousé en secondes noces le 16 mai 1996 B._, mariage dissout par un divorce prononcé le 12 février 1997. Le 27 janvier 1997, l'Office fédéral des étrangers a prononcé une interdiction d'entrée en Suisse à l'encontre de X._, pour infractions graves aux prescriptions de police des étrangers, car il n'avait pas quitté le pays au terme de son autorisation saisonnière. De son côté, l'Office fédéral des réfugiés (devenu entre-temps l'Office fédéral des migrations) a, par décision du 6 mai 1997, rejeté la demande d'asile déposée par le prénommé et prononcé son renvoi. X._ est toutefois revenu en Suisse sans autorisation, ce qui lui a valu une peine de quatre mois d'emprisonnement (ordonnance du juge d'instruction pénale du Valais central du 29 janvier 1998). Le renvoi n'a pu être exécuté et X._ a bénéficié de l'admission collective provisoire des ressortissants yougoslaves dont le dernier domicile était situé dans la province du Kosovo, mesure décidée par le Conseil fédéral le 7 avril 1999. Le renvoi n'a pu être exécuté et X._ a bénéficié de l'admission collective provisoire des ressortissants yougoslaves dont le dernier domicile était situé dans la province du Kosovo, mesure décidée par le Conseil fédéral le 7 avril 1999. B. Le 9 juillet 1999, X._ a épousé C._, ressortissante suisse née en 1974, domiciliée dans le canton de Neuchâtel. Il a obtenu une autorisation de séjour renouvelée à plusieurs reprises, la dernière fois le 26 juin 2001. A partir du printemps 2001, le prénommé a été employé comme agent de sécurité par la discothèque "F._", à M._. Le 20 juin 2001, C._ s'est installée à Z._, venant de N._ (NE; décision attaquée, p. 2 pt D). X._ a rejoint son épouse et s'est annoncé à Z._ le 24 août 2001, en provenance de O._ (NE; décision attaquée, loc. cit.). Le Service de la population du canton de Vaud (ci-après: le Service de la population) lui a délivré une autorisation de séjour, qui a été renouvelée avec effet jusqu'au 9 juillet 2003. Entre-temps, le 31 décembre 2002, X._ a quitté Z._ pour une destination inconnue. Le 16 février 2004, X._ a été entendu par la gendarmerie de M._, sur réquisition du Service des étrangers du canton de Neuchâtel. Il a déclaré que, depuis août 2003, il résidait régulièrement à M._ en raison de problèmes relationnels avec son épouse. Ses papiers étaient toujours déposés à Z._, où il conservait un appartement. Il a fait état de difficultés pour obtenir le renouvellement de son autorisation de séjour - échue le 9 juillet 2003 -, car son épouse avait déménagé à Z._ et "n'avait pas dit qu'il habitait encore avec elle". Il envisageait de déposer ses papiers à M._ et de solliciter un permis neuchâtelois. Le 19 juillet 2004, X._ a annoncé son arrivée à Z._, apparemment en provenance de M._ (formule "annonce de mutation pour étrangers" du 21 juillet 2004). La police municipale de Z._ a été requise par le Service de la population de vérifier la réalité de la vie conjugale des époux X._. Selon une note de la police municipale du 15 septembre 2004, il ne lui a pas été possible de rencontrer les intéressés, malgré plusieurs passages à leur domicile et plusieurs convocations. Dans une formule "annonce de mutation pour étrangers" du 22 novembre 2004, le Bureau des étrangers de Z._ a indiqué que X._, qui habitait M._ sans y être inscrit, avait rejoint sa femme à Z._. A la demande du Service de la population, les époux X._ ont été entendus séparément par le Bureau des étrangers de Z._. La teneur de leurs déclarations a été résumée, en substance, dans un courrier du 3 mai 2005. Selon ce document, l'épouse avait affirmé qu'ils s'étaient séparés au début 2003, mais que son mari était revenu auprès d'elle au mois de mai de la même année. A la date de l'audition, ils faisaient ménage commun, son mari ne venant à Z._ que le dimanche pour repartir le lundi, à cause de son activité professionnelle à M._. Elle-même avait eu une relation hors mariage et allait donner naissance à un enfant dans le mois à venir. Son mari et elle n'avaient aucun projet commun, tel que des vacances ou un enfant. Elle avait avoué craindre fortement les réactions de son mari. De son côté, X._ avait déclaré qu'ils ne s'étaient jamais séparés. Lui-même avait vécu quelque temps chez un cousin à M._, mais, depuis le mois de juillet 2004, il habitait à nouveau avec sa femme. Il pensait qu'il pouvait être le père de l'enfant, sans en être certain. Le 7 juin 2005, le Service de la population a informé X._ qu'il avait décidé de renouveler temporairement son autorisation pour une durée d'une année, en attirant son attention sur le fait que ce renouvellement temporaire ne préjugeait pas de la décision définitive et qu'il ne saurait en tirer aucun droit pour l'avenir. Le 12 juillet 2005, C._ a fait opposition à un commandement de payer adressé à son mari, en relation avec une facture de soins de l'hôpital de M._. Elle a indiqué qu'il s'agissait de soins liés à l'accouchement de B._, "femme" de X._. Sur réquisition du Service de la population, C._ a été entendue le 5 décembre 2005 par la police cantonale vaudoise. Selon ses déclarations, elle avait vécu avec son mari jusqu'en juillet 2001, à O._. Lorsqu'elle était venue s'établir à Z._, son mari ne l'avait pas suivie. Jusqu'à la fin 2002, leurs rencontres s'étaient limitées à 20 minutes par semaine, pour permettre au mari de prendre possession de son courrier, puis les époux ne s'étaient plus vus. X._ s'était annoncé au Contrôle des habitants de Z._ en juillet 2004, sans jamais vivre dans cette commune, puis il avait annoncé son départ pour M._ le 24 octobre 2005. Elle a dit s'être mariée par amour, mais pensait que ce n'était pas le cas de son mari, dont le but était d'obtenir un permis de séjour. Elle a encore expliqué qu'elle avait porté plainte contre lui pour bigamie et menaces. En effet, B._ s'était fait passer pour la femme de X._ lorsqu'elle avait accouché à l'hôpital de M._, ce qui expliquait que la facture d'un montant de l'ordre de 30'000 fr. avait été adressée à son mari à Z._. Enfin, C._ disait craindre pour sa sécurité et celle de sa fille âgée alors de six mois, pour le cas où l'autorisation de séjour de X._ serait révoquée. De son côté, X._ a été entendu le 19 janvier 2006 par la police cantonale neuchâteloise. Il a admis être séparé de C._, séparation qui aurait été annoncée à l'Etat civil du canton de Vaud à la fin 2005. Il a indiqué qu'il n'était pas le père de l'enfant auquel cette dernière avait donné naissance et qu'il désirait mettre un terme à leur mariage. Interrogé sur ses relations avec B._, il a affirmé qu'elle vivait au Kosovo et qu'il ne la voyait plus. Il était du reste le père de deux seulement de ses quatre enfants. Lui-même vivait seul à M._; une cousine logeait chez lui occasionnellement pour se rendre à son travail en cette ville. Enfin, il souhaitait déposer ses papiers à M._, mais il en était empêché par le fait que la commune de Z._ refusait de lui délivrer une attestation de départ. Par décision du 13 juillet 2006, le Service des migrations du canton de Neuchâtel a refusé d'octroyer à X._ une autorisation de séjour dans le canton de Neuchâtel et lui a imparti un délai au 31 août 2006 pour quitter le territoire. Par courrier du 19 juillet 2006, le Contrôle des habitants de Z._ a informé le Service de la population que X._ avait demandé à être inscrit dans la commune, car il avait besoin d'un visa pour revenir en Suisse au terme de ses vacances. Dans une écriture de la même date, C._ déclarait consentir à ce que X._ "garde son domicile chez elle", "tout en restant séparés bien sûr [...] et ceci pour une durée déterminée", "jusqu'à ce que la procédure de divorce soit définitive". Par courrier du 19 juillet 2006, le Contrôle des habitants de Z._ a informé le Service de la population que X._ avait demandé à être inscrit dans la commune, car il avait besoin d'un visa pour revenir en Suisse au terme de ses vacances. Dans une écriture de la même date, C._ déclarait consentir à ce que X._ "garde son domicile chez elle", "tout en restant séparés bien sûr [...] et ceci pour une durée déterminée", "jusqu'à ce que la procédure de divorce soit définitive". C. Par décision du 28 juillet 2006, le Service de la population a refusé de prolonger l'autorisation de séjour de X._ et l'a enjoint de quitter le territoire dès la notification du prononcé. Il a considéré que son mariage avec une ressortissante suisse était vidé de toute substance et qu'il était abusif de droit de l'invoquer pour obtenir la poursuite de son séjour en Suisse. X._ a déféré cette décision au Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif), en faisant valoir notamment que la procédure de divorce avait été interrompue et que son épouse et lui avaient l'intention de reprendre la vie commune. Par arrêt du 17 octobre 2006, le Tribunal administratif a rejeté le recours. Il a considéré que, lors du mariage prononcé le 9 juillet 1999, les époux étaient domiciliés à P._ (NE). Or, au plus tard au mois de décembre 1999 déjà, X._ avait pris domicile à O._. L'épouse s'était quant à elle établie à N._. Par la suite, l'épouse s'était établie à Z._ et son mari avait annoncé son arrivée à la même adresse quelque deux mois plus tard. Rien ne permettait toutefois d'établir la réalité d'une vie commune en ce lieu. En particulier, son annonce au Contrôle des habitants de cette ville le 19 juillet 2004 apparaissait dictée par le souci de conserver une autorisation de séjour. Sans qu'il fût besoin d'examiner si les déclarations de l'épouse corroboraient celles de son mari, il ressortait ainsi du dossier que l'union des époux X._ n'était plus vécue depuis de nombreuses années, vraisemblablement depuis la fin de l'année 1999. Il était en tout cas établi que le mariage était vidé de toute substance au plus tard au mois de juin 2001, date à laquelle l'épouse avait quitté le canton de Neuchâtel pour s'établir à Z._. X._ alléguait certes une interruption de la procédure de divorce et une reprise de la vie commune, mais sans étayer ses dires. Dans ces conditions, le fait d'invoquer cette union en vue d'obtenir le renouvellement de l'autorisation de séjour était clairement constitutif d'un abus de droit. Au demeurant, la décision attaquée devait être confirmée également sous l'angle de l'art. 4 de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142.20). Le Tribunal administratif a notamment relevé que X._ avait fait l'objet d'un certain nombre de condamnations et de nombreux rapports de police, ce qui démontrait qu'il éprouvait beaucoup de peine à se conformer à l'ordre établi et que son intégration sociale n'était pas particulièrement réussie. En dehors de son activité professionnelle, il ne faisait pas valoir de liens avec la Suisse. Il semblait qu'il avait des contacts étroits essentiellement avec des compatriotes et notamment avec sa deuxième épouse, qu'il avait aidée lorsqu'elle avait tenté de revenir en Suisse. Par arrêt du 17 octobre 2006, le Tribunal administratif a rejeté le recours. Il a considéré que, lors du mariage prononcé le 9 juillet 1999, les époux étaient domiciliés à P._ (NE). Or, au plus tard au mois de décembre 1999 déjà, X._ avait pris domicile à O._. L'épouse s'était quant à elle établie à N._. Par la suite, l'épouse s'était établie à Z._ et son mari avait annoncé son arrivée à la même adresse quelque deux mois plus tard. Rien ne permettait toutefois d'établir la réalité d'une vie commune en ce lieu. En particulier, son annonce au Contrôle des habitants de cette ville le 19 juillet 2004 apparaissait dictée par le souci de conserver une autorisation de séjour. Sans qu'il fût besoin d'examiner si les déclarations de l'épouse corroboraient celles de son mari, il ressortait ainsi du dossier que l'union des époux X._ n'était plus vécue depuis de nombreuses années, vraisemblablement depuis la fin de l'année 1999. Il était en tout cas établi que le mariage était vidé de toute substance au plus tard au mois de juin 2001, date à laquelle l'épouse avait quitté le canton de Neuchâtel pour s'établir à Z._. X._ alléguait certes une interruption de la procédure de divorce et une reprise de la vie commune, mais sans étayer ses dires. Dans ces conditions, le fait d'invoquer cette union en vue d'obtenir le renouvellement de l'autorisation de séjour était clairement constitutif d'un abus de droit. Au demeurant, la décision attaquée devait être confirmée également sous l'angle de l'art. 4 de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142.20). Le Tribunal administratif a notamment relevé que X._ avait fait l'objet d'un certain nombre de condamnations et de nombreux rapports de police, ce qui démontrait qu'il éprouvait beaucoup de peine à se conformer à l'ordre établi et que son intégration sociale n'était pas particulièrement réussie. En dehors de son activité professionnelle, il ne faisait pas valoir de liens avec la Suisse. Il semblait qu'il avait des contacts étroits essentiellement avec des compatriotes et notamment avec sa deuxième épouse, qu'il avait aidée lorsqu'elle avait tenté de revenir en Suisse. D. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral, sous suite de dépens, d'annuler l'arrêt du 17 octobre 2006 confirmant la décision par laquelle le Service de la population a refusé de prolonger son autorisation de séjour. Il conteste certains faits retenus dans la décision attaquée, en soutenant notamment que le Tribunal administratif aurait "manifestement abusé de son pouvoir d'appréciation" en admettant que son union avec C._ était vidée de sa substance. Le Tribunal administratif et le Service de la population renoncent à se déterminer sur le sort du recours. L'Office fédéral des migrations propose de le rejeter.