A.- Ressortissant yougoslave né en 1964, X._ est entré en Suisse le 26 juillet 1993 au bénéfice d'une autorisation de séjour d'une durée de trois mois. Une semaine plus tôt, il avait divorcé de A._, une compatriote avec laquelle, marié depuis 1987, il avait eu deux filles, Z._, née en 1990 et B._, née en 1993. D'un précédent et premier mariage, X._ était également le père d'un garçon, Y._, né en 1986.
Le 4 septembre 1993, X._ a épousé C._ en troisièmes noces; son autorisation de séjour a depuis lors été régulièrement prolongée, vu la nationalité suisse de son épouse. Au cours de l'été 1996, les époux X._ se sont séparés avant d'entamer, en juillet 1998, une procédure de divorce qui a finalement abouti au prononcé d'un jugement de divorce au début 1999.
Dans l'intervalle, X._ avait requis et obtenu, en 1998, des autorisations de séjour pour faire venir en Suisse, au titre du regroupement familial, ses enfants Y._ et Z._. En revanche, la demande qu'il avait formulée pour lui-même, également en 1998, tendant à la délivrance d'un permis d'établissement, a été considérée comme provisoirement "sans objet" par l'autorité compétente qui voulait d'abord connaître le résultat d'une enquête pénale ouverte à l'encontre de l'intéressé avant de se prononcer sur son cas. Cette enquête portait sur des infractions que X._ était accusé d'avoir commises sur la personne de D._, une femme avec laquelle il avait entretenu une relation extra-conjugale entre 1997 et 1998.
En mai 1999, X._ s'est remarié en Albanie avec sa deuxième épouse, A._, qui lui avait entre-temps donné, en 1998, une troisième fille prénommée E._. Peu de temps après son remariage, A._ est entrée en Suisse avec ses enfants B._ et E._; elle a immédiatement sollicité des autorisations de séjour pour elle-même et ses enfants au titre du regroupement familial.
Par décision du 4 avril 2000, le Service de la population du canton de Vaud (ci-après : le service cantonal) a refusé de prolonger l'autorisation de séjour d'X. _, subsidiairement de la transformer en autorisation d'établissement, en considérant que son mariage avec C._ était "abusif". Dans la même décision, le service cantonal refusait également de prolonger les autorisations de séjour accordées à ses enfants Y._ et Z._ ainsi que d'accorder de telles autorisations à son épouse A._ et à ses deux autres enfants B._ et E._.
B.- Par arrêt du 24 avril 2001, le Tribunal administratif du canton de Vaud a rejeté le recours formé par X._ ainsi que son épouse et ses enfants contre la décision du 4 avril 2000 du service cantonal, en leur impartissant un délai au 30 juin 2001 pour quitter le territoire vaudois.
C.- Agissant par la voie du recours de droit administratif, X._ et ses enfants Y._ et Z._ demandent au Tribunal fédéral, sous suite de dépens, de réformer l'arrêt rendu le 24 avril 2001 par le Tribunal administratif du canton de Vaud en ce sens que leurs autorisations de séjour soient renouvelées.
Le service cantonal s'en remet intégralement aux déterminations du Tribunal administratif. Sur le fond, celui-ci conclut au rejet du recours dans la mesure où il est recevable, ce que propose également l'Office fédéral des étrangers.
D.- Par ordonnance présidentielle du 12 juin 2001, la requête d'effet suspensif au recours a été admise.

Considérant en droit :
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2a p. 42; <ref-ruling> consid. 1 p. 507; <ref-ruling> consid. 1 p. 83, 207 consid. 1 p. 209 et la jurisprudence citée).
a) Selon l'art. 100 al. 1 let. b ch. 3 OJ, le recours de droit administratif n'est pas recevable en matière de police des étrangers contre l'octroi ou le refus d'autorisations auxquelles le droit fédéral ne confère pas un droit. Selon l'art. 4 de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20), les autorités compétentes statuent librement, dans le cadre des prescriptions légales et des traités avec l'étranger, sur l'octroi ou le refus d'autorisations de séjour ou d'établissement.
En principe, l'étranger n'a pas droit à l'autorisation de séjour. Ainsi, le recours de droit administratif est irrecevable, à moins que ne puisse être invoquée une disposition particulière du droit fédéral ou d'un traité, accordant le droit à la délivrance d'une telle autorisation (<ref-ruling> consid. 1a p. 337/338, 377 consid. 2 p. 381, 425 consid. 1 p. 427; <ref-ruling> consid. 1a p. 83; <ref-ruling> consid. 2a p. 291, 361 consid. 1a p. 363; <ref-ruling> consid. 1b p. 147).
b) Aux termes de l'art. 7 LSEE, le conjoint étranger d'un ressortissant suisse a droit à l'octroi et à la prolongation de l'autorisation de séjour (al. 1 1ère phrase). Après un séjour régulier et ininterrompu de cinq ans, il a droit à l'autorisation d'établissement (al. 1 2ème phrase). Ce droit n'existe pas lorsque le mariage a été contracté dans le but d'éluder les dispositions sur le séjour et l'établissement des étrangers, notamment celles sur la limitation du nombre des étrangers (al. 2).
Selon la jurisprudence, pour juger de la recevabilité d'un recours de droit administratif lorsqu'est invoqué un droit découlant de l'art. 7 LSEE, seule est déterminante l'existence d'un mariage au sens formel. Relève en revanche du fond le point de savoir si le conjoint étranger a effectivement droit à l'autorisation de séjour ou d'établissement qu'il sollicite ou alors si celle-ci doit au contraire lui être refusée, par exemple parce qu'il se prévaut de manière abusive d'un droit (ATF <ref-ruling> consid. 2b p. 291 et les références; Alain Wurzburger, La jurisprudence récente du Tribunal fédéral en matière de police des étrangers, in RDAF 1997 1 267, p. 349).
c) Célébré le 4 septembre 1993, le mariage du recourant avec C._ a été dissous au début 1999; comme cette union a duré plus de cinq ans, le recourant aurait en principe droit - sous réserve notamment de l'existence d'un abus de droit - à l'octroi d'une autorisation d'établissement (et non de séjour, comme il le demande), et cela indépendamment du fait qu'il n'est plus marié à une ressortissante suisse.
En effet, non limité dans le temps, le droit de s'établir en Suisse ne s'éteint pas avec le divorce (<ref-ruling> consid. 4c p. 104/105; Wurzburger, op. cit. p. 273). Dans cette mesure, son recours est recevable.
d) Quant aux enfants du recourant, Y._ et Z._, ils ne peuvent pas se prévaloir d'un droit propre leur permettant d'obtenir le renouvellement de leur autorisation de séjour. Leur recours est toutefois recevable dans la mesure où ils contestent le refus de prolonger l'autorisation de séjour de leur père. En effet, l'autorisation d'établissement que celui-ci pourrait cas échéant obtenir (cf. supra consid. 1c), leur donnerait en principe droit à une autorisation d'établissement (art. 17 al. 2 LSEE), de sorte qu'ils ont, sous cet angle, un intérêt digne de protection au sens de l'art. 103 let. a OJ. C'est dans cette mesure seulement qu'il convient d'entrer en matière sur leur recours et sur les moyens qu'ils développent à l'appui de celui-ci.
e) L'épouse et les autres enfants du recourant, B._ et E._, bien que parties à la procédure cantonale, n'ont pas recouru contre l'arrêt entrepris.
Celui-ci est donc entré en force en ce qui les concerne.
2.- a) Lorsque le recours de droit administratif est dirigé, comme en l'espèce, contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans cette décision, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 105 al. 2 OJ). La possibilité de faire valoir des faits nouveaux ou de nouveaux moyens de preuve est alors très restreinte. En particulier, on ne saurait tenir compte, en principe, de modifications ultérieures de l'état de fait (<ref-ruling> consid. 3a p. 421; <ref-ruling> consid. 1c p. 99/100, et les références citées).
En conséquence, les pièces produites par les recourants, qui ont été établies postérieurement à l'arrêt attaqué, doivent être écartées du dossier. Au demeurant, elles visent à prouver des faits (possibilités d'embauche du recourant, montant de l'aide sociale qui lui a été allouée, importance pour ses enfants de poursuivre leur scolarité en Suisse) qui ne sont pas déterminants pour l'issue du litige dont l'objet se limite, comme on l'a vu, au point de savoir si le recourant peut prétendre une autorisation d'établissement sur la base de l'art. 7 al. 1 LSEE.
b) Selon l'art. 110 al. 2 OJ, si le Tribunal fédéral ordonne un échange d'écritures, il invite d'office l'autorité qui a rendu la décision attaquée à lui communiquer le dossier dans le délai qui lui est imparti pour déposer sa réponse, ce que cette autorité a fait. La requête des recourants tendant à l'édition du dossier du Tribunal administratif est dès lors sans objet.
3.- a) D'après la jurisprudence, le fait d'invoquer l'art. 7 al. 1 LSEE peut être constitutif d'un abus de droit, même en l'absence d'un mariage contracté dans le but d'éluder les dispositions sur le séjour et l'établissement des étrangers, au sens de l'art. 7 al. 2 LSEE (mariage fictif).
L'existence d'un éventuel abus de droit doit toutefois être appréciée dans chaque cas particulier et avec retenue, seul l'abus manifeste pouvant être pris en considération. Un tel abus ne peut en particulier être déduit du simple fait que les époux ne vivent plus ensemble, puisque le législateur a volontairement renoncé à faire dépendre le droit à une autorisation de séjour de la vie commune (<ref-ruling> consid. 2 p. 100 s.). De même, on ne saurait uniquement reprocher à des époux de vivre séparés et de ne pas envisager le divorce. Cependant, il y a abus de droit lorsque le conjoint étranger invoque un mariage n'existant plus que formellement dans le seul but d'obtenir une autorisation de séjour ou d'établissement, car ce but n'est pas protégé par l'art. 7 LSEE (<ref-ruling> consid. 4a p. 103 s.).
b) En l'espèce, le mariage du recourant avec son exépouse suisse, C._, n'a pas été qualifié de fictif au sens de l'art. 7 al. 2 LSEE par l'autorité intimée. Certes les intéressés ont-ils l'un et l'autre affirmé s'être unis par amour lors de leur audition par la Police municipale de Lausanne le 28 avril 1998. Certaines circonstances permettent toutefois de s'interroger sur les véritables motivations qui ont poussé le recourant à épouser C._. En particulier, il faut constater que ce mariage s'est fait le 4 septembre 1993, soit presque aussitôt après que le recourant eut divorcé de sa deuxième femme en Yougoslavie (le 19 juillet 1993) et fut arrivé en Suisse (le 26 juillet 1993). Il est également étonnant que la procédure de divorce entre le recourant et son épouse suisse ait été entamée en juillet 1998, soit, à deux mois près, cinq ans exactement après la célébration du mariage, durée qui correspond précisément au délai minimum requis pour prétendre l'octroi d'une autorisation d'établissement.
Enfin, la rapidité avec laquelle le recourant, une fois son divorce prononcé, s'est remarié avec sa deuxième épouse et a fait venir celle-ci et ses enfants en Suisse, est également une coïncidence de nature à éveiller des doutes sur ses véritables intentions et motivations.
La chronologie des événements, et plus encore leur enchaînement conduit, en définitive, à se demander si le recourant a jamais vraiment rompu avec sa deuxième épouse. Quoi qu'il en soit, cette question peut rester indécise.
En effet, bien que le mariage avec l'épouse suisse ait formellement duré plus de cinq ans, il reste que la procédure de divorce a été précédée d'une séparation qui, elle, est déjà survenue en juillet-août 1996, soit moins de trois ans après la célébration du mariage. Or, après s'être séparés, les époux n'ont plus jamais repris la vie commune. Cette circonstance n'est certes pas à elle seule suffisante, selon la jurisprudence, pour qu'on puisse retenir l'existence d'un abus de droit de la part du recourant. D'autres éléments démontrent toutefois que celui-ci n'avait plus la volonté de reprendre la vie commune avec son épouse suisse après qu'il se fut séparé d'elle et que, par voie de conséquence, le maintien du mariage n'a servi qu'à lui assurer la poursuite de son séjour en Suisse. Il est en effet avéré que, peu de temps après sa séparation, entre 1997 et 1998, il a entretenu une liaison extra-conjugale avec une autre femme, D._.
Par ailleurs, il apparaît qu'il s'est remarié avec sa deuxième épouse, d'origine yougoslave, en Albanie en mai 1999, après que celle-ci lui eut donné, en 1998, une troisième fille; c'est dire qu'au plus tard au début de l'année 1998, il avait renoué avec sa deuxième épouse - pour autant qu'il eût jamais rompu - une relation sérieuse, ce qui témoigne bien qu'il n'avait, dès ce moment, plus la volonté ni même le désir de reprendre la vie commune avec son épouse suisse.
c) C'est donc à bon droit que le Tribunal administratif a conclu que le mariage d'X. _ avec C._ n'a plus revêtu, trois ans environ après sa célébration, qu'un caractère purement formel, son maintien n'ayant, dès ce moment, servi qu'à assurer au recourant - de manière abusive - la poursuite de son séjour en Suisse. Comme cet abus de droit existait déjà avant l'écoulement du délai de cinq ans prévu par l'art. 7 al. 1 2ème phrase LSEE, le recourant, bien qu'ayant été formellement marié pendant plus de cinq ans avec une Suissesse, ne peut se prévaloir de cette disposition pour se voir délivrer une autorisation d'établissement.
4.- A défaut d'autorisation de séjour ou d'établissement en faveur de leur père, les enfants Y._ et Z._ ne peuvent prétendre au regroupement familial et n'ont, dès lors, aucun droit non plus à séjourner en Suisse. Il en va de même pour l'épouse du recourant et les deux autres enfants qui n'ont pas recouru.
5.- Sur le vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable.
Succombant, les recourants doivent supporter les frais judiciaires (art. 156 al. 1, 153 et 153a OJ). Ils n'ont par ailleurs pas droit à des dépens (art. 159 al. 1 OJ).

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours dans la mesure où il est recevable.
2. Met à la charge des recourants un émolument judiciaire de 2'000 fr.
3. N'alloue pas de dépens.
3. Communique le présent arrêt en copie au mandataire des recourants, au Service de la population et au Tribunal administratif du canton de Vaud, ainsi qu'à l'Office fédéral des étrangers.
_
Lausanne, le 27 septembre 2001 ADD/vlc
Au nom de la IIe Cour de droit public
du TRIBUNAL FEDERAL SUISSE:
Le Président,
Le Greffier,