A.- C._, né le 8 juin 1956, et dame D._, née le 10 décembre 1957, se sont mariés le 11 juillet 1981. Ils ont eu quatre enfants: Michael, né le 1er mars 1985, Laurène, née le 28 septembre 1986, ainsi que Denis et Eric, nés le 29 mars 1990.
Par jugement du 15 décembre 1997, le Tribunal civil du district de Lausanne a, notamment, prononcé le divorce des époux, ratifié une convention partielle sur les effets accessoires signée le 13 octobre 1997 par les parties - réglant le sort des enfants et la liquidation du régime matrimonial - et alloué à l'épouse, en application de l'art. 152 aCC, une pension mensuelle de 1'500 fr. jusqu'au 31 mars 2000, 1000 fr.
jusqu'au 31 mars 2006 et 500 fr. jusqu'au 31 mars 2008.
Statuant le 27 juillet 1998, la Chambre des recours du Tribunal cantonal du canton de Vaud a octroyé à l'épouse une rente mensuelle selon l'art. 151 aCC de 1'800 fr. jusqu'au 31 mars 2006, 1'250 fr. jusqu'au jour où elle bénéficiera d'une rente AVS et 750 fr. depuis lors. Cette juridiction a de plus complété le jugement de première instance en prévoyant l'indexation de la rente.
B.- Le 12 mai 1999, le Tribunal fédéral a admis, dans la mesure où ils étaient recevables, le recours en réforme du mari et le recours joint de l'épouse, annulé l'arrêt du 27 juillet 1998 et renvoyé la cause à l'autorité cantonale pour instruction complémentaire et nouvelle décision dans le sens des considérants (art. 64 al. 1 OJ).
Par arrêt du 28 décembre 1999, la Chambre des recours du Tribunal cantonal vaudois a réformé le jugement de première instance en ce sens que le mari est condamné à verser à l'épouse, en application de l'art. 151 aCC, une indemnité mensuelle, indexée, de 1'700 fr. jusqu'au 31 mars 2006, 1'200 fr. jusqu'au jour où elle sera au bénéfice d'une rente AVS et 750 fr. dès lors. Le jugement a été confirmé pour le surplus.
C.- C._ exerce un recours en réforme au Tribunal fédéral contre l'arrêt de la Chambre des recours du 28 décembre 1999. Il conclut à sa condamnation au versement d'une rente mensuelle de 1'500 fr. jusqu'au 31 mars 2000, 1'000 fr. jusqu'au 31 mars 2006 et 500 fr. jusqu'au 31 mars 2008. Il demande en outre que les frais et dépens de la procédure cantonale soient mis à la charge de l'intimée.
Le recourant sollicite par ailleurs le bénéfice de l'assistance judiciaire.
Une réponse n'a pas été requise.

Considérant en droit :
1.- a) En cas de renvoi de la cause à l'autorité cantonale, le recours en réforme est recevable contre la nouvelle décision sans égard à la valeur litigieuse (art. 66 al. 2 OJ). Interjeté en temps utile contre une décision finale prise en dernière instance cantonale, le recours est aussi recevable au regard des art. 48 al. 1 et 54 al. 1 OJ.
b) Les frais et dépens des instances cantonales ne sont pas réglés par le droit civil fédéral. Le recourant entend sans doute son chef de conclusions tendant à ce qu'ils soient mis à la charge de l'intimée comme une conséquence de l'admission du recours (cf. art. 159 al. 6 OJ).
2.- a) La Chambre des recours a considéré que le minimum vital du débirentier devait certes être préservé, mais qu'il n'y avait pas lieu, s'agissant d'une rente fondée sur l'art. 151 al. 1 aCC, de prendre en compte un supplément de 20% comme c'était le cas pour la pension de l'art. 152 aCC.
Le recourant soutient que cette argumentation procède d'une fausse interprétation des principes posés par la jurisprudence du Tribunal fédéral, dont aucune circonstance exceptionnelle ne permettrait de s'écarter en l'espèce.
b) La limite posée par la capacité contributive du débirentier constitue la règle pour toutes les obligations d'entretien découlant du droit de la famille. Leur quotité doit dès lors être fixée de telle sorte que celui-ci dispose encore d'un revenu lui permettant de couvrir son minimum vital au sens large (<ref-ruling> consid. 3b/bb p. 4). Contrairement à ce que prétend le recourant, c'est uniquement pour l'octroi d'une pension alimentaire selon l'art. 152 aCC (cf. <ref-ruling> précité et les références), et non d'une rente selon l'art. 151 al. 1 aCC, que la jurisprudence prend en considération le minimum vital au sens large augmenté de 20%. Vu la nature juridique de cette dernière contribution - laquelle, à la différence de la pension alimentaire de l'art. 152 aCC, n'est pas due au delà du mariage en raison de la solidarité entre anciens époux, mais est destinée à compenser un dommage (cf. <ref-ruling>) -, il suffit que le débirentier dispose encore, après paiement de la rente selon l'art. 151 al. 1 aCC, de son minimum vital élargi, sans le supplément de 20% (<ref-ruling> précité; Lüchinger/Geiser, Commentaire bâlois, n. 12 ad art. 151 CC, dernier paragraphe). Par ailleurs, les considérations du recourant sur son état de santé, sur l'absence d'augmentation significative de ses rentes au cours des prochaines années et sur la couverture des besoins vitaux d'une personne sont irrecevables, dès lors qu'il s'agit de faits qui ne résultent pas de l'arrêt entrepris, voire qui sont en contradiction avec celui-ci. Il en va de même de ses allégations concernant la possibilité pour l'intimée de retrouver une activité lucrative ou, à défaut, d'obtenir des prestations sociales (l'aide sociale étant au demeurant subsidiaire par rapport aux obligations d'entretien du droit de la famille: cf. Deschenaux/Tercier/Werro, Le mariage et le divorce, 4e éd., p. 152 n° 761; Hausheer/Spycher, in Handbuch des Unterhaltsrechts, 1997, p. 44 n° 01.38, p.
293 n° 05.143 et les références citées; cf. aussi <ref-ruling> consid. 4 p. 135; <ref-ruling>). Le grief apparaît ainsi mal fondé, dans la mesure où il est recevable.
3.- Selon le recourant, l'intimée ne saurait prétendre à une rente illimitée dans le temps. Il demande sur ce point la confirmation des paliers fixés par le jugement de première instance, qu'il considère comme parfaitement appropriés aux circonstances, compte tenu notamment de l'âge des enfants. Il fait valoir que l'intimée conserve la possibilité de se réinsérer professionnellement au cours des prochaines années et de se constituer ainsi une prévoyance convenable.
L'autorité cantonale aurait en outre omis de prendre en considération les droits de l'épouse à des "prestations sociales et complémentaires".
a) Aux termes de l'art. 151 al. 1 aCC, l'époux innocent dont les intérêts pécuniaires, même éventuels, sont compromis par le divorce, a droit à une équitable indemnité de la part du conjoint coupable. Ces intérêts pécuniaires sont en général les avantages économiques assurés à un époux en vertu de la communauté matrimoniale et dont il jouirait encore si le divorce n'avait pas été prononcé. Depuis la modification du droit du mariage, il s'agit moins du droit à l'entretien que de la perte de la prétention à être soutenu, et du dommage subi par celui des époux dont les perspectives d'avoir une activité rémunératrice sont influencées durant le mariage en raison du partage des rôles dans le couple (Bühler/Spühler, Commentaire bernois, n. 21 ad art. 151 CC; Spühler/Frei-Maurer, Commentaire bernois, supplément, n. 21 ad art. 151 CC). Dans la mesure où le divorce porte atteinte aux prétentions que la femme divorcée peut déduire des assurances sociales, il faut tenir compte de cet élément pour la question du montant et de la durée de la rente (<ref-ruling> consid. 5f p. 102/103; Spühler/Frei-Maurer, op. cit. , n. 29 ad art. 151 CC; Hinderling/Steck, Das schweizerische Ehescheidungsrecht, 4e éd., 1995, p. 280).
Il se justifie de limiter la durée de la rente lorsque le préjudice résultant du divorce apparaît temporaire. Si on se trouve en présence d'éléments concrets indiquant que le crédirentier est en mesure de se créer ou de se recréer à long terme une situation économique dans laquelle il ne sera pas plus mal placé qu'auparavant, la rente ne sera accordée que pour le durée prévisible du dommage (<ref-ruling> ss, 427 consid. 5 p. 432; <ref-ruling> consid. 7a p. 11; <ref-ruling> consid. 5c p. 306 et les arrêts cités).
b) La Chambre des recours a considéré que l'intimée avait certes moins de 45 ans, qu'elle n'était pas en mauvaise santé et qu'elle bénéficiait d'une formation d'institutrice.
Aussi la rente devait-elle en principe être limitée dans le temps. Toutefois, l'épouse avait la charge de quatre enfants, dont deux étaient encore jeunes. Dès lors, elle ne pourrait reprendre sérieusement sa réinsertion professionnelle que dans plusieurs années. Il fallait en outre tenir compte du fait qu'elle n'avait pas pu obtenir une part de l'avoir de prévoyance de son mari, celui-ci étant déjà au bénéfice de prestations de sa caisse de pension. Par conséquent, elle ne toucherait qu'une rente des plus minimes au moment de sa retraite, même si elle recommençait à travailler. Ces éléments justifiaient l'octroi d'une rente illimitée dans le temps.
Cette appréciation des circonstances de l'espèce peut être approuvée par substitution de motifs. Institutrice de formation, l'épouse a cependant cessé d'exercer cette profession après le mariage, plus précisément depuis juillet 1983, à l'exception de quelques remplacements effectués jusqu'à la naissance des jumeaux en 1990. A supposer qu'elle parvienne à se réinsérer dès maintenant dans la vie active, ne serait-ce qu'à temps partiel - ses deux derniers enfants n'étant âgés que de dix ans -, elle ne pourrait vraisemblablement pas se créer une situation économique de nature à réparer le préjudice résultant pour elle du divorce. L'allocation d'une rente viagère apparaît d'autant plus justifiée qu'il s'agit en l'occurrence de compenser la perte de prévoyance subie par l'épouse du fait du divorce, quand bien même celle-ci réussirait à se réinsérer professionnellement par la suite. Dans ces conditions, l'échelonnement de la rente tel que prévu par la Chambre des recours n'apparaît pas non plus contraire au droit fédéral. Ces considérations sont d'autant mieux fondées que le recourant porte la responsabilité exclusive de la désunion, en l'absence de tout facteur concomitant, et que le divorce n'a été prononcé qu'après seize ans de mariage. Enfin, les allégations du recourant concernant la prise en compte des prestations sociales auxquelles l'intimée pourrait avoir droit sont dénuées de pertinence, vu la subsidiarité de telles prestations (cf. supra consid. 2b).
4.- En conclusion, le recours doit être rejeté dans la mesure où il est recevable et l'arrêt entrepris confirmé.
Le recourant supportera dès lors les frais de justice (art. 156 al. 1 OJ). Ses conclusions étaient d'emblée vouées à l'échec, de sorte que sa requête d'assistance judiciaire ne peut être agréée (art. 152 OJ). Il n'y a pas lieu d'allouer des dépens, l'intimée n'ayant pas été invitée àrépondre.

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours dans la mesure où il est recevable et confirme l'arrêt entrepris.
2. Rejette la requête d'assistance judiciaire du recourant.
3. Met à la charge du recourant un émolument judiciaire de 2'000 fr.
4. Communique le présent arrêt en copie aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
_
Lausanne, le 4 mai 2000 MDO/frs
Au nom de la IIe Cour civile
du TRIBUNAL FEDERAL SUISSE :
Le Président,
La Greffière,