A.- B._, né le 9 juillet 1951, et dame H._ B._, née le 26 juillet 1957, se sont mariés le 4 septembre 1981 à Vandoeuvres. Trois enfants sont issus de cette union: A._, né le 19 juin 1983, C._, né le 22 février 1986 et D._, née le 23 octobre 1991.
Les époux se sont séparés en octobre 1994. Par assignation déposée le 17 février 1998, le mari a demandé le divorce.
Par jugement du 22 mai 2000, le Tribunal de première instance du canton de Genève l'a prononcé. Il a notammentdonné acte aux parties de leur accord d'exercer conjointement l'autorité parentale sur leurs trois enfants, attribué lagarde de A._ au père, celle de C._ et de D._ à la mère et réglementé les droits de visite. Il a en outre condamné le mari à verser à l'épouse, allocations familiales et d'études non comprises, des contributions mensuelles pour C._ et D._, indexées, d'un montant de 1'000 fr. chacun jusqu'à l'âge de 10 ans, 1'100 fr. jusqu'à l'âge de 15 ans et 1'200 fr. jusqu'à la majorité, voire au delà mais jusqu'à 25 ans au plus en cas de formation sérieuse et régulière, ainsi qu'à prendre en charge les frais dentaires, orthodontiques et de lunettes des deux enfants qui ne seraient pas couverts par une assurance, étant précisé que ces traitements devraient au préalable avoir fait l'objet d'un devis. Aucune pension n'a en revanche été allouée au père pour l'entretien de A._. Le tribunal a de plus condamné le mari à payer à l'épouse une rente post-divorce d'un montant de 1'500 fr. par mois jusqu'au 31 octobre 2007, puis de 1'000 fr. par mois du 1er novembre 2007 au 31 juillet 2016, indexation en sus.
B.- Statuant le 8 décembre 2000 sur l'appel du mari, la Cour civile de la Cour de justice du canton de Genève a annulé le jugement du Tribunal de première instance en tant qu'il prévoyait une contribution d'entretien pour les enfants C._ et D._ au delà de leur majorité. Les parties ont été déboutées de toutes autres conclusions.
C.- Parallèlement à un recours en réforme, B._ forme un recours de droit public pour arbitraire contre l'arrêt du 8 décembre 2000, dont il demande l'annulation.
L'intimée propose, à la forme, l'irrecevabilité du recours, au fond, son rejet, dans la mesure où il est recevable.
L'autorité cantonale s'est référée aux considérants de son arrêt.

Considérant en droit :
1.- Conformément à la règle générale de l'art. 57 al. 5 OJ, il y a lieu de statuer d'abord sur le recours de droit public.
2.- Formé en temps utile contre une décision finale rendue en dernière instance cantonale, le recours est en principe recevable au regard des art. 84 ss OJ.
3.- Se fondant sur l'art. 9 Cst. , le recourant se plaint d'arbitraire dans l'appréciation des preuves et l'établissement des faits en ce qui concerne, d'une part, le salaire perçu par Sébastien en tant qu'apprenti et, d'autre part, les revenus et les charges de l'intimée.
a) Le Tribunal fédéral se montre réservé dans ce domaine, vu le large pouvoir qu'il reconnaît au juge du fait.
Il n'y a violation de l'art. 9 Cst. que lorsque l'autorité cantonale ne tient pas compte, sans raison sérieuse, d'un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 4 p. 211; <ref-ruling> consid. 4b p. 40; <ref-ruling> consid. 1b p. 30 et les arrêts cités). Il appartient au recourant d'établir la réalisation de ces conditions en tentant de démontrer, par une argumentation précise, que la décision incriminée est insoutenable (art. 90 al. 1 let. b OJ; <ref-ruling> consid. 1b p. 495; <ref-ruling> consid. 1c p. 73; <ref-ruling> consid. 1c p. 395; <ref-ruling> consid. 2a et les références).
b) aa) Le recourant reproche à l'autorité cantonale d'avoir retenu que le salaire de son fils aîné était de 1'000 fr. par mois sur la base de simples suppositions. Il soutient que la Cour de justice n'a manifestement pas pris connaissance du contrat d'apprentissage de A._, qui attesterait d'une rémunération brute de 980 fr. par mois dès le 1er septembre 2000, soit un montant arrondi de 800 fr. net. Cette critique n'apparaît pas fondée. Il ressort du contrat invoqué que A._ a été engagé comme apprenti ferblantier-installations sanitaires pour une durée de quatre ans, du 30 août 1999 au 30 août 2003. Selon l'art. 3 dudit contrat, l'apprenti reçoit, par mois, 687 fr. la première année, 980 fr. la deuxième, 1'215 fr. la troisième et 1'495 fr. la quatrième, sans indiquer aucune déduction. En retenant un salaire d'environ 1'000 fr. par mois, l'autorité cantonale n'a pas commis arbitraire, cette constatation, qui représente une moyenne, n'étant pas en contradiction manifeste avec la pièce citée par le recourant. Contrairement à ce que celui-ci prétend, il n'était pas non plus insoutenable de ne pas s'en tenir au montant de 980 fr., dès lors que le contrat prévoit expressément des augmentations pour les deux années suivantes.
bb) Selon le recourant, la Cour de justice aurait en outre arbitrairement refusé de prendre en compte une somme de 450 fr. par mois, correspondant au produit de location d'une chambre dans la villa de l'intimée. Il expose que celle-ci a reconnu qu'elle bénéficiait de ce revenu supplémentaire dans son mémoire du 28 octobre 1998. Comme le relève l'autorité cantonale, l'intimée a toutefois contesté devant elle le caractère régulier de cette location, ajoutant que cela entraînait une augmentation de certains de ses frais. La Cour de justice en a déduit qu'il était impossible de retenir à ce titre un montant déterminé comme revenu régulier supplémentaire de l'intimée. Cette appréciation n'apparaît pas arbitraire; du moins, le recourant ne le démontre pas. Il se contente d'affirmer que le revenu de 450 fr. par mois constitue un fait établi par aveu de la partie adverse, sans toutefois indiquer quelle disposition du droit cantonal de procédure régissant l'aveu judiciaire aurait été arbitrairement violée (art. 90 al. 1 let. b OJ). Son grief doit dès lors être rejeté, en tant qu'il est recevable.
cc) La Cour de justice a retenu que les frais d'entretien de la villa propriété de l'épouse pouvaient être évalués, ex aequo et bono, à 200 fr. par mois. Le recourant soutient que ce montant est manifestement exagéré au regard des pièces produites par l'intimée et qu'une somme mensuelle de 100 fr. peut tout au plus être retenue. A l'appui de ce grief, il énumère un certain nombre de pièces qui démontreraient qu'entre 1995 et 1999, les frais d'entretien de l'immeuble n'ont pas dépassé 6'422 fr.30, soit 1'284 fr.60 par an. Il n'appartient cependant pas au Tribunal fédéral de réexaminer les preuves soumises à l'autorité cantonale ni de substituer son appréciation à la sienne. En l'occurrence, la cour a considéré qu'il était difficile d'établir une moyenne mensuelle raisonnable, car les dépenses d'entretien étaient par nature irrégulières. Se fondant notamment sur l'extrait du registre foncier et sur le contrat d'achat de la villa, elle a jugé que, si le montant de 400 fr. par mois retenu par le juge de première instance était excessif au vu des dimensions et du prix de l'immeuble, la somme de 50 fr. par mois suggérée par le mari se révélait trop modeste. Le recourant n'apporte aucun élément de preuve, ni aucun argument qui puisse faire apparaître comme arbitraire la conclusion de l'autorité cantonale selon laquelle il semblait raisonnable et équitable d'admettre une somme mensuelle de 200 fr.
dd) Le recourant critique en outre le montant de 400 fr. par mois pris en compte au titre des frais de chauffage et d'eau chaude de l'intimée. L'autorité cantonale a d'abord relevé que ces coûts étaient difficiles à chiffrer avec précision, car ils se confondaient avec les frais d'électricité.
Au vu d'une facture d'un montant de 2'217 fr. (recte: 2'617 fr.) pour quatre mois en période hivernale, soit 554 fr.
(recte: 654 fr.) mensuels, elle a cependant estimé qu'ils pouvaient être fixés en moyenne à 400 fr. par mois, les frais de chauffage et d'eau chaude constituant des facteurs de consommation importants, qui diminuaient toutefois en été. Le recourant se contente d'affirmer que la maison est bien isolée, de sorte que les frais en question ne devraient pas dépasser 200 à 250 fr. par mois. Il ne démontre cependant pas en quoi l'appréciation de la Cour de justice serait insoutenable.
ee) Il en va de même s'agissant des frais de garde des enfants, admis à hauteur de 400 fr. par mois. Sur ce point, l'autorité cantonale a considéré qu'il fallait tenir compte des frais de cantine et d'activités parascolaires des enfants, à savoir deux fois 140 fr., ainsi que d'une somme équitable pour une aide pendant les congés scolaires, l'intimée ne pouvant être entièrement disponible pour ses enfants en raison de son activité professionnnelle. Cette opinion peut être jugée discutable, mais ne saurait être taxée d'arbitraire.
Si les enfants ne sont certes plus en bas âge, il n'apparaît toutefois pas choquant de considérer qu'ils ne doivent pas être livrés à eux-mêmes durant les heures de travail de leur mère, étant rappelé que la cadette n'a pas encore dix ans.
4.- En conclusion, le recours doit être rejeté dans la mesure où il est recevable. Les frais judiciaires seront supportés par le recourant, qui succombe (art. 156 al. 1 OJ).
Celui-ci versera en outre des dépens à l'intimée (art. 159 al. 1 OJ).

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours dans la mesure où il est recevable.
2. Met à la charge du recourant:
a) un émolument judiciaire de 2'000 fr.
b) une indemnité de 2'000 fr. à payer à l'intimée à titre de dépens.
3. Communique le présent arrêt en copie aux mandataires des parties et à la Chambre civile de la Cour de justice du canton de Genève.
_Lausanne, le 28 août 2001 MDO/frs
Au nom de la IIe Cour civile
du TRIBUNAL FEDERAL SUISSE :
Le Président, La Greffière,