Faits: A. Le 31 janvier 2008, dame A._, née en 1961, a introduit une action en divorce contre son époux, A._, né en 1959. Ils sont les parents d'une fille majeure qui se trouve encore en formation. Par jugement du 28 septembre 2009, le Tribunal civil de l'arrondissement de la Glâne a, notamment, prononcé le divorce des parties et condamné le mari à contribuer à l'entretien de l'épouse par le versement d'un montant mensuel de 1'750 fr. jusqu'au 31 décembre 2009, puis de 1'250 fr. du 1er janvier au 31 décembre 2010. B. Par arrêt du 16 août 2010, la Ie Cour d'appel civil du Tribunal cantonal du canton de Fribourg a partiellement admis l'appel formé par l'épouse contre ce jugement. Elle l'a dès lors modifié en ce sens que le montant de la contribution d'entretien en faveur de l'épouse est fixé à 1'750 fr. par mois jusqu'au 31 décembre 2009, à 1'250 fr. par mois du 1er janvier au 31 décembre 2010 puis, dès cette date et jusqu'à ce que le mari atteigne l'âge de la retraite, à 600 fr. par mois si la fille des parties est encore en formation et jusqu'à la fin de cette formation, et à 1'250 fr. par mois si celle-ci a terminé sa formation ou dès la fin de cette formation. C. Par acte du 23 septembre 2010, le mari exerce un recours en matière civile contre l'arrêt du 16 août 2010. Il conclut, principalement, à sa réforme en ce sens que la contribution mensuellement due pour l'épouse est fixée à 1'750 fr. jusqu'au 31 décembre 2009, puis à 1'250 fr. du 1er janvier au 31 décembre 2010, aucune contribution d'entretien n'étant mise à sa charge dès le 1er janvier 2011. Subsidiairement, il demande le renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau dans le sens des considérants. L'intimée propose le rejet du recours et sollicite d'être mise au bénéfice de l'assistance judiciaire gratuite pour la procédure fédérale. D. Par ordonnance du 24 septembre 2010, la Présidente de la cour de céans a refusé l'effet suspensif au recours.