Faits:
A. P._ a travaillé comme chef de rayon au service de la Société X._, dont les employés étaient assurés au titre de la prévoyance professionnelle auprès de la Caisse de pensions X._ (ci-après: la caisse de pensions). En arrêt de travail en raison de problèmes de santé depuis janvier 1998, il s'est annoncé à l'assurance-invalidité. Par la suite, il a été mis au bénéfice d'une rente entière d'invalidité du 1er janvier 1999 au 30 juin 2000, puis d'une demi-rente (fondée sur un taux d'invalidité de 50 %) à partir du 1er juillet 2000, assorties de rentes complémentaires pour son épouse et ses enfants (cf. décisions du 17 décembre 2001, confirmées par jugement du Tribunal des assurances du canton de Vaud du 17 novembre 2005).
De son côté, la caisse de pensions a également alloué à P._ une rente entière d'invalidité du 1er mai au 30 juin 2000, puis une demi-rente fondée sur un degré d'invalidité de 50 % dès le 1er juillet 2000, ainsi que des rentes pour enfant correspondantes. Le 29 septembre 2005, elle l'a cependant informé qu'elle réduisait les prestations d'invalidité en raison de modifications de son règlement (valables dès le 1er janvier 2005), qui prévoyaient la prise en compte dans le calcul de surindemnisation, notamment, des «revenus théoriques pouvant être perçus pour la capacité résiduelle de gain». Dès le 1er décembre 2005, elle lui verserait des rentes d'invalidité d'un montant mensuel total de 24 fr., compte tenu d'un revenu théorique estimé réalisable de 2'665 fr. par mois. Dans l'échange de correspondances qui s'en est suivi, la caisse de pensions a confirmé la réduction prévue.
B. Par écriture du 28 novembre 2005, P._ a ouvert action contre la caisse de pensions en concluant au maintien du versement des prestations d'invalidité pour un montant total de 2'052 fr. par mois au-delà du 30 novembre 2005. Par jugement du 25 mai 2007 (dont la rédaction a été approuvée le 24 août 2007), la juridiction cantonale a rejeté la demande.
C. P._ interjette un recours en matière de droit public contre ce jugement, dont il demande principalement la réforme, en ce sens que les demi-rentes d'invalidité versées par la caisse de pensions ne sont pas réduites après le 31 (recte 30) novembre 2005. A titre subsidiaire, il conclut à l'annulation du prononcé cantonal et au renvoi de la cause au Tribunal cantonal des assurances pour instruction complémentaire et nouveau jugement. Il requiert par ailleurs le bénéfice de l'assistance judiciaire.
La caisse de pensions conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales (OFAS) en propose l'admission, dans le sens d'un renvoi de la cause au Tribunal cantonal des assurances pour complément d'instruction sur le revenu raisonnablement réalisable et nouvelle décision.

Considérant en droit:
1. La procédure devant le Tribunal fédéral a pour objet la réduction des prestations versées par l'intimée au recourant pour cause de surindemnisation à partir du 1er décembre 2005. Dans ce cadre, seule est litigieuse la prise en compte d'un revenu hypothétique imputable au titre de revenu raisonnablement exigible dans le calcul de surindemnisation.
2. 2.1 Le jugement entrepris expose correctement les dispositions légales applicables à partir du 1er janvier 2005 visant à empêcher un avantage injustifié pour l'assuré ou ses survivants résultant du cumul de prestations (<ref-law> [en vigueur depuis le 1er janvier 2003] en relation avec l'art. 24 OPP 2). Il suffit d'y renvoyer, en particulier à l'art. 24 al. 2 deuxième phrase OPP 2, selon lequel sont considérés comme revenus à prendre en compte pour déterminer s'il y a surindemnisation chez un bénéficiaire de prestations d'invalidité, non seulement le revenu provenant d'une activité lucrative exercée par l'assuré invalide, mais également - contrairement à la jurisprudence rendue sous l'empire de la disposition en vigueur jusqu'au 31 décembre 2004 (<ref-ruling> consid. 4 p. 94) - «le revenu ou le revenu de remplacement que celui-ci pourrait encore raisonnablement réaliser».
2.2 A l'art. 20 de son règlement révisé, applicable à partir du 1er janvier 2005 (règlement 2005), dont la teneur a été exposée dans le jugement entrepris auquel il convient de renvoyer, la caisse de pensions a fait usage de la possibilité prévue par l'art. 24 al. 1 OPP 2, de fixer à 90 % du gain annuel dont on peut présumer que l'intéressé est privé la limite de surindemnisation. L'art. 20 al. 2 quatrième tiret du règlement 2005 reprend en substance la règle de l'art. 24 al. 2 OPP 2, en prévoyant la prise en compte des «revenus perçus d'une activité lucrative et ceux présumés comme pouvant être perçus (et/ou une allocation pour perte de gain) en plus d'une prestation d'invalidité».
Comme l'a retenu à juste titre la juridiction cantonale, les modifications de l'art. 24 al. 2 OPP 2 et de l'art. 20 du règlement 2005 (réservé à l'art. 84 al. 3 du règlement 2005) sont applicables à partir de leur entrée en vigueur aux prestations perçues par le recourant, les nouvelles dispositions légales (et par analogie aussi réglementaires) sur la surindemnisation s'appliquant selon la jurisprudence également aux rentes en cours (<ref-ruling> consid. 2.3.1 p. 67, 122 V 316 consid. 3c p. 319).
3. Dans l'<ref-ruling> consid. 4 p. 69, à l'occasion d'un litige qui opposait l'intimée à un de ses bénéficiaires de rentes, le Tribunal fédéral a examiné de manière détaillée quelle définition devait être donnée à la notion de «revenu ou revenu de remplacement que [l'assuré invalide] pourrait encore raisonnablement réaliser» («zumutbarerweise noch erzielbare Erwerbs- oder Ersatzeinkommen») au sens de l'art. 24 al. 2 deuxième phrase OPP 2.
En substance, se référant aux commentaires de l'OFAS sur la modification de l'OPP 2 (parus dans le Bulletin de la prévoyance professionnelle n° 75 du 6 juillet 2004), le Tribunal fédéral a d'abord retenu que le but de la disposition en cause consiste à mettre sur un pied d'égalité au niveau financier les assurés partiellement invalides qui ne mettent pas en valeur leur capacité de travail résiduelle et ceux qui - en vertu de l'obligation de diminuer le dommage - réalisent effectivement un revenu en exerçant l'activité qui peut raisonnablement être exigée d'eux (<ref-ruling> consid. 4.1.1 p. 69).
Au regard de la systématique légale, le Tribunal fédéral s'est ensuite fondé sur le lien fonctionnel qui existe entre le premier (assurance-invalidité) et le deuxième pilier (prévoyance professionnelle), tel qu'il ressort du point de vue du droit positif des art. 23, 24 al. 1 et 26 al. 1 LPP. Ce lien tend, d'une part, à assurer une coordination matérielle étendue entre le premier et le deuxième pilier et, d'autre part, à libérer autant que possible les organes de la prévoyance professionnelle obligatoire d'importantes et coûteuses démarches portant sur les conditions, l'étendue et le début du droit aux prestations d'invalidité du deuxième pilier (<ref-ruling> consid. 4.3.2 p. 69; <ref-ruling> consid. 3.2 p. 4). Le Tribunal fédéral en a déduit qu'il y a lieu de partir - comme pour le revenu sans invalidité et le gain annuel dont on peut présumer que l'intéressé est privé (arrêt B 17/03 du 2 septembre 2004, résumé dans RSAS 2005 p. 321) - du principe de la congruence entre le revenu d'invalide et le revenu que l'intéressé pourrait encore raisonnablement réaliser au sens de l'art. 24 al. 2 2ème phrase OPP 2 révisé. Ce principe de congruence implique la présomption que le revenu d'invalide déterminé par l'organe de l'assurance-invalidité correspond au revenu que l'assuré invalide pourrait encore raisonnablement réaliser (<ref-ruling> consid. 4.1.2 et 4.1.3 p. 70) ou, selon la version allemande de la disposition topique, le revenu raisonnablement exigible de l'assuré invalide.
Ce faisant, le Tribunal fédéral n'a pas perdu de vue que le revenu d'invalide fixé par les organes de l'assurance-invalidité est déterminé en fonction d'un marché du travail équilibré (<ref-law>) et non pas en fonction des offres de travail qui sont effectivement à disposition de l'assuré partiellement invalide, avec une conjoncture qui peut être, le cas échéant, défavorable. Le revenu que l'assuré invalide pourrait encore raisonnablement réaliser au sens de l'art. 24 al. 2 deuxième phrase OPP 2 est fondé sur le principe de l'exigibilité, qui requiert que soit pris en considération l'ensemble des circonstances objectives et subjectives du cas particulier, y compris au niveau du marché du travail. Le terme «subjectif» ne signifie toutefois pas que c'est l'appréciation subjective de l'intéressé sur ce qui peut encore être raisonnablement exigé de lui qui est déterminante. Il y a lieu, au contraire, d'évaluer les circonstances subjectives et les possibilités qui sont effectivement données à l'assuré en cause sur le marché du travail d'un point de vue objectif. En conséquence, l'institution de prévoyance qui veut réduire les prestations d'invalidité du régime obligatoire doit au préalable entendre l'assuré sur les circonstances personnelles et sa position concrète sur le marché du travail qui l'empêcheraient ou le limiteraient dans la réalisation d'un revenu résiduel aussi élevé que le revenu d'invalide fixé par l'assurance-invalidité. Ces circonstances subjectives qui doivent être prises en considération sous l'angle de l'exigibilité sont toutes les particularités qui, lors d'un examen objectif, ont une importance déterminante quant aux chances effectives de l'assuré concerné de trouver un poste de travail adapté et exigible sur le marché du travail concret correspondant. Par ailleurs, sur le plan de la procédure, le droit d'être entendu accordé à l'assuré suppose, en contrepartie, un devoir de collaboration de sa part. Il lui incombe, dans la procédure de surindemnisation, d'alléguer, de motiver et d'offrir, dans la mesure du possible, des preuves - notamment quant aux recherches de travail infructueuses - relatives aux circonstances personnelles et aux possibilités effectives sur le marché du travail qui l'empêcheraient de réaliser un revenu résiduel équivalant à celui du revenu d'invalide (<ref-ruling> consid. 4.2.1 et 4.2.2 p. 71 s.).
4. 4.1 Au titre de revenu estimé réalisable au sens de l'art. 24 al. 2 deuxième phrase OPP 2, la juridiction cantonale a pris en compte un montant de 2665 fr. par mois, correspondant à la moitié du salaire qu'aurait pu réaliser P._ en 2005 (date à laquelle se pose la question de la réduction pour surindemnisation, cf. <ref-ruling> consid. 5a p. 197 et les arrêts cités) sans la survenance de l'invalidité. Elle s'est référée sur ce point aux décisions du 17 décembre 2001 de l'Office de l'assurance-invalidité pour le canton de Vaud (qu'elle avait confirmées par jugement du 17 novembre 2005). Celui-ci avait considéré l'assuré apte à exercer à mi-temps son activité antérieure de chef de rayon, de sorte que le revenu d'invalide correspondait à la moitié du gain obtenu dans son dernier poste de travail.
Le recourant conteste ce montant, en faisant valoir que sa capacité résiduelle de travail est nulle, ce que les premiers juges auraient manqué de constater. Il soutient par ailleurs que la notion de revenu raisonnablement réalisable au sens de l'art. 24 OPP 2 ne se confond pas avec celle de revenu d'invalide au sens de l'<ref-law>, de sorte qu'il faut tenir compte, dans le cadre de la surindemnisation, d'une incapacité totale de travail correspondant à la réalité.
4.2 Il découle de la jurisprudence exposée précédemment (consid. 3 supra) que l'institution de prévoyance - ou, en cas de litige, le juge - appelée à examiner si, et le cas échéant dans quelle mesure, la prestation d'invalidité de la prévoyance obligatoire pour une invalidité partielle entraîne une surindemnisation peut partir de la présomption que le revenu que l'intéressé pourrait encore raisonnablement réaliser (art. 24 al. 2 deuxième phrase OPP 2) correspond au revenu d'invalide fixé par l'organe de l'assurance-invalidité (<ref-law>). Dans la mesure où le recourant nie tout rapport entre le revenu raisonnablement réalisable et le revenu d'invalide de l'assurance-invalidité, son interprétation de la notion de revenu au sens de l'art. 24 al. 2 deuxième phrase OPP 2 n'est donc pas pertinente.
4.3 En ce qui concerne ensuite l'incapacité totale de travail que le recourant allègue subir, il s'agit d'un élément que l'institution de prévoyance n'a pas à prendre en considération dans le cadre de la surindemnisation, dès lors que l'étendue de la capacité résiduelle de travail a déjà été examinée et déterminée (en l'espèce à 50 %) par l'assurance-invalidité pour fixer le degré d'incapacité de gain qu'il présente. L'évaluation de l'invalidité suppose que les organes de l'assurance-invalidité examinent et se prononcent tant sur l'exigibilité et l'étendue de la capacité de travail résiduelle (attestée médicalement) de l'assuré en cause, que sur la mise en valeur de celle-ci sur le plan économique, ces aspects du droit à une rente d'invalidité étant alors en principe déterminants pour l'institution de prévoyance pour fixer ses propres prestations (cf. <ref-ruling> consid. 4 p. 69). Lorsqu'il s'agit, par la suite, d'examiner une éventuelle surindemnisation, l'institution de prévoyance n'a pas à apprécier à nouveau l'étendue de la capacité de travail résiduelle présentée par l'assuré. Admettre le contraire reviendrait en effet à l'autoriser à procéder à un nouvel examen de l'invalidité et du droit à la rente qui en découle, en dehors des conditions propres à une révision de la rente d'invalidité de l'assurance-invalidité laquelle ressort en premier lieu de la compétence des organes de cette assurance. Dans la mesure où le recourant entend se prévaloir d'une nouvelle appréciation médicale de sa capacité de travail, respectivement d'une diminution de celle-ci, en se référant notamment aux rapports des docteurs K._, C._ et O._, il lui appartient de se tourner vers les organes de l'assurance-invalidité pour qu'ils examinent, le cas échéant, les modifications invoquées.
On ajoutera que dans la procédure de l'assurance-invalidité, les organes de celle-ci ne sauraient se fonder, lors de l'examen de la mise en valeur de la capacité de travail résiduelle, sur des possibilités de travail irréalistes, par exemple lorsqu'une activité ne peut être exercée que sous une forme tellement restreinte qu'elle n'existe pratiquement pas sur le marché général du travail ou que son exercice suppose de la part de l'employeur des concessions irréalistes (arrêt I 537/03 du 16 décembre 2003, consid. 3.1; cf. RCC 1991 p. 329 consid. 3b, 1989 p. 328 consid. 4a). Dans cette mesure, l'évaluation du revenu d'invalidité déterminant pour l'assurance-invalidité est effectuée en tenant compte d'une mise en valeur réaliste de la capacité de travail résiduelle. Dans le contexte de la surindemnisation, l'examen de l'institution de prévoyance n'a donc plus à porter sur les aspects de l'exigibilité de la capacité résiduelle de travail ou le caractère réaliste de la mise en valeur de celle-ci sur le plan économique. Elle doit se limiter à vérifier, au regard des éléments que fait valoir l'assuré à l'encontre de la présomption d'équivalence entre le revenu d'invalide et le revenu raisonnablement réalisable, si le marché du travail entrant concrètement en considération pour celui-ci comprend des postes de travail adaptés à sa situation (dans ce sens, Markus Moser/Hans-Ulrich Stauffer, Die Überentschädigungskürzung berufsvorsorgerechtlicher Leistungen im Lichte der Rechtsprechung, RSAS 2008 p. 91 ss, p. 105 et Bemerkungen zu BGE 134 V 64, PJA 2008 p. 619 ss, p 621). Il en découle que l'assuré ne peut pas invoquer, au titre de «circonstances personnelles» dont doit tenir compte l'institution de prévoyance sous l'angle de l'exigibilité d'un revenu résiduel, des éléments qui ont déjà été pris en considération par les organes de l'assurance-invalidité, puis l'institution de prévoyance, pour déterminer l'exigibilité de la capacité de travail résiduelle et son étendue. Les circonstances personnelles ont trait à la mise en valeur concrète de la capacité de travail résiduelle sur le marché du travail tel qu'il se présente au moment de l'examen de la surindemnisation. Il s'agit par exemple de prendre en compte la situation familiale de l'assuré qui s'occupe de ses enfants en bas âge.
4.4 En conséquence de ce qui précède, la juridiction cantonale n'a ni méconnu la notion de revenu raisonnablement réalisable au sens de l'art. 24 al. 2 deuxième phrase OPP 2, ni constaté les faits pertinents de manière incomplète en ne revenant pas sur la capacité de travail résiduelle de 50 % fixée par l'assurance-invalidité lors de la détermination du taux d'invalidité. Pour le surplus, le recourant ne fait valoir aucun élément qui commanderait de s'écarter du montant de 2665 fr. retenu par les premiers juges au titre de revenu raisonnablement réalisable. Il ne remet, par ailleurs, pas en cause les autres données du calcul de surindemnisation effectué par l'intimée et confirmé par la juridiction cantonale, de sorte qu'il n'y a pas lieu d'examiner celui-ci plus avant. Le recours se révèle dès lors mal fondé.
5. La procédure est onéreuse (<ref-law>). Le recourant a toutefois sollicité le bénéfice de l'assistance judiciaire en requérant la dispense des frais judiciaires. Etant donné que P._ en remplit les conditions (<ref-law>), il y a lieu de lui accorder l'assistance judiciaire. Il est cependant rendu attentif au fait qu'il devra rembourser la caisse du tribunal, s'il devient ultérieurement en mesure de le faire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée au recourant.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant. Ils sont supportés provisoirement par la caisse du Tribunal.
4. Le présent arrêt est communiqué aux parties, au Tribunal des assurances du canton de Vaud, à l'Office fédéral des assurances sociales et à la Caisse cantonale vaudoise de compensation AVS.
Lucerne, le 9 octobre 2008
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
p. le Président: La Greffière:
Borella Moser-Szeless