Faits:
A. A.a M._ a été mis au bénéfice d'une demi-rente de l'assurance-invalidité à partir du 1er février 1999 jusqu'au 31 mai 2001 en raison de troubles psychiques (décision de l'Office de l'assurance-invalidité pour le canton de Vaud [ci-après: office AI] du 29 octobre 2001, réformée par jugement du Tribunal des assurances du canton de Vaud du 2 juillet 2002, en ce sens que le droit à la prestation a été accordé au-delà du 31 mai 2001). A l'époque, les médecins avaient diagnostiqué un état dépressif majeur d'intensité légère à moyenne, une dysthymie et une personnalité immature à traits paranoïaques et limite, atteintes qui limitaient à 50 % la capacité de travail de l'assuré dans l'activité de manutentionnaire exercée jusqu'alors (cf. jugement cantonal du 2 juillet 2002).
A.b Le 3 octobre 2002, alors qu'il travaillait à mi-temps en qualité d'aide-magasinier au service de la société X._ SA, M._ a été victime d'un accident qui a entraîné de multiples fractures costales provoquant une pseudarthrose de la 6ème à la 10ème côte du flanc droit. En tant qu'assureur-accidents, la Caisse nationale suisse d'assurance en cas d'accidents (CNA) a pris en charge les suites de cet événement. Elle a alloué à M._ une rente fondée sur un taux d'invalidité de 45 % à partir du 1er février 2004 (décision du 29 juin 2004).
Saisi en parallèle d'une demande de révision de la part de l'assuré, l'office AI a recueilli divers avis médicaux et requis l'avis de son Service médical régional AI (SMR), où le docteur U._ a indiqué que l'intéressé disposait, après une alternance de périodes d'incapacité totale et partielle de travail, d'une capacité de travail globale (psychique et physique) de 50 % dans une activité adaptée à partir du 29 juin 2004. De leur côté, les doctoresses U._ et L._ de l'Hôpital Y._ ont fait état d'une aggravation de l'état de santé psychique et d'une incapacité totale de travail au moins depuis le 8 avril 2005 (début du suivi psychiatrique; rapport du 3 août 2005). Par décision du 23 novembre 2007, l'office AI a reconnu à M._ un droit à une rente entière d'invalidité du 1er octobre 2003 au 30 septembre 2004 (remplacée à partir du 1er octobre 2004 par une demi-rente).
B. L'assuré a déféré cette décision au Tribunal des assurances du canton de Vaud (depuis le 1er janvier 2009, Cour des assurances sociales du Tribunal cantonal), en concluant à l'octroi d'une rente entière d'invalidité au-delà de septembre 2004. Par jugement du 10 novembre 2008, le Tribunal a admis le recours et réformé la décision administrative, en ce sens que le droit à la rente entière d'invalidité était maintenu au-delà du 30 septembre 2004.
C. L'office AI interjette un recours en matière de droit public contre le jugement cantonal, dont il demande l'annulation. Il conclut à la confirmation de sa décision du 23 novembre 2007. Il sollicite par ailleurs l'effet suspensif à son recours, ce qui lui a été accordé par ordonnance du 31 mars 2009 en tant que l'effet suspensif porte sur le versement de prestations supérieures à une demi-rente d'invalidité.
M._ conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. 1.1 Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. ATF 130 III 136 consid. 1.4 in fine p. 140).
1.2 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. A ce sujet, on rappellera que les constatations de la juridiction cantonale sur l'atteinte à la santé (diagnostic, pronostic, etc.) et l'évaluation de la capacité de travail (résiduelle), ainsi que sur le point de savoir si l'état de santé ou la capacité de travail se sont modifiés d'une manière déterminante sous l'angle de la révision au cours d'une certaine période (arrêt 9C_270/2008 du 12 août 2008 consid. 2.2), sont en principe des questions de fait (ATF 132 V 393 consid. 3.2 p. 397).
2. Il n'est pas contesté que l'intimé a droit à une rente entière de l'assurance-invalidité du 1er octobre 2003 au 30 septembre 2004, puis à une demi-rente à partir du 1er octobre 2004. En instance fédérale, le litige porte sur le point de savoir si la juridiction cantonale était en droit de maintenir le droit à une rente entière d'invalidité à compter de cette date. A cet égard, le jugement entrepris expose correctement la norme sur la révision (art. 17 LPGA) et la jurisprudence y relative, de sorte qu'on peut y renvoyer.
3. 3.1 Considérant que la décision du 29 juin 2004 par laquelle la CNA avait reconnu au recourant le droit à une rente fondée sur un taux d'invalidité de 45 % ne pouvait pas être remise en cause dans la procédure de l'assurance-invalidité, la juridiction cantonale a cherché à "déterminer l'effet de l'invalidité d'origine accidentelle [de 45 %]" sur l'invalidité d'étiologie psychiatrique [de 50 %]". Après avoir précisé que l'addition pure et simple des taux d'incapacité de travail psychique et physique n'était pas admissible, une évaluation globale devant être effectuée, elle a retenu que le taux de la nouvelle incapacité de travail - de nature somatique - devait être appliqué à la capacité de travail résiduelle - réduite en raison de l'incapacité de l'atteinte psychiatrique. Le taux d'invalidité en résultant était de 77,5 %, ce qui justifiait le maintien du droit à une rente entière d'invalidité au-delà du 30 septembre 2004.
3.2 Invoquant une violation des règles sur l'évaluation de l'invalidité, le recourant reproche aux premiers juges d'avoir additionné les deux taux d'invalidité relevant l'un de l'atteinte psychique et l'autre de l'affection somatique, celui-ci ayant par ailleurs été déterminé de manière erronée par l'assureur-accidents. Selon le recourant, la pondération avec addition effectuée par la juridiction cantonale ne repose sur aucune justification médicale. Il ressortirait en effet de l'appréciation globale du SMR que l'intimé disposerait d'une capacité de travail de 50 % dans une activité adaptée aux limitations fonctionnelles somatiques.
4. 4.1 Comme le fait valoir à juste titre le recourant, la détermination par la juridiction cantonale du taux d'invalidité de l'intimé à 77,5 % est contraire au droit. Le raisonnement de l'autorité cantonale de recours, qui explique appliquer "le taux de la nouvelle incapacité de travail à la capacité de travail résiduelle" pour en déduire un taux d'invalidité, relève tout d'abord d'une confusion entre les notions d'incapacité de travail et d'invalidité. Sans se prononcer sur les effets de l'atteinte somatique entraînée par l'accident survenu le 3 octobre 2002 sur la capacité de travail résiduelle de l'intimé, les premiers juges ont additionné au taux d'invalidité de 50 % reconnu initialement (cf. jugement du Tribunal vaudois des assurances du 2 juillet 2002) un degré de 22,5 % obtenu apparemment par la multiplication du taux d'invalidité retenu par la CNA (45 %) par le taux de capacité de travail résiduelle (50 %). Une telle opération, dont on a peine à comprendre le fondement, ne correspond pas aux règles sur la notion et l'évaluation de l'invalidité. Selon celles-ci, il convient, après avoir déterminé la capacité de travail exigible de l'assuré à l'aide de renseignements médicaux sur l'atteinte à la santé et la mesure dans laquelle celui-ci est (encore) capable de travailler (ATF 125 V 256 consid. 4 p. 261), de comparer le revenu que l'assuré aurait pu obtenir s'il n'était pas invalide avec celui qu'il pourrait obtenir en exerçant l'activité qui peut raisonnablement être exigée de lui après les traitements et les mesures de réadaptation sur un marché du travail équilibré (art. 6, 7 et 16 LPGA, dans leur teneur en vigueur jusqu'au 31 décembre 2007, applicable en l'espèce).
En second lieu, le tribunal cantonal s'est à tort cru lié par le taux d'invalidité fixé par la CNA à la suite de l'accident du 3 octobre 2002. Dans un arrêt publié aux ATF 133 V 549, le Tribunal fédéral a précisé sa jurisprudence relative au principe d'uniformité de la notion d'invalidité dans l'assurance sociale en ce sens que l'évaluation de l'invalidité par les organes de l'assurances-accidents n'a pas de force contraignante pour l'assurance-invalidité au sens de l'ATF 126 V 288. Indépendamment de cette précision, le Tribunal fédéral avait déjà jugé que les organes de l'assurance-invalidité et ceux de l'assurance-accidents étaient tenus de procéder dans chaque cas et de manière indépendante à l'évaluation de l'invalidité, les uns ou les autres ne pouvant se contenter de reprendre simplement et sans avoir effectué leur propre examen le degré d'invalidité fixé par l'autre assureur(ATF 126 V 288 consid. 3d p. 293). En tant que l'autorité de recours de première instance a simplement repris le taux de 45 % fixé par l'assureur-accidents, sans effectuer une évaluation propre des conséquences économiques de l'atteinte somatique entraînée par l'accident, son évaluation n'est pas conforme au droit.
4.2 Cela étant, le jugement entrepris ne comprend pas de constatation sur le point - déterminant sous l'angle de la révision - de savoir dans quelle mesure l'état de santé du recourant s'est modifié à la suite de l'événement accidentel du 3 octobre 2002 (soit postérieurement à la reconnaissance du droit à une demi-rente d'invalidité), singulièrement quels effets l'affection somatique entraînée par l'accident a eus sur la capacité résiduelle de travail de l'intimé. Le Tribunal fédéral dispose certes de la faculté de compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs de celui-ci lui apparaîtraient d'emblée comme manifestes, conformément à l'art. 105 al. 2 LTF. Les pièces au dossier n'apparaissent toutefois pas suffisantes pour ce faire.
Invité à se prononcer sur la situation de son patient après l'accident, le docteur N._, médecin traitant, a attesté d'une aggravation de l'état de santé en raison de l'absence de consolidation des fractures de côtes multiples dont a été victime l'assuré. Dans un premier temps (rapport du 29 juin 2006), il a admis que celui-ci était capable d'exercer à 50 % une activité adaptée (travail léger, plutôt sédentaire, permettant l'alternance fréquente des positions et n'exigeant pas de port de charges lourdes). Par la suite, le médecin traitant a indiqué que son patient était fortement handicapé à cause des pseudarthroses multiples au niveau des côtes fracturées et préconisé la reconnaissance d'une invalidité à 100 % (courrier du 25 juillet 2007). De son côté, dans un avis du 25 janvier 2005, se référant simplement à l'incapacité de gain de 45 % reconnue par la CNA pour motifs somatiques, le médecin du SMR a indiqué, sans avoir examiné l'assuré, que la capacité de travail globale de l'intimé était de 50 %. Sur le plan psychiatrique, les médecins de Y._ ont pour leur part mentionné une aggravation de l'état psychique de l'intimé, avec idées délirantes envahissantes et hypocondriaques concernant ses douleurs thoraciques. Ils ont diagnostiqué des troubles délirants persistants et attesté d'une incapacité de travail entière dans toute activité depuis leur première consultation (le 8 avril 2005; rapport du 3 août 2005). Estimant qu'il s'agissait là d'une appréciation différente d'une situation clinique identique à celle prévalant en 2001, les docteurs U._ et B._ du SMR ont nié la péjoration de l'état de santé de l'assuré et la limitation de la capacité de travail reconnue par leurs confrères de Y._ (avis du 7 mars 2006).
Il ressort de l'ensemble de ces rapports médicaux qu'en plus des affections psychiques dont il souffrait à l'époque de l'octroi de la demi-rente d'invalidité, l'intimé présente également une atteinte physique liée à l'accident du 3 octobre 2002 qui limite sa capacité de travail. Les pièces médicales ne permettent en revanche pas de se prononcer sur les répercussions de la conjonction des troubles physiques et psychiques sur la capacité de travail résiduelle de M._. Celles-ci font l'objet d'avis médicaux divergents de la part des médecins traitants et du SMR sans que l'une ou l'autre appréciation apparaisse plus convaincante qu'une autre. Il manque en effet au dossier une évaluation médicale globale qui tienne compte des atteintes aussi bien psychiques que somatiques dont souffre l'intimé et porte sur les effets conjoints de celles-ci sur la capacité de travail de l'intimé au moment déterminant (juin 2004). Il convient, en conséquence, de renvoyer la cause au recourant pour qu'il complète l'instruction sous la forme d'une expertise médicale pluridisciplinaire, puis se prononce à nouveau sur l'éventuel droit de l'intimé à une prestation supérieure à une demi-rente d'invalidité dès le 1er octobre 2004. Dans cette mesure, le recours se révèle bien fondé.
5. Vu l'issue du litige, l'intimé qui succombe supportera les frais judiciaires afférents à la présente procédure (art. 66 al. 1 première phrase en relation avec l'art. 65 al. 4 let. a LTF), sans qu'il ait droit à des dépens (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis en ce sens que le jugement du Tribunal des assurances sociales du canton de Vaud du 10 novembre 2008 est annulé.
2. La cause est renvoyée à l'Office de l'assurance-invalidité pour le canton de Vaud afin qu'il complète l'instruction au sens des considérants, puis rende une nouvelle décision sur l'éventuel droit de l'intimé à une rente d'invalidité supérieure à une demi-rente à partir du 1er octobre 2004.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
4. La cause est renvoyée au Tribunal cantonal vaudois, Cour des assurances sociales, pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal vaudois, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 9 septembre 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Moser-Szeless