Faits:
A. F._ a travaillé comme boulanger-pâtissier, avant d'être engagé en tant qu'apprenti-peintre auprès d'une entreprise genevoise en 1995. Victime d'un accident de la circulation en décembre 1995, le prénommé a été mis au bénéfice d'une rente d'invalidité de l'assurance-accidents fondée sur un taux d'invalidité de 29 % à partir du 1er janvier 2000, ainsi que d'une indemnité pour atteinte à l'intégrité de 15 % (décision sur opposition de la Caisse nationale suisse d'assurance en cas d'accidents du 19 septembre 2002, entrée en force à la suite du jugement du Tribunal administratif genevois du 3 février 2004, qui a rejeté le recours de l'assuré).
Entre-temps, le 26 novembre 1997, F._ s'est annoncé à l'assurance-invalidité. Après différentes mesures d'instruction ordonnées par l'Office cantonal genevois de l'assurance-invalidité (ci-après: l'office AI), il a commencé, le 1er décembre 1999, une formation d'agent de sécurité auprès de l'entreprise X._ qu'il a cependant interrompue peu après. Par la suite, il a invoqué souffrir d'une atteinte psychique. L'office AI a alors requis l'avis du docteur V._, spécialiste FMH en psychiatrie et psychothérapie, selon lequel son patient présentait un épisode dépressif moyen avec syndrome somatique (F 32.1) et disposait d'une capacité de travail de 50 % au niveau psychosomatique. L'administration a également soumis l'assuré à un examen psychiatrique auprès de son Service médical régional pour la Suisse romande (SMR). Par décision du 30 novembre 2006, l'office AI a nié le droit de F._ à une rente d'invalidité, motif pris d'un taux d'invalidité (de 27 %) insuffisant pour la reconnaissance du droit à une rente.
B. B.a A la suite de deux recours successifs de l'assuré, le Tribunal fédéral a annulé le jugement rendu le 20 juin 2007 par le Tribunal cantonal des assurances de la République et canton de Genève (aujourd'hui, Cour de justice de la République et canton de Genève, Chambre des assurances sociales), ainsi que la décision de l'office AI du 30 novembre 2006, et renvoyé la cause à l'administration pour instruction complémentaire sous la forme d'une expertise psychiatrique et nouvelle décision.
B.b En conséquence, l'office AI a confié une expertise au docteur A._, spécialiste FMH en psychiatrie et psychothérapie. Dans son rapport du 5 décembre 2008, l'expert a diagnostiqué un trouble dépressif majeur, épisode isolé (état actuel en rémission partielle) et conclu à une capacité de travail entière au niveau psychiatrique. Fort de ces conclusions, et réitérant ses considérations antérieures sur une capacité de travail entière dans une activité adaptée, l'office AI a, par décision du 25 mars 2009, refusé toute prestation à F._.
B.c L'assuré a déféré cette décision à la Cour de justice genevoise, Chambre des assurances sociales, en produisant notamment un rapport du docteur V._, du 12 juin 2009. Après avoir procédé à des enquêtes (auditions du docteur A._ et X._, la juridiction cantonale a, par jugement du 5 octobre 2011, partiellement admis le recours dans le sens des considérants et annulé la décision du 25 mars 2009 (ch. 2 du dispositif). Elle a reconnu le droit de F._ à une rente entière d'invalidité du 25 décembre 1996 au 31 mars 2000, sous imputation éventuelle des indemnités journalières (ch. 3 du dispositif). Elle a par ailleurs renvoyé la cause pour le calcul des prestations dues au sens des considérants et décision sur les mesures de réadaptation professionnelles (ch. 4 du dispositif).
C. F._ et l'office AI interjettent tous deux un recours en matière de droit public contre ce jugement.
Sous suite de dépens, l'assuré conclut à l'annulation du jugement cantonal "en tant qu'il a limité le droit à la rente d'invalidité du 25 décembre 1996 au 31 mars 2000" et à la reconnaissance de son droit à une rente d'invalidité "fondée sur un degré d'invalidité de 50 % au moins à compter du 25 décembre 1996 et ce pour une durée illimitée". Il demande également que soit ordonné le versement en ses mains des rentes dues et qu'il soit mis au bénéfice de mesures d'ordre professionnel "pour les 50 % restants".
De son côté, l'office AI conclut à l'annulation du jugement cantonal et à la confirmation de la décision du 25 mars 2009 "en ce qu'elle refusait tout droit à la rente". Il sollicite par ailleurs l'octroi de l'effet suspensif à son recours.
F._ et l'office AI ont chacun conclu au rejet du recours de l'autre, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé au sujet de leurs écritures respectives.
D. Par ordonnance du 22 février 2012, le Tribunal fédéral a joint les deux causes et admis la requête d'octroi de l'effet suspensif de l'administration.
Considérant en droit:
1. 1.1 Le jugement entrepris statue sur deux points. D'une part, la juridiction cantonale a mis F._ au bénéfice d'une rente entière de l'assurance-invalidité du 25 décembre 1996 au 31 mars 2000 et renvoyé la cause pour le calcul des prestations dues. D'autre part, elle a retenu que des mesures de reclassement devaient être envisagées et des mesures d'orientation professionnelle, voire une aide au placement, admises, de sorte qu'elle a renvoyé la cause à l'administration pour qu'elle statue sur les mesures de réadaptation professionnelles.
Compte tenu des conclusions et motifs de chacun des deux recours (cf. art. 107 al. 1 LTF), seul le premier objet est contesté en instance fédérale, le renvoi à l'office AI pour décision sur les mesures de réadaptation professionnelles n'étant pas remis en cause par les parties.
1.2 En ce qui concerne le droit à la rente d'invalidité, bien que le dispositif du jugement entrepris renvoie le dossier à l'office AI, il ne s'agit pas d'une décision incidente au sens de l'art. 93 LTF car la juridiction fédérale de première instance a statué définitivement sur les points contestés, le renvoi de la cause ne visant que le calcul de la prestation accordée. Les recours sont dès lors recevables puisqu'ils sont dirigés contre un jugement final (cf. art. 90 LTF; arrêt 9C_684/2007 du 27 septembre 2007 consid. 1.1, in SVR 2008 IV n° 39 p. 131).
2. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon les art. 95 sv. LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF) et peut rectifier ou compléter d'office les constatations de celle-ci si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
3. Le jugement entrepris expose correctement les règles légales et la jurisprudence applicables au litige, qui porte sur le droit de l'assuré à une rente d'invalidité à partir du 25 décembre 1996, singulièrement sur l'existence d'une atteinte à la santé invalidante au sens de la loi. Il suffit d'y renvoyer.
4. Se fondant sur les conclusions de l'expertise du docteur A._, la juridiction cantonale a constaté que l'assuré ne souffrait d'aucune limitation psychiatrique significative. En dehors d'une période d'incapacité de travail de 40 % au moins entre le mois de septembre 2002 et le mois de janvier 2003, il n'avait subi aucune restriction en raison du trouble dépressif majeur (épisode isolé, état [au moment de l'examen] en rémission partielle) diagnostiqué par l'expert. Les premiers juges ont par ailleurs considéré que l'évaluation du docteur V._ (du 12 juin 2009) n'était pas de nature à remettre en cause les conclusions claires du docteur A._, la divergence entre celles-ci et l'appréciation du psychiatre traitant étant due uniquement à l'approche psychiatrique (bio-psycho-sociale) adoptée par ce dernier.
Sur le plan somatique, l'autorité cantonale de recours a ensuite déduit des rapports médicaux au dossier que l'assuré avait présenté une incapacité totale de travail dans toute activité depuis l'accident du 25 décembre 1995, de sorte qu'il présentait un taux d'invalidité de 100 % depuis le 25 décembre 1996. Constatant que l'assuré avait cependant recouvré une capacité de travailler à plein temps dans une activité adaptée à ses limitations fonctionnelles depuis le 1er janvier 2000, la juridiction cantonale a examiné les effets économiques de cette modification. Procédant à une comparaison des revenus déterminants, elle a fixé à 29 % le degré d'invalidité présenté par l'assuré dès le début de l'an 2000, de sorte que le droit à la rente entière d'invalidité ne pouvait être maintenu au-delà du 31 mars 2000.
5. 5.1 Invoquant une violation du droit fédéral en relation avec l'art. 61 LTF, l'office recourant reproche aux premiers juges d'avoir examiné à nouveau les effets des limitations fonctionnelles physiques de l'assuré sur sa capacité de travail. Selon lui, cette question avait déjà été examinée et tranchée par le Tribunal fédéral dans l'arrêt 9C_490/2007 du 10 avril 2008, entré en force, de sorte que les constatations de l'autorité cantonale de recours sur l'incapacité totale de travail de l'assuré jusqu'en 2000 en raison d'atteintes à la santé physique violaient le principe de l'autorité de chose jugée.
5.2 Les arrêts du Tribunal fédéral acquièrent force de chose jugée le jour où ils sont prononcés (art. 61 LTF). En principe, seul le dispositif du jugement est revêtu de l'autorité de chose jugée. Toutefois, lorsque le dispositif se réfère expressément aux considérants, ceux-ci acquièrent eux-mêmes la force matérielle. Ainsi, lorsque le Tribunal fédéral rend un jugement dont le dispositif prévoit que la décision attaquée est annulée et l'affaire renvoyée à l'autorité intimée pour qu'elle statue à nouveau dans le sens des considérants, cette dernière est liée par la motivation juridique de l'arrêt de renvoi. Sous réserve de l'admissibilité des nova - question qui relève du droit cantonal -, l'autorité cantonale ne saurait donc se fonder sur des motifs que le Tribunal fédéral a expressément ou implicitement rejetés, ni remettre en cause des points définitivement tranchés dans les considérants de l'arrêt, même si le dispositif prononce une annulation totale et que l'autorité cantonale doit statuer à nouveau sur l'ensemble (arrêts 9C_407/2008 du 6 avril 2009 et 2C_184/2007 du 4 septembre 2007 consid. 3.1; YVES DONZALLAZ, Commentaire de la Loi sur le Tribunal fédéral, 2008, n° 1697 ad art. 61 LTF et les arrêts cités sous note n° 4117; NICOLAS VON WERDT, Bundesgerichtsgesetz, 2007, n° 9 ad art. 61 LTF).
Enfin, les considérants de l'arrêt de renvoi lient les parties et le Tribunal fédéral lui-même. Celui-ci ne peut dès lors se fonder sur des considérations qu'il avait écartées ou dont il avait fait abstraction dans sa précédente décision (ATF 111 II 94 consid. 2 p. 95). Les parties ne peuvent quant à elles plus faire valoir, dans un nouveau recours de droit fédéral contre la nouvelle décision cantonale, des moyens que le Tribunal fédéral avait expressément rejetés dans l'arrêt de renvoi (ATF 133 III 201 consid. 4.2 p. 208) ou qu'il n'avait pas eu à examiner, les parties ayant omis de les invoquer dans la première procédure de recours, alors qu'elles pouvaient - et devaient - le faire (arrêt 2C_184/2007 du 4 septembre 2007 consid. 3.1; ATF 111 II 94 consid. 2 p. 95/96)
5.3 Dans son arrêt du 10 avril 2008, le Tribunal fédéral a retenu que "se fondant sur les différents avis médicaux au dossier, la juridiction cantonale a constaté que le recourant disposait sur le plan somatique d'une capacité de travail entière dans une activité adaptée (tenant compte des limitations fixées par les médecins), ce que l'assuré ne conteste pas" (consid. 3.1 ab initio de l'arrêt 9C_490/2007). Il a examiné ensuite les considérations de l'autorité cantonale de recours relatives à l'inexistence d'une atteinte psychique entraînant une incapacité de travail et conclu qu'elles ne reposaient pas sur un rapport médical ayant une valeur probante suffisante. Aussi, à défaut d'une autre évaluation d'un psychiatre au dossier, le Tribunal fédéral a-t-il annulé le jugement entrepris et renvoyé la cause à l'office AI pour qu'il complète l'instruction sous la forme d'une expertise psychiatrique, puis rende une nouvelle décision (le cas échéant, également sur la requête subsidiaire de l'assuré tendant à l'octroi de mesures de réadaptation d'ordre professionnel; consid. 3.2 in fine et ch. 1 du dispositif de l'arrêt en cause).
5.4 A teneur des considérants de l'arrêt du 10 avril 2008 (auxquels renvoyait le ch. 1 du dispositif), l'office AI devait mettre en oeuvre une expertise psychiatrique à titre de mesure d'instruction complémentaire et rendre une nouvelle décision en prenant en compte les résultats de celle-ci. C'est ce qu'il a fait en mandatant le docteur A._, qui a rendu son rapport le 5 décembre 2008, et en se prononçant par décision du 25 mars 2009.
De son côté, la juridiction cantonale a, sur recours de l'assuré, examiné les répercussions de l'état de santé non seulement sous l'angle psychique, mais également somatique. Elle a, en fin de compte, retenu une incapacité totale de travail de l'assuré dans toute activité du 25 décembre 1995 jusqu'à décembre 1999, en raison uniquement de limitations d'ordre physique. Une telle manière de procéder n'est pas admissible, puisqu'elle revient à examiner et se prononcer à nouveau sur un point définitivement tranché, même si ce n'est que de manière implicite, dans les considérants de l'arrêt fédéral de renvoi. En tant que le Tribunal fédéral a repris les constatations de la juridiction cantonale sur l'existence d'une capacité de travail entière dans une activité adaptée (tenant compte des limitations fixées par les médecins) - et sans aucune limitation temporelle -, en précisant qu'elles n'étaient pas remises en cause par l'assuré, il a implicitement et définitivement jugé cet aspect du litige qu'il n'avait pas à examiner plus avant au regard des art. 97 et 105 LTF. Dès lors que dans le jugement attaqué, l'autorité cantonale de recours ne s'est pas fondée sur des faits ou moyens de preuve nouveaux (mais sur des éléments et pièces médicales qui étaient déjà à sa disposition au cours de la première procédure de recours) pour arriver à une conclusion différente sur la capacité de travail de l'assuré sur le plan somatique de celle qui fut la sienne dans son premier jugement du 20 juin 2007, et qui a été confirmée implicitement par le Tribunal fédéral, ses constatations sur cet aspect du litige se heurtent à l'autorité de chose jugée de l'arrêt du 10 avril 2008 et ne sont, partant, pas admissibles.
5.5 En conséquence de ce qui précède, il convient de s'écarter des constatations de la juridiction cantonale et de retenir, en adéquation avec les considérants de l'arrêt 9C_490/2007 du 10 avril 2008, que l'assuré présentait une capacité de travail entière dans une activité adaptée aux limitations fixées par les médecins. Il en résulte, à ce stade, que le droit de l'assuré à une rente entière du 25 décembre 1996 au 31 mars 2000, tel que reconnu par la juridiction cantonale en raison des seules séquelles physiques et de leurs effets sur la capacité de travail, est contraire au droit.
6. 6.1 En ce qui concerne les constatations des premiers juges sur l'absence, chez l'assuré, d'une atteinte psychique entraînant une incapacité de travail, F._ fait valoir une appréciation arbitraire des preuves. Selon lui, l'expert A._ avait mis en évidence une symptomatologie dépressive et une période limitée de trois à quatre mois d'incapacité de travail de 40 %, dont la juridiction cantonale n'aurait à tort pas tenu compte. L'assuré reproche également aux premiers juges d'avoir suivi les conclusions contradictoires de l'expert, qui ne seraient ni étayées, ni convaincantes, alors qu'ils ont "repoussé" l'appréciation du docteur V._ sans l'avoir entendu au préalable.
6.2 Le Tribunal fédéral n'examine le résultat de l'appréciation des preuves à laquelle a procédé l'autorité cantonale de recours que sous l'angle restreint de l'arbitraire. L'appréciation des preuves est arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 129 I 8 consid. 2.1 p. 9).
6.3 L'appréciation des preuves à laquelle a procédé la juridiction cantonale pour constater que l'assuré ne souffrait pas d'une atteinte psychique limitant sa capacité de travail n'est en l'espèce pas arbitraire. L'autorité cantonale de recours a en effet expliqué de façon circonstanciée les raisons pour lesquelles, face aux évaluations divergentes du docteur A._, d'une part, et du docteur V._, d'autre part, elle suivait l'appréciation de l'expert mandaté par l'office AI. Ces raisons n'apparaissent nullement insoutenables: les premiers juges ont accordé pleine valeur probante à l'expertise du docteur A._ en mettant en évidence le caractère complet de l'examen effectué par le psychiatre et le caractère motivé de ses conclusions. En particulier, l'expert a expliqué pourquoi, même s'il diagnostiquait un trouble dépressif majeur (épisode isolé, état actuel en rémission partielle), il n'y associait pas d'incapacité de travail durable (en dehors de la période entre septembre 2002 et janvier 2003), de sorte que ses conclusions ne sauraient être qualifiées de contradictoires. Celles-ci ne le sont pas davantage du fait que l'expert reconnaît la nécessité pour l'intéressé de poursuivre son traitement médicamenteux tout en niant une incapacité de travail durable, comme l'invoque en vain l'assuré; la prise de médicaments a précisément pour but d'améliorer l'état de santé du patient et de lui éviter de subir des limitations dans sa vie privée et professionnelle. Par ailleurs, contrairement à ce que prétend le recourant, la juridiction cantonale s'est dûment fondée sur les constatations médicales de l'expertise, puisqu'elle a admis l'existence de limitations psychiatriques significatives pour la période mentionnée par l'expert, mais pas en-deçà ou au-delà de celle-ci.
Ensuite, les premiers juges n'ont pas écarté l'avis du docteur V._ (du 12 juin 2009) au (seul) motif qu'il émanait du psychiatre traitant de l'assuré, mais l'ont évalué dans le cadre d'une appréciation globale de sa valeur probante. Ils ont considéré à juste titre que les conclusions du médecin traitant relevaient d'une approche psychiatrique bio-psycho-sociale, laquelle incluait des facteurs socio-culturels qui n'étaient pas déterminants du point de vue de l'assurance-invalidité. Faute de reposer sur la notion d'atteinte à la santé applicable dans le domaine des assurances sociales, elles ne pouvaient dès lors être suivies. A cet égard, on rappellera que si la médecine moderne repose sur une conception bio-psycho-sociale de la maladie, où la maladie n'est pas considérée comme un phénomène purement biologique ou physique, mais comme le résultat d'une interaction entre des symptômes somatiques et psychiques d'une part et l'environnement social du patient d'autre part, le droit des assurances sociales - en tant qu'il a pour objet la question de l'invalidité - s'en tient à une conception essentiellement biomédicale de la maladie dont sont exclus les facteurs psychosociaux ou socioculturels (ATF 127 V 294 consid. 5a p. 299; arrêt 9C_603/2009 du 2 février 2010, in SVR 2010 IV 58 p. 177).
Enfin, le grief tiré du fait que la juridiction cantonale a renoncé à l'audition du docteur V._, outre qu'il apparaît insuffisamment motivé, est mal fondé au regard de la possibilité dont disposent les premiers juges de renoncer à des mesures d'instruction lorsqu'ils ont acquis la conviction, au terme d'une appréciation anticipée des preuves, que de telles mesures ne pourraient pas les amener à modifier leur opinion (cf. ATF 130 II 425 consid. 2.1 p. 429; 125 I 127 consid. 6c/cc in fine p. 135).
7. En conclusion, pour les motifs qui précèdent, il y a lieu de retenir que l'assuré disposait d'une capacité de travail entière dans une activité adaptée. Le taux d'invalidité déterminé (à 29 %) par la juridiction cantonale en fonction d'une telle capacité n'est pas contesté en tant que tel par les parties (l'argumentation de l'assuré portant exclusivement sur la capacité de travail), et lie le Tribunal fédéral (consid. 2 supra). Dès lors qu'il n'est pas suffisant pour ouvrir le droit à une rente d'invalidité, c'est à tort que la juridiction cantonale a reconnu une telle prestation à l'assuré du 25 décembre 1996 au 31 mars 2000. Le jugement entrepris doit donc être réformé dans cette mesure, ce qui conduit à l'admission du recours de l'office AI et au rejet des conclusions de F._.
8. Vu l'issue du litige, les frais de justice doivent être supportés par l'assuré (art. 66 al. 1 LTF), alors que l'office AI, même s'il obtient gain de cause, ne peut prétendre de dépens (art. 66 al. 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de l'office AI est admis. Le jugement de la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, du 5 octobre 2011, est réformé en ce sens que le ch. 3 du dispositif de ce jugement est annulé, le ch. 4 est modifié en ce sens que la cause est renvoyée à l'intimé pour décision sur les mesures de réadaptation d'ordre professionnel et les ch. 5 et 6 sont annulés.
2. Le recours de F._ est rejeté.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de F._.
4. La cause est renvoyée à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, pour nouvelle décision sur les frais et dépens de la procédure antérieure.
5. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 29 juin 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless