Faits:
A. Le 5 janvier 2006, C._, né en 1958, a subi un accident de la circulation; il était accompagné de son amie qui avait pris place dans sa voiture comme passagère. Alors qu'il s'était arrêté à un feu de signalisation qui passait en phase jaune clignotante, un car postal qui arrivait derrière lui n'a pas pu freiner à temps et a percuté son véhicule. Le prénommé a immédiatement ressenti de fortes douleurs à la nuque irradiant dans les épaules. Il a été amené à l'Hôpital X._ par la mère de son amie, arrivée peu après sur les lieux de l'accident. Il a quitté l'établissement hospitalier le jour même après que des radiographies n'eurent révélé aucune lésion osseuse, le diagnostic posé étant un traumatisme de type "whiplash" (voir le rapport d'entrée de l'hôpital). Peu après, C._ s'est également plaint de maux de tête accompagnés de nausées, ainsi que de troubles de la mémoire. Temporairement au chômage au moment de la survenance de l'accident, l'intéressé était assuré par la Caisse nationale suisse d'assurance en cas d'accidents (CNA), qui a pris en charge le cas.
Du 27 au 30 mars 2006, l'assuré a accompli un séjour à la Clinique Y._. Dans leurs conclusions (du 12 avril 2006), les médecins de cet établissement ont estimé qu'une reprise du travail était possible, la symptomatologie comportant exclusivement des aspects subjectifs; plusieurs facteurs étaient néanmoins susceptibles de rendre cette reprise plus difficile (intensité des douleurs malgré les traitements entrepris, traits de personnalité du registre paranoïde, contexte socio-professionnel). Le docteur D._, médecin traitant de l'assuré a attesté d'une capacité de travail complète dès le 1er mai 2006. C._ s'est alors adressé aux docteurs W._ et V._ qui l'ont remis en incapacité de travail totale; ce dernier médecin suggérait un traitement multi-disciplinaire en raison du risque de chronification des douleurs et d'un état psychique fragile (rapport du 3 juillet 2006). L'assuré a été examiné le 28 août 2006 par le docteur P._, médecin d'arrondissement de la CNA, et le 31 octobre 2006 par le docteur A._, médecin-conseil psychiatre de la CNA. Ce psychiatre a diagnostiqué un trouble psychotique avec des éléments de type paranoïde en relation de causalité naturelle avec l'accident assuré (appréciation psychiatrique du 31 octobre 2006). Sur le plan neurologique, il n'y avait pas d'anomalie significative (rapport du docteur N._ du 3 janvier 2007).
Par décision du 31 janvier 2007, la CNA a mis un terme à ses prestations (prise en charge des frais médicaux et indemnité journalière), au motif qu'il n'y avait plus de séquelles organiques liées à l'accident et que les troubles psychiques existants n'étaient pas non plus en relation de causalité adéquate avec celui-ci. Saisi d'une opposition, l'assureur-accidents l'a écartée dans une nouvelle décision du 16 mars 2007.
B. Par jugement du 29 août 2008, la Cour des assurances sociales du Tribunal cantonal valaisan a rejeté le recours formé par l'assuré contre la décision sur opposition de la CNA (du 16 mars 2007).
C. C._ interjette un recours en matière de droit public contre ce jugement dont il requiert l'annulation. Il conclut, sous suite de frais et dépens, à ce que la CNA soit condamnée à prendre en charge ses frais médicaux et sa perte de gain postérieurement au 31 janvier 2007, à lui verser une rente d'invalidité dont le montant devra être fixé une fois son état de santé stabilisé, et enfin, à lui allouer une indemnité pour atteinte à l'intégrité après examen complémentaire du dossier. Il a également déposé une demande d'assistance judiciaire tendant à la libération de l'obligation d'avancer les frais de justice.
La CNA conclut au rejet du recours. De son côté, l'Office fédéral de la santé publique n'a pas présenté de détermination.

Considérant en droit:
1. Le litige porte sur le point de savoir si l'intimée était fondée, par sa décision sur opposition du 16 mars 2007, à supprimer le droit du recourant aux prestations de l'assurance-accidents au-delà du 31 janvier 2007.
2. Dans la procédure de recours concernant l'octroi ou le refus de prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par l'état de fait constaté par la juridiction inférieure (<ref-law>). On ajoutera cependant que selon une jurisprudence récente (<ref-ruling>), l'<ref-law>, aux termes duquel aucun fait nouveau ni preuve nouvelle ne peut plus être présenté à moins de résulter de la décision de l'autorité précédente, est applicable même dans une procédure où le pouvoir d'examen n'est pas limité. Il n'y a donc pas lieu de prendre en considération les rapports du docteur V._ et du Service de consultation psychiatrique produits à l'appui du recours qui, bien que datés antérieurement au jugement attaqué (soit respectivement du 4 juin et 12 juin 2008), n'ont pas été versés au dossier cantonal.
3. 3.1 Il est constant que le recourant, qui a subi un traumatisme cervical de type "coup du lapin" lors de l'accident du 5 janvier 2006, ne présente aucun déficit organique objectivable consécutif à celui-ci (voir le rapport d'évaluation de la Clinique Y._ du 12 avril 2006 ainsi que le compte-rendu de l'examen neurologique effectué par le docteur N._ du 3 janvier 2007). Il n'est par ailleurs pas contesté que C._ souffre d'une décompensation psychotique entraînant une incapacité de travail totale et que cette atteinte psychique est en relation de causalité naturelle avec l'événement assuré (voir le rapport du docteur A._ du 31 octobre 2006). Il ressort également du dossier médical que l'assuré se plaint encore de douleurs périodiques à la nuque et de maux de tête (sans cause organique avérée); en revanche, les nausées et les fourmillements dans les mains signalés initialement ont disparu (voir les rapports respectifs des docteurs P._ et W._, des 29 août 2006 et 3 avril 2007).
3.2 Dans sa décision sur opposition, la CNA a estimé que la situation médicale de l'assuré devait être appréhendée à l'aune des principes applicables en cas de troubles psychiques consécutifs à un accident (<ref-ruling>). Le tableau clinique typique d'un traumatisme cervical (cervicalgies, maux de tête diffus) développé par C._ dans les suites immédiates de l'accident avait en effet été relégué à l'arrière-plan par la présence d'une importante atteinte psychique, ce qui justifiait un examen du lien de causalité adéquate en faisant la distinction entre les composantes physiques et psychiques. La juridiction cantonale, quant à elle, a fait application de la jurisprudence en cas d'accident de type «coup du lapin» avec les précisions apportées par l'<ref-ruling>. Les instances administrative et judiciaire ont toutes deux retenu que l'accident du 5 janvier 2006 entrait dans la catégorie des accidents de gravité moyenne.
3.3 Il convient en l'occurrence de suivre le point de vue de l'assureur-accidents. En avril 2006, les médecins de la Clinique Y._ étaient d'avis qu'il n'y avait pas de contre-indication, sur le plan somatique, à ce que l'assuré tente une reprise du travail; au plan psychique, le docteur F._ avait nié l'existence d'un trouble atteignant le seuil diagnostic tout en relevant des traits de la personnalité du registre paranoïde. Peu de temps après, soit en mai 2006 selon les indications fournies par les docteurs V._ et W._, l'assuré présente tous les signes d'une décompensation psychotique grave et manifeste (voir leurs rapports respectifs des 2 et 3 avril 2007 produits en instance cantonale), atteinte qui s'est vue confirmée par les psychiatres A._ (de la CNA) et B._ (médecin traitant). Cette symptomatologie psychotique a été jugée suffisamment sérieuse pour causer à elle seule une incapacité de travail totale et rendre un suivi psychiatrique ainsi que la prescription d'un traitement de type neuroleptique nécessaires. Cette situation ne s'est pas stabilisée malgré les traitements entrepris et perdure encore actuellement. Bien que les plaintes liées au traumatisme cervical ne se soient pas complètement résorbées, on peut retenir, à l'instar de l'intimée, que la problématique psychique dont souffre C._ constitue une atteinte distincte de ce traumatisme et qu'elle a pris une importance prédominante (voir également les observations faites par le docteur P._ à teneur desquelles les plaintes spontanées de l'assuré concernent avant tout les symptômes liés à la décompensation psychotique - insomnies, hallucinations, palpitations, angoisses - tandis que les douleurs cervicales ne sont évoquées que lorsque l'intéressé a été spécifiquement interrogé sur ce point). Dans un tel cas de figure, c'est la jurisprudence de l'<ref-ruling> qui doit s'appliquer (cf. RAMA 2001 n° U 412 p. 79 consid. 2b [U 96/00]; cf. également <ref-ruling> consid. 9.5 p. 125 sv.; arrêts 8C_957/2008 du 1er mai 2009, consid. 4.2, 8C_124/2007 du 20 mai 2008, consid. 3.2, et 8C_591/2007 du 14 mai 2008 consid. 3.1).
4. 4.1 La jurisprudence a posé plusieurs critères en vue de juger du caractère adéquat du lien de causalité entre un accident et des troubles d'ordre psychique développés ensuite par la victime. Elle a tout d'abord classé les accidents en trois catégories, en fonction de leur déroulement : les accidents insignifiants ou de peu de gravité (par exemple une chute banale), les accidents de gravité moyenne et les accidents graves. Cette classification s'opère en fonction du déroulement de l'accident lui-même et non pas de la manière dont le choc traumatique est ressenti et assumé (<ref-ruling> consid. 6 p. 138).
4.2 Selon le rapport de police, le véhicule du recourant a été percuté à l'arrière par un car postal alors qu'il était à l'arrêt à un feu de signalisation. Le conducteur du car était apparemment parti de l'idée que la voiture devant lui allait encore passer au feu jaune clignotant au lieu de stopper; malgré un freinage d'urgence, il n'est pas arrivé à s'arrêter à temps. Après la collision, la voiture et le car postal se sont trouvés à une distance respectivement de 15 mètres et de 5 mètres de la ligne d'arrêt du feu. Selon le recourant, il s'est agi d'un accident grave ou à tout le moins à la limite des accidents graves vu notamment l'importance du choc qu'il a enduré : le relevé du tachygraphe du car postal indiquait une vitesse de 61 km/h au moment de l'impact. Cela n'est toutefois pas démontré. Seule une expertise du tachygraphe permettrait de connaître la modification de vitesse (delta-v) subie par le véhicule de l'assuré. En tout état de cause, l'allégation apparaît douteuse dans la mesure où le relevé contient des fluctuations de vitesse et qu'il est par ailleurs établi que le car postal a procédé à un freinage d'urgence (la police a relevé des traces de freinage jusqu'à 5 mètres 80 sur la chaussée). Il reste que le choc a dû être sensiblement plus fort que celui résultant de simples collisions avec une voiture à l'arrêt généralement classées à la limite inférieure des accidents de gravité moyenne (voir par exemple RAMA 2005 n° U 549 p. 236, U 380/04, et 2003 n° U 489 p. 357, U 193/01). Il y a lieu, comme l'ont retenu à juste titre les premiers juges, de qualifier l'accident de circulation du 5 janvier 2006 comme étant de gravité moyenne. Aucune autre circonstance particulière n'est en effet à relever. Le recourant n'a pas perdu connaissance, ni subi de lésion grave et a quitté l'hôpital le jour même de l'accident à l'issue des examens de contrôle. En conséquence, on saurait admettre le caractère adéquat du trouble psychique que si l'un des critères déterminants s'est manifesté de manière particulièrement marquante pour l'accident, ou si les circonstances à prendre en considération se trouvent soit cumulées, soit réunies d'une façon frappante (<ref-ruling> consid. 6c/aa p. 140, 403 consid. 5c/aa p. 409).
4.3 En l'espèce, l'accident de circulation a été relativement impressionnant, mais il n'a pas été entouré de circonstances particulièrement dramatiques. Il n'a pas non plus causé de lésion physique sérieuse (ni fracture cervicale, ni déficit neurologique). Quant à la durée du traitement médical, on ne saurait prendre en compte les thérapies psychiatriques auxquelles s'est soumis le recourant du moment que le lien de causalité adéquate doit être examiné en excluant les aspects psychiques. Or, sur le plan strictement somatique, le traitement médical prescrit s'est limité à une médication antalgique, une injection et quelques séances de physiothérapie d'ailleurs rapidement interrompues par l'assuré. En outre, il n'y pas eu d'erreur ou de complications particulières dans ce suivi médical. En ce qui concerne la durée de l'incapacité de travail causée par les seules séquelles physiques du traumatisme cervical, elle ne saurait être considérée comme importante. En effet, selon les médecins de la Clinique Y._ et le docteur D._, elles ne constituaient plus, à partir du mois de mai 2006, un obstacle à une tentative de reprise du travail. Le fait que C._ n'a rien tenté dans ce sens doit également être mis en relation avec d'autres éléments que l'accident lui-même (notamment son environnement socio-professionnel) comme l'ont souligné à plusieurs reprises les docteurs W._ et V._. Peu de temps après, l'assuré a clairement développé une sévère décompensation psychotique qui a prédominé le tableau clinique et qui l'a définitivement empêché de reprendre toute activité professionnelle. Dans ce contexte, on ne peut pas admettre que le critère de la persistance des douleurs soit réalisé. Finalement, un seul des critères semble rempli si l'on tient compte de l'effet assez impressionnant de la collision avec un car, et il n'a pas revêtu une intensité particulière. Cela ne suffit pas pour retenir que l'accident de circulation du 5 janvier 2005 est la cause adéquate des troubles psychiques dont souffre le recourant, de sorte que l'intimée n'a pas à en prendre en charge les suites.
5. Vu ce qui précède, le recourant voit ses conclusions rejetées et ne peut prétendre de dépens (<ref-law>). Il a déposé une demande d'assistance judiciaire en vue d'être dispensé d'avancer les frais de justice. Dès lors que le recours n'était pas dénué de chance de succès et que le recourant a établi son indigence (<ref-law>), il convient d'accepter cette requête. Le recourant est toutefois rendu attentif au fait qu'il devra rembourser la caisse du Tribunal s'il se trouve ultérieurement en mesure de le faire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 750 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la caisse du Tribunal.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal valaisan et à l'Office fédéral de la santé publique.
Lucerne, le 4 août 2009
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Ursprung von Zwehl