Faits:
A. J._ a été engagé en qualité d'assistante de direction par la société X._ SA le 1er juin 2008. Le 29 août suivant, l'employeur a résilié son contrat de travail pour le 30 septembre 2008. La prénommée a présenté une demande d'indemnité de chômage dès le 1er octobre.
Le 1er novembre 2008, J._ a été victime d'un accident alors qu'elle circulait en voiture avec ses deux enfants sur l'autoroute en direction de Y._. Elle se trouvait sur la voie de dépassement, quand une voiture s'est rapprochée à vive allure derrière elle en la talonnant de très près; après qu'elle se fut déplacée sur la voie de droite, cette voiture s'est rabattue à courte distance devant elle et a brusquement freiné l'obligeant à entreprendre à son tour un freinage d'urgence; afin d'éviter le choc, J._ a donné un coup de volant à gauche puis à droite, et perdu la maîtrise de son véhicule, qui a percuté le talus longeant le bord droit de la chaussée et s'est arrêté derrière la glissière. Le conducteur de l'autre voiture ne s'est pas arrêté et a poursuivi sa route.
Aussitôt, J._ a ressenti des douleurs à la nuque, des céphalées et des vertiges. Elle a eu plusieurs contusions (notamment aux genoux) mais pas de plaies ouvertes. Ses enfants n'ont pas été blessés. Le lendemain de l'accident, elle s'est rendue à l'hôpital où des contrôles ont été effectués. Elle a été déclarée incapable de travailler. Un examen IRM du 5 novembre 2008 a pu exclure une lésion traumatique cervicale (osseuse ou ligamentaire), une luxation ou subluxation facettaire, de même qu'une hernie discale ou une myélopathie. Initialement, c'est la Caisse nationale suisse d'assurance en cas d'accidents (CNA) qui a pris en charge le cas.
Dans un rapport médical intermédiaire du 6 février 2009, le docteur S._, médecin traitant, a fait état d'un traumatisme cervico-brachial et d'un trouble dépressif majeur, en précisant que sa patiente avait présenté des symptômes dépressifs quelques mois avant l'accident dont elle avait été considérée comme guérie. Mandaté par la CNA, le docteur U._, neurologue, a conclu que l'intéressée avait vraisemblablement subi une distorsion cervicale simple de degré II selon la Québec Task Force due à un mouvement d'extension-flexion forcé de la nuque, et un choc direct à la tête contre l'airbag et l'appui-tête; aux plaintes exprimées, typiques d'un tel traumatisme, venait s'ajouter une décompensation anxio-dépressive; il n'y avait pas de signe d'une atteinte structurelle majeure du système nerveux ou locomoteur (rapport du 16 mars 2009). A la demande de la CNA, une expertise technique, selon laquelle les symptômes persistants présentés n'étaient "plutôt pas explicables" par l'accident assuré, a également été versée au dossier (rapport biomécanique du 27 mai 2009).
Par jugement du 16 juin 2009, le Tribunal de Prud'hommes de l'arrondissement de l'est vaudois a constaté que l'ancien employeur de J._ n'avait pas respecté les règles sur le délai de congé en cas de maladie - la prénommée avait été malade une semaine en septembre 2008 -, de sorte que la résiliation du contrat de travail prenait effet au 31 octobre 2008. A la suite de ce jugement, la CNA a transmis le dossier à la Bâloise Assurance (ci-après: la Bâloise), assureur-accidents de l'ex-employeur de l'assurée.
Vu la persistance de l'incapacité de travail, la Bâloise a chargé le docteur U._ d'effectuer une seconde évaluation. Celui-ci a décrit une évolution défavorable essentiellement pour des motifs psychologiques; il suggérait une approche cognitivo-comportementale pour permettre une reprise progressive du travail (rapport du 17 août 2009). L'assureur-accidents a également demandé un rapport au docteur V._, psychiatre, qui avait examiné l'assurée en avril 2009 à la demande du médecin traitant (rapport du 30 octobre 2009).
Par décision du 15 décembre 2009, confirmée sur opposition le 2 mars 2010, la Bâloise a supprimé ses prestations à compter du 1er décembre 2009. Elle a considéré que les troubles de l'assurée ne se trouvaient plus en relation de causalité avec l'accident de circulation, le statu quo sine ayant été atteint à cette date.
B. Saisie d'un recours de l'assurée, la Cour des assurances sociales du Tribunal cantonal vaudois l'a rejeté par jugement du 7 avril 2011.
C. J._ interjette un recours en matière de droit public contre ce jugement dont elle requiert l'annulation. Sous suite de frais et dépens, elle conclut à la continuation du versement des prestations d'assurance.
La Bâloise conclut au rejet du recours, tandis que la juridiction cantonale et l'Office fédéral de la santé publique ont renoncé à formuler des observations.
Considérant en droit:
1. Le recours est dirigé contre un arrêt final (art. 90 LTF) rendu en matière de droit public (art. 82 ss LTF) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (art. 100 LTF) et la forme (art. 42 LTF) prévus par la loi. Il est donc recevable.
2. Le litige porte sur le maintien éventuel du droit de la recourante à des prestations de l'assurance-accidents (traitement médical et indemnité journalière) au-delà du 30 novembre 2009 pour les troubles persistant après cette date.
Lorsque sont en jeu des prestations en espèces et en nature de l'assurance-accidents, le Tribunal fédéral constate avec un plein pouvoir d'examen les faits communs aux deux objets litigieux et se fonde sur ces constatations pour statuer, en droit, sur ces deux objets. En revanche, les faits qui ne seraient pertinents que pour statuer sur le droit aux prestations en nature ne sont revus que dans les limites définies par les art. 97 al. 1 et 105 al. 2 LTF (arrêts 8C_39/ 2010 du 7 septembre 2010 consid. 2 et 8C_584/2009 du 2 juillet 2010 consid. 4).
3. 3.1 L'exigence d'un rapport de causalité naturelle entre un accident assuré et une atteinte à la santé est remplie lorsqu'il y a lieu d'admettre que, sans l'événement accidentel, le dommage ne se serait pas produit du tout, ou qu'il ne serait pas survenu de la même manière. Il n'est pas nécessaire, en revanche, que l'accident soit la cause unique ou immédiate de l'atteinte à la santé; il faut et il suffit que l'événement dommageable, associé éventuellement à d'autres facteurs, ait provoqué l'atteinte à la santé physique ou psychique de l'assuré, c'est-à-dire qu'il se présente comme la condition sine qua non de celle-ci (ATF 129 V 177 consid. 3.1 p. 181; 402 consid. 4.3.1 p. 406; 119 V 335 consid. 1 p. 337; 118 V 286 consid. 1b p. 289 et les références).
3.2 Si l'on peut admettre qu'un accident n'a fait que déclencher un processus qui serait de toute façon survenu sans cet événement, le lien de causalité naturelle entre les symptômes présentés par l'assuré et l'accident doit être nié lorsque l'état maladif antérieur est revenu au stade où il se trouvait avant l'accident (statu quo ante) ou s'il est par-venu au stade d'évolution qu'il aurait atteint sans l'accident (statu quo sine) (SVR 2009 UV n° 3 p. 9, arrêt 8C_354/2007 du 4 août 2008 consid. 2.2; FRÉSARD/MOSER-SZELESS, L'assurance-accidents obligatoire, in: Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, vol. XIV, 2ème éd., no 80 p. 865).
3.3 Le droit à des prestations de l'assurance-accidents suppose en outre l'existence d'un lien de causalité adéquate entre l'accident et l'atteinte à la santé. La causalité est adéquate si, d'après le cours ordinaire des choses et l'expérience de la vie, le fait considéré était propre à entraîner un effet du genre de celui qui s'est produit, la survenance de ce résultat paraissant de façon générale favorisée par une telle circonstance (ATF 129 V 177 consid. 3.2 p. 181; 402 consid. 2.2 p. 405; 125 V 456 consid. 5a p. 461 et les références).
3.4 En présence d'une atteinte à la santé physique en relation de causalité naturelle avec l'accident, le problème de la causalité adéquate ne se pose guère car l'assureur répond aussi des atteintes qui ne se produisent habituellement pas selon l'expérience médicale (ATF 127 V 102 consid. 5b/bb p. 103 et les références).
3.5 En cas d'atteinte à la santé psychique, les règles applicables en matière de causalité adéquate sont différentes selon qu'il s'agit d'un événement accidentel ayant entraîné une affection psychique additionnelle à une atteinte à la santé physique (ATF 117 V 359 consid. 6 p. 366 ss et 369 consid. 4 p. 382 ss; 115 V 133 consid. 6 p. 138 ss et 403 consid. 5 p. 407 ss), d'un traumatisme psychique consécutif à un choc émotionnel (ATF 129 V 177 consid. 4.2. p. 184), ou encore d'un traumatisme de type "coup du lapin" à la colonne cervicale, d'un traumatisme analogue à la colonne cervicale ou d'un traumatisme cranio-cérébral sans preuve d'un déficit organique objectivable (ATF 134 V 109; 117 V 359).
3.6 Dans l'arrêt ATF 134 V 109 précité, le Tribunal fédéral a précisé sur plusieurs points sa jurisprudence au sujet de la relation de causalité entre des plaintes et les traumatismes de ce type. Il a jugé qu'il y a lieu de s'en tenir à une méthode spécifique pour examiner le lien de causalité adéquate (consid. 7 à 9). Par ailleurs, le Tribunal fédéral n'a pas modifié les principes qui ont fait leur preuve, à savoir la nécessité, d'une part, d'opérer une classification des accidents en fonction de leur degré de gravité et, d'autre part, d'inclure, selon la gravité de l'accident, d'autres critères lors de l'examen du caractère adéquat du lien de causalité. Cependant, il a modifié en partie les critères à prendre en considération (consid. 10). Ceux-ci sont désormais formulés de la manière suivante:
- les circonstances concomitantes particulièrement dramatiques ou le caractère particulièrement impressionnant de l'accident (inchangé);
- la gravité ou la nature particulière des lésions (inchangé);
- l'administration prolongée d'un traitement médical spécifique et pénible (formulation modifiée);
- l'intensité des douleurs (formulation modifiée);
- les erreurs dans le traitement médical entraînant une aggravation notable des séquelles de l'accident (inchangé);
- les difficultés apparues au cours de la guérison et les complications importantes (inchangé);
- l'importance de l'incapacité de travail en dépit des efforts reconnaissables de l'assuré (formulation modifiée).
4. Sur la base des considérations du docteur U._ auxquelles elle a attribué pleine valeur probante, la juridiction cantonale a distingué la situation médicale prévalant avant la seconde évaluation du neurologue de celle d'après. Elle a admis que dans un premier temps (de novembre 2008 à août 2009), l'assurée avait présenté les conséquences typiques d'un syndrome après un traumatisme cervical analogue à un "coup du lapin". Par contre, en ce qui concernait la période suivante (dès août 2009), elle a retenu que l'assurée souffrait principalement de troubles d'ordre "psychique" étrangers à l'accident compte tenu d'un état maladif antérieur (statu quo sine), tandis que le restant des symptômes "somatiques" (notamment les douleurs cervicales), à supposer qu'ils fassent encore partie du tableau clinique typique, ne se trouvaient pas en relation de causalité adéquate avec l'accident - de gravité moyenne -, en l'absence des critères reconnus par la jurisprudence en matière de traumatisme cervical.
5. La recourante reproche à la juridiction cantonale d'avoir admis que son état de santé avait atteint le statu quo sine au mois d'août, respectivement au mois de novembre, 2009. Il n'existait aucun indice sérieux pour établir qu'elle se serait retrouvée après le 30 novembre 2009 dans le même état de santé que si elle n'avait pas été victime de son accident. Une telle conclusion ne pouvait se déduire des rapports du docteur U._. Ce médecin avait certes exprimé l'avis, au terme de son second examen, que la situation divergeait de l'évolution habituelle, mais il n'avait pas attribué cet état exclusivement à des facteurs psychologiques étrangers à l'accident. En outre, l'opinion des premiers juges allait à l'encontre des conclusions des docteurs S._ et V._ qui attestaient d'un état dépressif lié à l'accident.
6. 6.1 Il n'est pas contesté que l'accident du 1er novembre 2008 n'a causé aucun déficit organique objectivable mais un traumatisme analogue à un traumatisme de type "coup du lapin" (distorsion cervicale simple). Dans les suites de cet accident, l'assurée en a développé le tableau clinique caractéristique sous la forme de cervico-céphalalgies, de sensations vertigineuses, de troubles de la mémoire et de la concentration, et d'une grande fatigabilité. Ces symptômes se sont compliqués par la présence d'un état anxio-dépressif. Au moment où la décision litigieuse a été rendue, les plaintes demeuraient inchangées.
6.2 On doit convenir avec la recourante que les documents médicaux au dossier permettent difficilement d'admettre une l'évolution de son état de santé vers le statu quo sine au-delà de la date déterminante du 30 novembre 2009. En effet, lorsque le docteur U._ a déclaré, dans son rapport du 17 août 2009, que l'absence d'amélioration de la situation s'expliquait "au moins en grande partie" par des facteurs psychologiques, ce seul constat ne suffit pas à nier toute influence de l'accident; le neurologue a d'ailleurs mentionné que ces facteurs étaient en relation, pour une part, avec les circonstances de l'accident et, pour une autre part, avec la situation professionnelle de l'assurée. A cela s'ajoute que le docteur S._ a clairement indiqué que J._ était guérie en novembre 2008 des suites de son ancienne dépression, et que les symptômes dépressifs existants depuis lors avaient été décompensés par l'événement accidentel (voir également l'avis concordant du docteur V._, psychiatre). Sur le vu de ces constatations médicales, on ne saurait nier la persistance du lien de causalité naturelle entre l'ensemble des troubles exprimés par l'assurée et l'accident du 1er novembre 2008. On ne peut donc suivre les premiers juges sur la reconnaissance d'un statu quo sine à la date de suppression des prestations pour les troubles psychiques. Cette conclusion ne trouve appui sur aucune pièce médicale au dossier.
6.3 D'après la jurisprudence, pour l'examen de la causalité adéquate, il y a lieu de se fonder sur les critères applicables en cas de troubles psychiques consécutifs à un accident lorsque l'état de santé de l'assuré a été de manière précoce et durablement affecté par des troubles psychiques qui constituent une atteinte à la santé distincte et indépendante du tableau clinique caractéristique habituellement associé à un traumatisme de type "coup du lapin" à la colonne cervicale, un traumatisme analogue à la colonne cervicale ou un traumatisme cranio-cérébral (cf. ATF 134 V 109 consid. 9.5 p. 125 s.).
6.4 On peut déplorer ici l'absence de toute expertise pluridisciplinaire (neurologique et psychiatrique) qui aurait permis d'éclaircir le point de savoir si l'état dépressif diagnostiqué chez la recourante a un caractère distinct et indépendant du syndrome après distorsion cervicale. A suivre le rapport succinct du docteur V._, il semble que ce soient les troubles neuropsychologiques qui constitueraient la cause principale de l'incapacité de travail de l'assurée, tandis que pour le docteur U._, une surcharge psychogène indépendante apparaît dominer le tableau clinique. Il y a toutefois lieu de laisser cette question ouverte, dès lors que l'existence d'une causalité adéquate entre l'accident et les troubles neuropsychologiques et psychiques doit pareillement être écartée si l'on se fonde sur les critères objectifs valables en présence d'un traumatisme analogue à un traumatisme de type «coup du lapin» et que, partant, on n'opère aucune distinction entre les éléments physiques et psychiques.
6.5 On peut se rallier aux considérants du jugement attaqué tant en ce qui concerne la classification de l'accident du 1er novembre 2008 dans la catégorie des accidents de gravité moyenne que l'absence de réalisation des critères jurisprudentiels déterminants (voir consid. 3.6 supra). La recourante ne développe d'ailleurs aucune argumentation en relation avec cet aspect du droit aux prestations, de sorte que la Cour de céans renoncera à procéder à un examen détaillé de tous ces critères dont la plupart ne sont à l'évidence pas remplis. En effet, on peut d'emblée nier des circonstances particulièrement dramatiques ou particulièrement impressionnantes entourant l'accident. Il n'y a pas eu de lésion grave. On ne peut pas non plus parler de l'administration d'un traitement pénible, ni d'erreurs ou de complications dans le processus de guérison. S'agissant de l'intensité des douleurs, on précisera qu'il faut que des douleurs importantes aient existé sans interruption conséquente durant tout le temps écoulé entre l'accident et la clôture du cas (art. 19 al. 1 LAA). L'intensité des douleurs est examiné au regard de leur crédibilité, ainsi que de l'empêchement qu'elles entraînent dans la vie quotidienne (ATF 134 V 109 consid. 10.2.4 p. 128). En l'occurrence, même s'il est documenté que l'assurée a parfois requis l'aide de ses parents, il ne ressort pas du dossier que l'assurée aurait été constamment et de manière significative entravée dans sa vie quotidienne en raison de ses douleurs. On relèvera qu'à l'examen clinique, le neurologue a constaté que la mobilisation de la nuque n'était que "peu sensible localement" et seulement "très légèrement limitée". Quant au critère de l'importance de l'incapacité de travail, ce n'est pas la durée de l'incapacité qui est déterminante mais bien plutôt son importance au regard des efforts sérieux accomplis par l'assuré pour reprendre une activité. L'intensité des efforts exigibles doit être mesurée à la volonté reconnaissable de l'intéressé de faire tout ce qui est possible pour réintégrer rapidement le monde du travail, au besoin en exerçant une autre activité compatible avec son état de santé (ATF 134 V 109 consid. 10.2.7 p. 129 s.). Or, la recourante n'a pas démontré avoir fait des efforts en vue de retrouver un poste de travail bien que le docteur U._ ait préconisé une reprise de travail progressive à partir du mois d'août 2009 (voir également ses réponses au questionnaire de l'intimée du 14 septembre 2009). Quoi qu'il en soit, ce point peut rester indécis car même si l'on admet que ce critère est réalisé, il n'est pas à lui seul décisif pour admettre l'existence d'un lien de causalité adéquate au regard de la gravité de l'accident en cause (cf. ATF 117 V 359 consid. 6b p. 367 s., 369 consid. 4c p. 384).
Il s'ensuit que l'intimée était fondée à supprimer ses prestations au 30 novembre 2009, faute de relation de causalité adéquate entre les troubles persistant à cette date et l'accident assuré. Le jugement attaqué n'est pas critiquable dans son résultat et le recours se révèle mal fondé.
7. La recourante, qui succombe, doit supporter les frais judiciaires (art. 66 al. 1 LTF). L'intimée n'a pas droit à des dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 750 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal vaudois, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 2 avril 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: von Zwehl