Faits:
A. A.a S._ a travaillé dès 1989 comme vendeur au magasin X._ (racheté en 1996 par Y._).
Le 12 juillet 1995, le prénommé a été victime d'un accident de la circulation au cours duquel il a subi une fracture non déplacée de l'omoplate droite, une luxation acromio-claviculaire de grade III, des plaies multiples à la face et au cuir chevelu, ainsi qu'une lésion du nerf cubital droit. Il a été soigné à la Clinique Z._. A partir du 2 octobre 1995, il a repris son travail à 100 %. La Bâloise Compagnie d'Assurances (ci-après: la Bâloise), qui assurait les employés de X._ contre le risque d'accidents, a pris en charge le cas. Par décision du 28 décembre 1995, elle a réduit les prestations en espèces allouées à l'assuré de 15 % pour négligence grave. Cette décision n'a pas été contestée.
A.b Le 2 août 1998, S._ a subi un nouvel accident de la circulation. A la suite d'un dérapage, il a percuté la glissière centrale et son véhicule s'est retourné sur le toit. Il s'est plaint surtout de douleurs latéro-cervicales et occipitales gauches (rapport du docteur N._ du 4 septembre 1998). Les conséquences de cet événement ont été couvertes par un autre assureur-accidents.
A.c Le droit de l'assuré à une indemnité pour atteinte à l'intégrité en raison des séquelles de l'accident du 12 juillet 1995 a donné lieu à une procédure contentieuse (voir l'arrêt de renvoi du Tribunal fédéral des assurances du 5 octobre 2001 [cause U 188/01]). A l'issue de cette procédure, S._ a obtenu le versement par la Bâloise d'une indemnité d'un taux global de 25 %, soit 15 % pour les troubles orthopédiques touchant son membre supérieur droit et 10 % pour les cervico-céphalalgies et les sensations vertigineuses, sous déduction de 15 % (jugement du Tribunal des assurances du canton de Vaud du 23 novembre 2002).
A.d Le 24 juillet 2002, l'assuré a demandé à la Bâloise de se prononcer sur l'octroi d'une rente d'invalidité en relation avec l'accident du 12 juillet 1995.
A.e Par lettre du 1er mai 2003, Y._ a licencié S._ avec effet au 31 août 2003 au motif notamment qu'il ne respectait pas les dispositions en matière d'annonce d'absence. En automne de la même année, le prénommé a ouvert avec son épouse un café offrant de la petite restauration sept jours sur sept.
A.f La Bâloise s'est renseignée auprès de l'ancien employeur sur les périodes d'incapacité de travail présentées par l'assuré jusqu'en août 2003 et demandé à ce dernier de lui fournir des précisions au sujet de sa nouvelle activité professionnelle. Elle a également mandaté les docteurs U._, psychiatre, et M._, neurologue, afin qu'ils réalisent une expertise (rapports des 14 octobre et 3 novembre 2008).
A.g Le 10 février 2010, S._ s'est adressé à l'Office fédéral de la santé publique pour se plaindre du retard injustifié pris par la Bâloise pour rendre sa décision.
A.h Par décision du 29 mars 2010, la Bâloise a informé l'assuré qu'il ne pouvait prétendre une rente d'invalidité dès lors qu'il ne présentait, d'après les différentes expertises au dossier, aucune incapacité de travail dans son ancienne activité de vendeur. Saisi d'une opposition, l'assureur-accidents l'a écartée dans une nouvelle décision du 6 mai 2010.
B. Saisie d'un recours de l'assuré, la Cour des assurances sociales du Tribunal cantonal vaudois l'a rejeté dans le sens des considérants et confirmé la décision sur opposition de la Bâloise du 6 mai 2010 (jugement du 5 juillet 2011).
C. S._ interjette un recours en matière de droit public contre ce jugement, dont il requiert l'annulation. Il conclut à la mise en oeuvre de deux expertises médicales, l'une pour déterminer l'influence de ses céphalées et vertiges sur sa capacité de travail, l'autre "liée à l'aspect orthopédique de sa problématique"; sinon, à l'allocation d'une rente d'invalidité LAA sur la base d'une incapacité de gain fixée à dire de justice. Il demande également le versement d'une indemnité à titre de réparation pour le retard injustifié de l'assureur-accidents.
La Bâloise conclut au rejet du recours. L'Office fédéral de la santé publique a renoncé à se déterminer.
Considérant en droit:
1. Est litigieux le point de savoir si le recourant présente, à la suite de son accident du 12 juillet 1995, une incapacité de gain lui ouvrant le droit à une rente d'invalidité LAA.
Il s'agit d'une procédure concernant l'octroi ou le refus de prestations en espèces de l'assurance-accidents, de sorte que le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente (art. 97 al. 2 et 105 al. 3 LTF).
2. Le jugement entrepris expose correctement les dispositions légales et les principes jurisprudentiels relatifs à la nécessité d'une atteinte à la santé et d'un rapport de causalité naturelle et adéquate entre celle-ci et un événement accidentel pour que l'assureur-accidents soit tenu à fournir des prestations, ainsi que les conditions du droit à la rente de l'assurance-accidents et à la manière d'évaluer le degré d'invalidité. Il suffit d'y renvoyer.
3. La juridiction cantonale a relevé tout d'abord que les atteintes à la santé entrant en ligne de compte pour l'examen du droit à une rente étaient les troubles au niveau du membre supérieur droit, les cervico-céphalalgies ainsi que les sensations vertigineuses. En effet, même si le docteur M._ avait exprimé l'opinion que les céphalées et les vertiges dont se plaignait l'assuré avaient une autre cause que l'accident du 12 juillet 1995, il n'y avait pas lieu de discuter l'existence d'un rapport de causalité entre ces maux et l'événement assuré puisque celle-ci avait été reconnue dans le cadre du litige portant sur l'indemnité pour atteinte à l'intégrité. Par ailleurs, sur le plan psychique, l'état d'anxiété généralisée diagnostiqué par le docteur U._ n'était pas imputable à l'accident selon l'avis convaincant de cet expert psychiatre. Toujours selon la juridiction cantonale, en ce qui concernait les séquelles au bras droit, les docteurs G._ (expert judiciaire dans la procédure précédente) et M._ avaient certes indiqué que la persistance de phénomènes de paresthésies et les difficultés dans les mouvements de la pince étaient susceptibles d'entraîner une incapacité de travail partielle dans les travaux de force ou de manipulation fine. Aucun d'entre eux n'avait cependant retenu d'empêchement significatif dans l'exercice de l'activité de vendeur à raison de ces troubles et ils étaient parvenus à la même conclusion s'agissant des cervico-céphalalgies et des sensations vertigineuses. En définitive, dès lors qu'il était exigible de l'assuré qu'il accomplisse une activité dans laquelle il ne subissait, à dires d'experts, aucune incapacité de travail, sa demande de rente devait être rejetée. Pour terminer, le tribunal cantonal a accueilli la demande de l'assuré tendant à constater que la Bâloise avait violé le principe de la célérité de la procédure. Il a toutefois rejeté la prétention en dommages-intérêts formulée à ce titre par celui-ci.
4. Le recourant estime que les rapports d'expertises figurant au dossier n'ont pas accordé l'importance qu'il convient à ses souffrances quotidiennes, en particulier celles relatives à ses céphalées et ses vertiges. Il allègue que ce n'est qu'au prix d'immenses efforts qu'il a pu exercer son activité de vendeur et qu'il a été licencié en raison de ses nombreuses absences liées aux séquelles de son accident. En plus, le docteur M._ avait "constaté une invalidité définitive de 20 % uniquement pour l'aspect neurologique" sans même compter les problèmes orthopédiques, les céphalées et les vertiges dont le lien de causalité avec l'accident avait été admis précédemment. Enfin, le recourant fait valoir qu'il a droit à des dommages-intérêts pour le retard injustifié qu'il a subi.
5. 5.1 En l'occurrence, le dossier ne contient pas moins de quatre expertises toutes établies par des médecins indépendants de l'intimée (dans l'ordre chronologique: celle du docteur O._ du 1er février 2000, du docteur G._ du 21 mai 2002, du docteur U._ du 14 octobre 2008 et du docteur M._ du 3 novembre 2008). Le recourant a été examiné aussi bien sur le plan physique que psychique. Dans la mesure où celui-ci se contente d'adresser de vagues critiques à l'encontre des expertises précitées et qu'il n'apporte par ailleurs aucun avis médical contraire, le Tribunal fédéral n'a aucune raison d'ordonner encore une instruction complémentaire.
5.2 Quant à l'affirmation du recourant selon laquelle le docteur M._ lui aurait reconnu "une invalidité de 20 %", elle procède d'une mauvaise lecture du rapport d'expertise de celui-ci. En vérité, ce médecin a évoqué une éventuelle diminution de sa capacité de travail (20 % au plus) uniquement dans la nouvelle activité de restaurateur. Par contre, dans l'ancienne activité (vendeur), force est de constater avec les premiers juges, qu'aucun expert n'a attesté d'une incapacité de travail imputable aux séquelles accidentelles du 12 juillet 1995. Cette seule constatation suffit à nier toute invalidité au sens de l'art. 16 LPGA et, en conséquence, le droit à une rente LAA. C'est en vain que le recourant tente de remettre en cause le caractère exigible de l'activité. Non seulement il a réussi à obtenir le certificat fédéral de capacité de vendeur peu après l'accident, mais encore il a exercé cette profession pendant 8 ans sans diminution de revenu. Ses allégations contraires ne sauraient l'emporter sur la réalité des faits et les conclusions concordantes des médecins spécialistes qui l'ont examiné.
5.3 Quant à la question de savoir si le retard injustifié reproché à l'intimée pourrait conduire au paiement de dommages-intérêts en faveur du recourant, elle ne sera pas examinée plus avant ici, faute de motivation suffisante (art. 42 al. 2 LTF). Comme l'ont rappelé à juste titre les premiers juges, la sanction du dépassement du délai raisonnable ou adéquat consiste d'abord dans la constatation de la violation du principe de célérité, qui constitue une forme de réparation pour celui qui en est la victime (ATF 130 V 312 consid. 5.3 p. 333; 129 V 411 consid. 1.3 p. 417 et les références). Or, le recourant n'explique pas en quoi les circonstances de son cas justifieraient que l'on s'écarte de cette règle et n'avance même pas de conclusion chiffrée à ce sujet.
5.4 Il s'ensuit que le jugement entrepris n'est pas critiquable et le recours se révèle mal fondé.
6. Le recourant, qui succombe, doit supporter les frais de la procédure (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais de justice, arrêtés à 750 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 23 juillet 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: von Zwehl