Faits: A. A.a S._ a travaillé dès 1989 comme vendeur au magasin X._ (racheté en 1996 par Y._). Le 12 juillet 1995, le prénommé a été victime d'un accident de la circulation au cours duquel il a subi une fracture non déplacée de l'omoplate droite, une luxation acromio-claviculaire de grade III, des plaies multiples à la face et au cuir chevelu, ainsi qu'une lésion du nerf cubital droit. Il a été soigné à la Clinique Z._. A partir du 2 octobre 1995, il a repris son travail à 100 %. La Bâloise Compagnie d'Assurances (ci-après: la Bâloise), qui assurait les employés de X._ contre le risque d'accidents, a pris en charge le cas. Par décision du 28 décembre 1995, elle a réduit les prestations en espèces allouées à l'assuré de 15 % pour négligence grave. Cette décision n'a pas été contestée. A.b Le 2 août 1998, S._ a subi un nouvel accident de la circulation. A la suite d'un dérapage, il a percuté la glissière centrale et son véhicule s'est retourné sur le toit. Il s'est plaint surtout de douleurs latéro-cervicales et occipitales gauches (rapport du docteur N._ du 4 septembre 1998). Les conséquences de cet événement ont été couvertes par un autre assureur-accidents. A.c Le droit de l'assuré à une indemnité pour atteinte à l'intégrité en raison des séquelles de l'accident du 12 juillet 1995 a donné lieu à une procédure contentieuse (voir l'arrêt de renvoi du Tribunal fédéral des assurances du 5 octobre 2001 [cause U 188/01]). A l'issue de cette procédure, S._ a obtenu le versement par la Bâloise d'une indemnité d'un taux global de 25 %, soit 15 % pour les troubles orthopédiques touchant son membre supérieur droit et 10 % pour les cervico-céphalalgies et les sensations vertigineuses, sous déduction de 15 % (jugement du Tribunal des assurances du canton de Vaud du 23 novembre 2002). A.d Le 24 juillet 2002, l'assuré a demandé à la Bâloise de se prononcer sur l'octroi d'une rente d'invalidité en relation avec l'accident du 12 juillet 1995. A.e Par lettre du 1er mai 2003, Y._ a licencié S._ avec effet au 31 août 2003 au motif notamment qu'il ne respectait pas les dispositions en matière d'annonce d'absence. En automne de la même année, le prénommé a ouvert avec son épouse un café offrant de la petite restauration sept jours sur sept. A.f La Bâloise s'est renseignée auprès de l'ancien employeur sur les périodes d'incapacité de travail présentées par l'assuré jusqu'en août 2003 et demandé à ce dernier de lui fournir des précisions au sujet de sa nouvelle activité professionnelle. Elle a également mandaté les docteurs U._, psychiatre, et M._, neurologue, afin qu'ils réalisent une expertise (rapports des 14 octobre et 3 novembre 2008). A.g Le 10 février 2010, S._ s'est adressé à l'Office fédéral de la santé publique pour se plaindre du retard injustifié pris par la Bâloise pour rendre sa décision. A.h Par décision du 29 mars 2010, la Bâloise a informé l'assuré qu'il ne pouvait prétendre une rente d'invalidité dès lors qu'il ne présentait, d'après les différentes expertises au dossier, aucune incapacité de travail dans son ancienne activité de vendeur. Saisi d'une opposition, l'assureur-accidents l'a écartée dans une nouvelle décision du 6 mai 2010. B. Saisie d'un recours de l'assuré, la Cour des assurances sociales du Tribunal cantonal vaudois l'a rejeté dans le sens des considérants et confirmé la décision sur opposition de la Bâloise du 6 mai 2010 (jugement du 5 juillet 2011). C. S._ interjette un recours en matière de droit public contre ce jugement, dont il requiert l'annulation. Il conclut à la mise en oeuvre de deux expertises médicales, l'une pour déterminer l'influence de ses céphalées et vertiges sur sa capacité de travail, l'autre "liée à l'aspect orthopédique de sa problématique"; sinon, à l'allocation d'une rente d'invalidité LAA sur la base d'une incapacité de gain fixée à dire de justice. Il demande également le versement d'une indemnité à titre de réparation pour le retard injustifié de l'assureur-accidents. La Bâloise conclut au rejet du recours. L'Office fédéral de la santé publique a renoncé à se déterminer.