Faits:
A. K._, né en 1961, travaillait en qualité de manutentionnaire au service de X._. A ce titre, il était obligatoirement assuré contre le risque d'accidents auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Par une déclaration d'accident du 9 décembre 2004, l'employeur a informé la CNA que K._ avait été blessé le 30 novembre 2004 dans les circonstances suivantes : «M. K._ se trouvait au pied d'une glissière. Un collègue est passé avec un tracteur et des RX. Les roues d'un RX se débloquent, viennent heurter un RX et poussent les suivants. M. K._ se retrouve coincé entre la glissière». L'intéressé a été transporté à l'Hôpital Y._, où a été posé le diagnostic de contusion abdominale et lombaire sans fractures à la suite d'un traumatisme tronculaire entre une glissière et un «chariot de 100 kg» (cf. le rapport médical LAA établi par le docteur I._, médecin-chef, le 16 août 2007; voir également le rapport du docteur S._ du 5 juillet 2007). Il y a séjourné quatre jours. La CNA a pris en charge le cas, qui a entraîné une incapacité de travail du 30 novembre au 20 décembre 2004.
Le 9 janvier 2006, sur son lieu de travail, K._ a glissé et est tombé sur le côté gauche après avoir pris un colis contenant des bouteilles qui s'étaient cassées et dont le liquide coulait. Il en est résulté une contusion au dos avec une incapacité de travail d'une semaine (déclaration de sinistre LAA du 19 janvier 2006).
Le 9 mai 2007, l'employeur a annoncé une rechute de l'accident du 30 novembre 2004. K._ se plaignait de fortes douleurs au membre inférieur droit occasionnant une incapacité de travail totale du 31 janvier au 18 février 2007, puis partielle (50 %) à partir de cette date. Dans un rapport médical LAA, le médecin traitant de l'assuré, le docteur P._, a déclaré que son patient souffrait de douleurs inguinales (au pli de l'aine droit) intermittentes depuis l'accident de 2004, douleurs qui s'étaient exacerbées en 2005 et surtout depuis 2006, provoquant une boiterie. Une IRM des hanches et de la paroi abdominale réalisée en mai 2007 s'est révélée sans particularité. Aucune atteinte neurologique n'a été constatée (avis du docteur R._ du 13 juin 2007). Des séances de physiothérapie n'ont apporté aucun soulagement et l'assuré a cessé de travailler le 28 août 2007. Il a consulté le docteur de G._, qui a fait état de pygio-cruralgies droites d'origine peu claire dans le cadre de troubles statiques et dégénératifs rachidiens et d'un déconditionnement physique global (rapport du 18 septembre 2007).
Par décision du 10 décembre 2007, la CNA a refusé de prendre en charge la rechute annoncée. L'assuré a formé opposition contre cette décision, en demandant la mise en oeuvre d'une expertise. Après avoir requis l'avis de son médecin d'arrondissement, le docteur O._, selon lequel l'événement accidentel ayant occasionné des contusions sans lésions structurelles ne peut être à l'origine de douleurs chroniques trois ans après sa survenance (appréciation du 4 février 2008), la CNA a écarté l'opposition dans une nouvelle décision du 30 avril 2008.
B. L'assuré a recouru contre cette dernière décision devant le Tribunal des assurances du canton de Vaud, devenu entre-temps la Cour des assurances du Tribunal cantonal vaudois. Il a notamment produit plusieurs rapports émanant du docteur E._, médecin spécialiste en chirurgie orthopédique, qui s'est prononcé en faveur d'un rapport de causalité.
Le tribunal a décidé d'ordonner une expertise et a nommé le docteur F._, spécialiste en médecine physique, réhabilitation, et de la colonne vertébrale, en qualité d'expert. Celui-ci s'est adjoint les services d'un médecin psychiatre, le docteur B._. En bref, l'expert a retenu que l'assuré souffrait d'une algodystrophie de la hanche droite (ou syndrome douloureux régional complexe) en lien de causalité avec l'accident du 30 novembre 2004 (rapport d'expertise du 14 février 2010). La CNA a soumis ce rapport au docteur N._, de sa division de médecine des assurances, qui a exprimé son désaccord avec les conclusions de l'expertise, notamment en ce qui concerne le diagnostic retenu (appréciation du 3 mars 2010). L'expert judiciaire y a répondu dans un complément d'expertise du 19 mai 2010. Le docteur N._ a maintenu ses critiques dans une nouvelle appréciation du 23 juin 2010.
Par jugement du 6 octobre 2010, le tribunal cantonal a rejeté le recours et confirmé la décision sur opposition de la CNA du 30 avril 2008.
C. K._ interjette un recours en matière de droit public contre ce jugement, dont il requiert l'annulation. Il conclut, principalement, à ce que la CNA soit tenue de prendre en charge la rechute de l'accident de 2004 et, par conséquent, à lui allouer les prestations légales d'assurance; subsidiairement, à ce que la cause soit renvoyée à la juridiction cantonale au sens des considérants, le cas échéant, pour instruction complémentaire. Il sollicite également l'assistance judiciaire.
La CNA conclut au rejet du recours. De son côté, l'Office fédéral de la santé publique a renoncé à se déterminer.

Considérant en droit:
1. Lorsque sont en jeu des prestations en espèces et en nature de l'assurance-accidents - comme c'est le cas ici -, le Tribunal fédéral constate avec un plein pouvoir d'examen les faits communs aux deux objets litigieux et se fonde sur ces constatations pour statuer, en droit, sur ces deux objets. En revanche, les faits qui ne seraient pertinents que pour statuer sur le droit aux prestations en nature ne sont revus que dans les limites définies par les art. 97 al. 1 et 105 al. 2 LTF (SVR 2011 UV n° 1 p. 1, 8C_584/2009 consid. 4).
2. Aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>; <ref-ruling>). Les documents de X._ datés du 24 novembre 2010, ainsi que les photos des lieux de l'accident produits par le recourant en annexe de son recours ne seront donc pas pris en considération par le Tribunal fédéral.
3. Le jugement entrepris expose les règles légales et la jurisprudence applicables en cas de rechute ou de séquelle tardive, de sorte qu'on peut y renvoyer.
On rappellera que les rechutes et les séquelles tardives se rattachent par définition à un événement accidentel. Corrélativement, elles ne peuvent faire naître une obligation de l'assureur-accidents (initial) de verser des prestations que s'il existe un lien de causalité naturelle et adéquate entre les nouvelles plaintes de l'intéressé et l'atteinte à la santé causée à l'époque par l'accident assuré (<ref-ruling> consid. 2c p. 296 et les références; RAMA 1994 n° U 206 p. 327 consid. 2).
4. On peut résumer les avis respectifs des docteurs F._ et N._ sur la question litigieuse du lien de causalité naturelle comme suit :
L'expert judiciaire a retenu que K._ avait été heurté par un transpalette transportant une «charge de 1200 kg» alors qu'il était appuyé contre une pile de palettes, et qu'il en était résulté un écrase-ment tissulaire important des régions lombo-pelvienne et abdomino-pelvienne, impliquant probablement les muscles du carré lombaire, du grand et moyen fessier, pyramidal, tenseur du fascia lata, quadriceps et psoas. Un traumatisme de cette nature était déjà en soi susceptible de causer une altération du fonctionnement nerveux et des structures myotendineuses de la région touchée. Etant donné la persistance du handicap fonctionnel après la reprise du travail et l'absence d'autres facteurs prédisposants, tout portait à croire qu'il s'était installé un dé-rangement articulaire en dehors de toute altération structurelle de l'interligne articulaire qui, au fil du temps, avait provoqué un remaniement irréversible des tissus mous de la hanche droite. En dépit de la normalité de l'IRM, il fallait évoquer la survenue d'une algodystrophie (ou syndrome douloureux régional complexe) de la hanche, ce qui expliquait l'enraidissement articulaire progressif (flexum de la hanche) présenté par l'assuré et l'intensité de ses douleurs non seulement au niveau loco-régional mais également à distance (genou, pied). En revanche, l'expert judiciaire a exposé qu'il ne considérait pas la problématique disco-vertébrale de l'assuré (discopathie L5-S1) comme étant en relation de causalité avec le traumatisme initial. Au plan psychique, le docteur B._ n'avait constaté aucune atteinte significative si ce n'est une humeur légèrement déprimée liée aux douleurs physiques.
Pour le docteur N._, le diagnostic d'algodystrophie de la hanche posé par l'expert pouvait quasiment être exclu dans le cas de l'assuré. Cette atteinte, plus communément appelée «ostéoporose transitoire de la hanche» se caractérisait par l'apparition rapide de douleurs et d'une entrave fonctionnelle suivie par un décours des troubles avec un pronostic excellent en 6 à 12 mois, sauf dans les cas d'une ostéoporose sévère qui pouvait conduire à une fracture. On ne voyait aucune évolution similaire chez l'assuré. Par ailleurs, une lésion musculaire de l'ampleur décrite par l'expert judiciaire n'était pas établie et se serait traduite par une hémorragie et une incapacité fonctionnelle. Or, il ressortait de l'anamnèse que l'assuré n'avait subi qu'une contusion sans gravité. De plus, les examens IRM réalisés en 2007 n'avaient pas mis en évidence d'anomalie de la musculature. Enfin, toujours selon le docteur N._, on ne trouvait dans la littérature médicale aucun cas présentant les caractéristiques retenues par l'expert judiciaire, à savoir celui d'une évolution à bas bruit d'un syndrome douloureux régional complexe de la hanche durant quatre ans et sans amendement des symptômes.
5. Sans prendre position quant au bien-fondé ou non du diagnostic d'algodystrophie de la hanche chez l'assuré, la juridiction cantonale a considéré qu'il existait des motifs suffisants de s'écarter des conclusions de l'expert judiciaire. En effet, celui-ci était parti de la prémisse que K._ avait subi une lésion initiale importante sur la base d'une description de l'accident du 30 novembre 2004 qui ne correspondait pas à la déclaration LAA ni aux rapports subséquents. Par ailleurs, les arguments médicaux invoqués par le docteur F._ pour admettre l'existence d'un lien de causalité naturelle entre les troubles actuels de l'assuré et l'accident initial reposaient davantage sur des hypothèses que sur des éléments objectivement vérifiables.
6. En principe, le juge ne s'écarte pas sans motif impérieux des conclusions d'une expertise judiciaire. Peut constituer une raison de s'écarter d'une expertise judiciaire le fait que celle-ci contient des contradictions, ou qu'une surexpertise ordonnée par le tribunal en infirme les conclusions de manière convaincante. En outre, lorsque d'autres spécialistes émettent des opinions contraires aptes à mettre sérieusement en doute la pertinence des déductions de l'expert, on ne peut exclure, selon les cas, une interprétation divergente des conclusions de ce dernier par le juge ou, au besoin, une instruction complémentaire sous la forme d'une nouvelle expertise médicale (<ref-ruling> consid. 3b/aa p. 352 et les références citées).
7. En l'occurrence, on doit constater que l'instruction laisse subsister des incertitudes et des contradictions sur deux points essentiels. Le premier concerne les circonstances de l'accident du 30 novembre 2004, en particulier la gravité du traumatisme subi. Le poids de la charge qui a heurté l'assuré fait l'objet d'une version des faits totalement différentes chez l'expert judiciaire et le médecin de la CNA. Or, le dossier ne contient que peu d'informations à ce sujet. Il n'y a pas eu d'enquête sur place ni d'audition de témoins. Les indications figurant dans la feuille de déclaration d'accident sont imprécises et ne permettent pas de se faire une idée de la violence de l'impact. Si l'on ne peut dénier toute valeur aux critiques formulées par le docteur N._ sur la base des constatations initiales des docteurs I._ et S._ (voir également le rapport d'admission à l'Hôpital Y._), on ne saurait tenir pour établi qu'il s'est agi d'un traumatisme mineur n'ayant entraîné qu'une contusion de peu de gravité. On notera que l'assuré a tout de même été gardé à l'hôpital sous surveillance pendant quatre jours et qu'il aurait fallu, avant d'écarter l'expertise judiciaire pour ce motif, demander des explications supplémentaires au docteur F._, qui avait à disposition l'ensemble des pièces du dossier. Le second point porte sur la nature et l'origine des troubles dont souffre le recourant. Le docteur N._ réfute l'existence d'une séquelle tardive sous la forme d'une algodystrophie admise par l'expert judiciaire. La discussion qui les oppose, et qui n'a été que partiellement reproduite au consid. 3 supra, a trait aux critères diagnostiques d'une algodystrophie (ou d'un syndrome douloureux régional complexe), à ses formes cliniques et à son évolution, notamment lorsqu'elle affecte la hanche, ainsi que sa physiopathologie. Sur ces questions, sur lesquelles on ne peut pas faire l'impasse, il n'appartient pas à un juge, qui ne dispose pas des connaissances spécialisées en la matière, de départager les points de vue. Il n'est donc pas possible de statuer en connaissance de cause sur le droit du recourant aux prestations sans une instruction complémentaire sur la situation factuelle et médicale du cas.
La cause sera par conséquent renvoyée au tribunal cantonal. Celui-ci élucidera tout d'abord les circonstances de fait entourant l'événement accidentel du 30 novembre 2004, notamment en requérant des informations plus précises sur son déroulement auprès X._. Ceci fait, il mettra en oeuvre une surexpertise. En ce sens, le recours de l'assuré est bien fondé.
8. Vu l'issue du litige, les frais de la procédure doivent être mis à la charge de l'intimée (<ref-law>). Le recourant, qui est représenté par un avocat, peut prétendre une indemnité de dépens (<ref-law>). Par conséquent, sa requête d'assistance judiciaire pour cette procédure devient sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis en ce sens que le jugement du 6 octobre 2010 de la Cour des assurances sociales du Tribunal cantonal vaudois est annulé, la cause lui étant renvoyée pour instruction complémentaire au sens des motifs et nouveau jugement.
2. Les frais de justice, arrêtés à 750 fr., sont mis à la charge de l'intimée.
3. L'intimée versera au recourant la somme de 2'800 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal vaudois et à l'Office fédéral de la santé publique.
Lucerne, le 19 décembre 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: von Zwehl