Faits: A. En 2007, D.X._ travaillait comme ouvrier depuis une vingtaine d'années au service de l'entreprise de marbrerie et de façade E._ SA, dont H._ et G._ étaient respectivement directeur et administrateur. Il était alors, depuis cinq ans, affecté à la gestion du stock et de la manutention des plaques de pierre, domaine qu'il gérait seul depuis un an et demi. Il avait été formé durant trois mois à cette activité par son prédécesseur, avant de travailler pendant trois ans sous la supervision de F._, contremaître responsable de l'atelier du stockage. Le 6 mars 2007, sur le site de Morges de l'entreprise, D.X._, accompagné d'un collègue, s'est rendu sur l'aire de stockage des dalles de matière première, après la donnée d'ordre effectuée par F._. Les deux ouvriers ont manipulé des plaques jusqu'à la pause de neuf heures, tandis que leur contremaître gardait un oeil sur leur activité. En donnant ses instructions, il leur avait rappelé les précautions de base, à savoir ne pas se tenir dans la zone de basculement d'une dalle et toujours travailler à deux pour la manutention des plaques. Après la pause, le collègue de D.X._ s'est voué à une autre activité tandis que ce dernier est retourné sur l'aire de stockage. C'est alors qu'il a entrepris de déplacer seul une dalle de granit située à l'extrémité d'un empilage de plaques. Cette dalle mesurait 2,7 m de long par 1,7 m de large, pour une épaisseur de 3 cm et un poids d'environ 375 kg. Pour ce faire, il se plaça devant la plaque, distante d' 1,5 m de la dalle lui faisant face. Alors qu'il tentait d'insérer une cale de sagex en haut et au milieu de la plaque, celle-ci bascula en sa direction, le repoussant contre l'empilage de dalles suivant. Écrasée au niveau du thorax, la victime est décédée des suites de l'accident, qui n'a eu aucun témoin. Le défunt laisse comme survivants sa veuve A.X._ et deux enfants, C.X._ et B.X._. Par jugement du 20 mai 2010, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a libéré F._, H._ et G._ de l'accusation d'homicide par négligence. Il a donné acte à A.X._ de ses réserves civiles à l'encontre des prénommés. Cette décision a été rendue ensuite de l'annulation d'office par la Cour de cassation pénale vaudoise, pour complément d'instruction, d'un jugement d'acquittement rendu le 2 septembre 2009 par le Tribunal correctionnel de l'arrondissement de la Côte. En bref, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a considéré que le mode de stockage et de manipulation des dalles était conforme aux règles de l'art, qu'aucune violation du devoir de prudence ne pouvait être imputée aux accusés et que, par surabondance, le comportement de la victime avait rompu tout lien de causalité adéquate possible entre une omission éventuelle de l'un au moins des accusés et l'accident. B. Par arrêt du 17 août 2010, la Cour de cassation pénale vaudoise a rejeté le recours interjeté par A.X._, C.X._ et B.X._. C. Par écriture du 7 octobre 2010, B.X._, agissant par sa mère A.X._, cette dernière et C.X._ forment un recours en matière pénale auprès du Tribunal fédéral. Ils concluent à la réforme de l'arrêt entrepris en ce sens que, principalement, le jugement de première instance est annulé et la cause renvoyée à un autre tribunal et, subsidiairement, ce jugement est réformé en ce sens que F._, H._ ainsi que G._ sont reconnus coupables d'homicide par négligence et débiteurs d'indemnités pour tort moral en faveur des recourants. A titre subsidiaire, les recourants concluent à l'annulation de l'arrêt entrepris. En outre, ils demandent le bénéfice de l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures.