Faits: A. Par jugement du 27 novembre 2008, le Tribunal de police du district de Neuchâtel a condamné X._, Y._ et Z._, pour homicide par négligence, à 150 jours-amende chacun, d'un montant unitaire respectif de 60 fr., 70 fr. et 200 fr., avec sursis pendant 2 ans. Saisie d'un pourvoi des condamnés, la Cour de cassation pénale du Tribunal cantonal neuchâtelois l'a rejeté dans la mesure de sa recevabilité par arrêt du 8 mars 2010. B. Cet arrêt retient, en résumé, ce qui suit. B.a Le 6 février 2006 vers 14 heures 30, un accident s'est produit sur le chantier d'un immeuble en construction à Neuchâtel. Une partie de la passerelle longeant la façade de l'angle nord-est du bâtiment s'est effondrée, alors que deux ouvriers, C._ et D._, s'y trouvaient. Quelques secondes après que le contremaître-maçon, Z._, avait donné instruction aux deux ouvriers de procéder au démontage de la passerelle, une des consoles métalliques composant l'infrastructure s'est désolidarisée, pour une raison inexpliquée, du mur en béton auquel elle était accrochée et le plancher de la passerelle s'est désassemblé. D._ a réussi à se retenir à une partie fixe et a été secouru par Z._, qui venait de quitter la passerelle. C._ n'a pas eu cette chance et a chuté d'une hauteur d'environ 5 mètres pour atterrir sur des gravas en contre-bas. La chute lui a été fatale, malgré l'intervention rapide des secours. B.b Le 16 mars 2006, au terme de l'enquête préalable visant à déterminer les causes et les circonstances du décès de C._, le juge d'instruction a préavisé un classement de la procédure, faute de la réalisation d'une infraction. Suite, notamment, au rapport de la SUVA du 11 avril 2006, le parquet a cependant ouvert une information. Par ordonnance du 15 avril 2008, le Ministère public a renvoyé X._, conducteur des travaux, Y._, ingénieur sécurité, et Z._ en jugement, sous les préventions d'homicide par négligence (art. 117 CP) et de violation des prescriptions sur la prévention des accidents (art. 112 LAA). Il était notamment reproché aux prévenus d'avoir omis, alors qu'ils avaient tous trois une position de garant envers les deux maçons impliqués dans l'accident, de faire respecter les normes édictées en vue d'assurer la sécurité sur les chantiers et en vue d'éviter les accidents, notamment la norme SUVA prescrivant que tout personnel exposé à des risques de chute de plus de trois mètres doit être sécurisé, par exemple au moyen d'un harnais ou d'une ligne de vie, les deux ouvriers n'ayant pas reçu la consigne de s'assurer, alors que le démontage de la passerelle, à une hauteur d'environ cinq mètres du sol, avait été ordonné. B.c Le Tribunal de police a retenu que les trois prévenus, qui occupaient une position de garant, n'avaient pas respecté les règles de prudence et les mesures de sécurité résultant de l'ordonnance du 29 juin 2005 sur la sécurité et la protection de la santé des travailleurs dans les travaux de construction (Ordonnance sur les travaux de construction, OTConst; RS 832.311.141). Il a estimé que ces règles trouvaient application dans le cas d'espèce, car les travaux de démantèlement de la passerelle avaient commencé ou étaient sur le point de l'être, de sorte que l'infrastructure avait perdu son statut de simple lieu de passage et était devenu une zone où des travaux devaient être effectués, ce qui appelait que des mesures de protection soient mises en oeuvre. Il a considéré que, vu la fonction et les connaissances particulières des trois prévenus, un tel laisser-faire constituait une négligence et engageait leur responsabilité pénale dans l'accident, l'infraction de lésion absorbant toutefois celle de mise en danger et devant donc être seule retenue. Cette négligence avait été causale, dès lors que le port d'un harnais, bien qu'il n'aurait pas empêché le décrochement de l'une des consoles, aurait évité l'issue fatale de la chute, en retenant l'ouvrier dans le vide, sauf si, par malchance, le harnais avait été arrimé à l'élément de structure qui s'était désolidarisé de la paroi. B.d La cour cantonale a notamment écarté les griefs d'arbitraire dans l'établissement des faits et de violation du principe in dubio pro reo soulevés par les recourants pour contester l'application des dispositions de l'OTConst relatives aux mesures de protection contre les chutes ainsi que leur grief de violation de l'art. 117 CP, concluant, avec le premier juge, à la violation fautive d'un devoir de diligence en lien de causalité avec le résultat de l'accident. C. X._, Y._ et Z._ forment un recours en matière pénale au Tribunal fédéral, pour arbitraire dans la constatation des faits et violation de l'art. 117 CP. Ils concluent à l'annulation de l'arrêt attaqué et à leur acquittement. Des déterminations n'ont pas été requises.