Faits: A. Par jugement du 4 décembre 2008, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné X._, pour lésions corporelles graves par négligence, à la peine de trente jours-amende, à 200 fr. l'un, avec sursis pendant deux ans, ainsi qu'à une amende de 3000 fr., avec peine de substitution de quinze jours de privation de liberté. Il a été donné acte aux parties civiles de leurs réserves. Ce jugement repose, en substance, sur l'état de fait suivant. A.a X._, né en 1958, est titulaire d'un CFC de vigneron et travaille comme indépendant. Il est propriétaire d'une halle de stockage dans la zone industrielle de F._. Ce bâtiment comporte un rez-de-chaussée et un étage reliés notamment par un escalier doté d'une main-courante. Cet escalier jouxte immédiatement une trémie, soit une ouverture, de 4 m 50 sur 4 m 50, dans le plancher de l'étage surplombant de 3 m 80 le niveau inférieur. Le 28 avril 2006, des travaux étaient en cours au premier étage du bâtiment. X._ en était le maître d'oeuvre. L'équipe d'ouvriers comprenait A.Y._, alors en pré-apprentissage au service de l'entreprise D._ SA. En début d'après-midi, ce dernier s'est dirigé seul vers l'escalier afin de rejoindre une équipe dans une autre halle. Il a alors chuté par la trémie, qui était dépourvue de barrières de sécurité sur la totalité de son pourtour. Un câble électrique courait sur le sol devant le haut de l'escalier. Des taches de sang de la victime ont été découvertes à l'aplomb de l'ouverture, à droite des escaliers. A.Y._ a perdu connaissance. Le premier mot prononcé à son réveil a été « câble ». Il a, par la suite, présenté une amnésie post-traumatique. Les diverses blessures subies ont causé une incapacité de travail et un préjudice permanent. Sa vie a été mise en danger. A.b L'enquête a permis d'établir qu'environ deux semaines avant l'accident, X._ avait demandé à ses ouvriers de retirer des éléments provisoires qui protégeaient les occupants du risque de chute par la trémie, afin de faciliter la manutention de palettes à l'aide d'un élévateur, à l'étage. Il avait lui-même participé à l'enlèvement des barrières. Dès ce moment et jusqu'à l'accident, une ouverture béante a subsisté dans le plancher du premier étage, sans aucune installation de sécurité. Des garde-corps, fabriqués spécialement pour border la trémie, avaient été commandés par X._ au début avril 2006 et livrés le 25 du même mois. Ils n'ont cependant pas été installés à réception. Il était prévu qu'ils le soient quelques jours plus tard. Ces protections auraient empêché la chute. Selon le rapport établi par la Caisse nationale suisse d'assurance en cas d'accidents, les causes du sinistre résidaient dans l'ouverture non protégée du plancher et dans le fait que les barrières provisoires avaient été enlevées pour les besoins du maître d'oeuvre deux semaines avant l'accident. Au surplus, le 7 mars 2006, un inspecteur de l'assureur avait constaté la nécessité de protéger les ouvertures dans la dalle du premier étage. Un employé de la société responsable des plans de l'ouvrage en avait été avisé. A.c En résumé, le Tribunal correctionnel a jugé que X._ avait violé ses devoirs de prudence en faisant enlever les éléments de protection provisoires avant l'accident. Il avait temporisé dans le choix des barrières définitives, qu'il jugeait donc lui-même nécessaires, ce qui avait retardé leur pose, alors même qu'il savait que des ouvriers devaient encore effectuer des travaux sur le chantier. Il en était résulté un risque de chute durable qu'il connaissait, passant quotidiennement sur le site. Son imprévoyance était coupable. Le comportement incriminé était en relation de causalité naturelle et adéquate avec le dommage car la pose de garde-corps aurait évité la chute. Dans ce contexte, les premiers juges ont relevé qu'il était très vraisemblable que A.Y._ avait trébuché dans le câble électrique déposé sur le sol. Il était en revanche très peu probable qu'il ait essayé de glisser sur la main-courante de l'escalier pour descendre. Il n'était cependant pas nécessaire de savoir pourquoi la victime était tombée, dès lors que les installations de sécurité étaient précisément prévues pour éviter les chutes involontaires de quelque nature que ce soit. Ni la victime, ni un tiers, n'avaient commis de faute de nature à rompre le lien de causalité. B. Saisie d'un recours du condamné, la Cour de cassation pénale du Tribunal cantonal vaudois l'a rejeté, par arrêt du 20 mars 2009. C. X._ interjette un recours en matière pénale contre cet arrêt. Il conclut principalement à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle instruction et nouveau jugement au sens des considérants. A titre subsidiaire, il conclut à la réforme de la décision querellée en ce sens qu'il soit libéré des fins de l'action pénale. Invités à se déterminer sur l'exigibilité, contestée par le recourant, d'une barrière de protection sur le côté de la trémie jouxtant l'escalier, la cour cantonale s'est référée aux considérants de son arrêt en soulignant qu'à ses yeux, vu la configuration des lieux, la seule rampe d'escalier ne constituait pas une protection suffisante, cependant que le Ministère public n'a pas déposé d'observations. A.Y._, B.Y._ et C.Y._ ont, quant à eux, conclu au rejet du recours en relevant qu'il était, de leur point de vue, certain que la victime était tombée du côté de la trémie parallèle à la première marche des escaliers, qui n'était de toute façon pas protégé, d'une part, et, d'autre part, que différentes règles de droit fédéral du domaine de la prévention des accidents imposaient que l'ouverture dans le sol soit bordée de protections contre les chutes sur ses quatre côtés.