Faits: A. Le 8 février 2006, sur conseil de son médecin de famille, E.Y._, né le 13 novembre 1936, a consulté X._, médecin spécialisé en chirurgie, à la suite d'un diagnostic de tumeur du côlon ascendant. Une intervention par laparoscopie a été prévue. E.Y._ a été admis à la Clinique de La Source, le 15 février 2006, et l'opération pratiquée le lendemain par X._, assisté du Dr F._ et du Dr G._, anesthésiste. L'opérateur a procédé à une résection de la partie atteinte du côlon, puis à une anastomose iléo-colique latéro-latérale par des agrafes. A son réveil, le patient s'est plaint de douleurs. Le vendredi 17 février 2006 il a présenté une température corporelle de l'ordre de 38 °C et a encore fait état de douleurs. Sa pression artérielle était basse. Il s'est également plaint que son abdomen était « tout gonflé », que son faciès était « blanc » et qu'il avait envie de vomir. Dans la suite, un antalgique lui a été administré ainsi qu'un volume de liquide supplémentaire pour faire remonter sa pression. Les symptômes se sont estompés vers 22h00, l'abdomen de E.Y._ demeurant toutefois encore très ballonné et sa douleur jugée à 4 sur une échelle de 10 (score VAS). Le samedi 18 février 2006, le patient a continué à exprimer des douleurs abdominales et a reçu divers antalgiques. Des examens sanguins de routine réalisés le matin ont mis en évidence une CRP (protéine C-réactive) à 270 et une déviation gauche de 35% (état d'activation des globules blancs, présent en cas de signes inflammatoires). A 11h45, X._ a rendu visite à son patient. Il l'a examiné, évaluant son état général, notamment en palpant son ventre. Après discussion avec G._, le chirurgien a décidé de ralentir le rythme de l'alimentation orale et de maintenir une antalgie efficace. Ces médecins ont alors établi une feuille d'ordre destinée aux infirmières avec une liste d'antalgiques à administrer dans un ordre déterminé. Dans l'après-midi, les douleurs ont persisté (VAS à 8/10 à 14h00) et des antalgiques ont été administrés (1g de Novalgin à 16h30). Quelques difficultés respiratoires ont été constatées à 17h00 ainsi que, dans la soirée, un abdomen hypertendu et une paralysie intestinale. X._ a été informé de ces douleurs abdominales, d'un abdomen hypertendu et d'une paralysie intestinale par téléphone vers 18h15-18h30. Des antalgiques ont encore été administrés au patient sur ordre téléphonique de l'anesthésiste de garde, le Dr H._, à 19h40 (1g de Novalgin) puis, les douleurs persistant, à 20h25 (morphine sous cutanée ainsi qu'une tablette de Temesta Expidet). E.Y._ n'était malgré tout pas soulagé et est resté agité jusqu'aux alentours de 22h30. Après s'être endormi brièvement, ce dernier s'est montré de plus en plus agité, tentant, vers minuit, d'arracher ses perfusions. Vers minuit toujours, H._ a encore ordonné l'administration d'une capsule de Temesta Expidet ainsi qu'une nouvelle injection sous-cutanée de morphine. Le dimanche 19 février 2006, vers 2h30, E.Y._ n'avait toujours pas trouvé le sommeil et se montrait très perturbé et confus, voulant constamment se lever. H._ a été une fois encore avisé téléphoniquement par l'infirmier de garde de la péjoration de l'état de confusion du patient. Sans se déplacer, il a prescrit un tranquillisant neuroleptique. Dès 3h00, une aide soignante a été affectée à la surveillance de E.Y._, qui semblait s'être calmé peu à peu, puis endormi. Les constantes ont été contrôlées à 4h00, le patient n'étant pas sous monitoring permanent. A 5h50, un arrêt cardiaque s'est produit. Une réanimation cardiorespiratoire avec injection d'adrénaline a immédiatement été débutée mais sans succès. Le décès a été constaté à 6h00 par H._, alerté par le personnel infirmier de garde. Le rapport d'autopsie, établi le 20 février 2006 par l'Institut universitaire de pathologie du CHUV, a conclu que sous réserve de l'autolyse de tous les organes, de l'examen du système nerveux central qui n'a pas été autorisé, et en l'absence d'une autre cause évidente pouvant expliquer le décès brusque (absence d'embolie pulmonaire, absence d'infarctus myocardiaque, pas d'embolie gazeuse), le décès pourrait être dû à un trouble du rythme (en relation avec ischémie aiguë sur athérosclérose coronarienne et/ou un déséquilibre électrolytique). D.Y._, C.Y._ et B.Y._, enfants du défunt, ainsi que son épouse A.Y._ ont déposé plainte. En cours d'instruction, deux expertises ont été ordonnées. La première a été confiée à l'Institut universitaire de Médecine légale. Le rapport du 18 décembre 2007 est signé par les professeurs I._ et J._ ainsi que le Dr K._. Il conclut que le décès de E.Y._ est vraisemblablement consécutif à une péritonite stercorale due à une ouverture au niveau du moignon de l'iléon et que si l'opération était justifiée et avait été effectuée dans les règles de l'art, le suivi post-opératoire ne l'avait, en revanche, pas été. Ce rapport a été complété le 4 novembre 2008 puis le 15 juin 2009. La seconde expertise a été confiée au Dr L._, spécialiste FMH en chirurgie viscérale, générale et d'urgence et au Dr M._, spécialiste en anesthésiologie. Dans leur rapport du 26 novembre 2009, ils ont conclu que le décès était dû à une septicémie avec défaillance des organes vitaux. L'opération avait été réalisée dans les règles de l'art, mais ces experts ont, eux aussi, relevé des carences dans le suivi post-opératoire. Ce rapport a été complété le 15 mars 2010. Par jugement du 12 décembre 2011, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._, pour homicide par négligence, à 120 jours-amende, à 300 fr. le jour, avec sursis pendant 2 ans. Il a également condamné H._, pour la même infraction, à 60 jours-amende à 300 fr. chacun, avec sursis pendant 2 ans. Ce jugement statue en outre sur les prétentions des parties civiles, diverses confiscations ainsi que les frais. B. Saisie d'appels des deux condamnés, par jugement du 11 juin 2012, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté celui de X._ et admis celui de H._, réformant, sur le point pénal, la décision de première instance en ce sens que ce dernier était libéré du chef d'accusation d'homicide par négligence. En bref, la cour cantonale a retenu, en écartant les conclusions de l'autopsie au bénéfice des expertises judiciaires, que le décès de E.Y._ était intervenu ensuite d'une fuite de liquide intestinal à l'intérieur de l'abdomen ayant entraîné un choc septique. X._, qui endossait une position de garant en tant que médecin traitant, avait violé les règles de l'art, durant le suivi post-opératoire, en ne prenant pas les mesures de surveillance et de suivi que l'état de E.Y._ commandait, dès sa visite du samedi 18 février 2006 à 11h45. Vers 18h15-18h30, il aurait dû, suite à l'appel d'une infirmière, dans tous les cas se déplacer et ordonner le transfert du patient dans une unité disposant d'une surveillance continue. Il aurait dû ordonner des examens complémentaires et envisager un scanner ou même une laparoscopie exploratoire. Ces omissions étaient imputables à faute compte tenu de sa formation, de ses connaissances et des informations à sa disposition. Le décès était, par ailleurs, en relation de causalité avec ces négligences dès lors qu'il était évident que si X._ avait posé un diagnostic correct à 11h45, alors qu'il détenait tous les éléments pour ce faire, et qu'il ait accompli les actes omis, il aurait, de manière hautement vraisemblable, évité la mort de son patient. Il en allait de même d'une intervention vers 18h15-18h30. En effet, si X._ s'était déplacé au chevet de son patient, il aurait pu constater l'état de celui-ci et immédiatement l'emmener en salle d'opération dans un délai suffisamment bref, sans passer par des analyses ou des scanners, si l'urgence était extrême. Ce lien de causalité n'avait, enfin, pas été interrompu par d'éventuels manquements imputables à H._ ou aux infirmières, les omissions de ces derniers n'étant ni extraordinaires, ni inattendues. En ce qui concerne H._, la cour cantonale a, en revanche, retenu qu'au moment où il aurait dû agir (20h25), les risques de décès du patient étaient plus élevés que les chances de survie, de sorte que son omission n'était pas causale. C. X._ forme un recours en matière pénale contre cette décision, concluant, avec suite de frais et dépens, principalement à sa réforme dans le sens de son acquittement et de sa libération au plan civil. A titre subsidiaire, il demande l'annulation du jugement entrepris et le renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants. Il n'a pas été ordonné d'échange d'écritures.