Faits:
A. Par jugement du 17 juin 2008, le Tribunal de police de l'arrondissement de La Broye et du Nord vaudois a notamment reconnu X._ coupable d'homicide par négligence et de violation grave des règles de la circulation. Il l'a condamné à une peine de 45 jours-amende d'une quotité de 75 fr. et à une amende de 1500 fr. Il a par ailleurs suspendu l'exécution des jours-amende, impartissant au condamné un délai d'épreuve de deux ans. Il a en outre reconnu X._ débiteur envers C.Y._ d'une indemnité de 25'000 fr. pour tort moral et donné acte de leurs réserves civiles à B.Y._ et A.Y._.
B. Les faits à l'origine de cette condamnation sont en substance les suivants.
Le 27 juillet 2006, aux alentours de 7 h. 30, X._ circulait au volant de sa voiture entre Payerne et Villars-sur-Glâne. Au lieu dit "Planche aux Loups", il a heurté A.Y._ (recte: D.Y._), née en 1937, qui traversait la chaussée à pied en suivant son mari, B.Y._ et précédant sa fille, A.Y._. D.Y._ est décédée des suites du choc. Outre son mari et sa fille, elle laisse un fils, C.Y._.
L'accident a eu lieu sur un tronçon où le trafic est plutôt intense, particulièrement aux heures de pointe. Le temps était beau et le ciel dégagé. Une expertise réalisée à la demande du conducteur ainsi qu'une seconde, ordonnée par l'autorité judiciaire, ont conclu que la vitesse de X._, lors de la collision, se situait entre 51 et 75 km/h, respectivement entre 56 et 75 km/h et que celui-ci aurait dans tous les cas pu s'arrêter avant la collision s'il avait été attentif. Sa perception tardive du groupe de piétons ne peut s'expliquer que par un manque d'attention. Le premier expert a estimé que le chauffeur avait été inattentif pendant au moins 1,3 secondes et le Tribunal a retenu une inattention de près de 2 secondes.
C. Par arrêt du 3 novembre 2008 (communiqué le 11 mars 2009), la Cour de cassation pénale du Tribunal cantonal vaudois a partiellement admis le recours formé par X._ contre ce jugement qu'elle a réformé, constatant que celui-ci s'était rendu coupable d'homicide par négligence ainsi que de violation simple, et non pas grave, des règles de la circulation. Elle a réduit à 30 le nombre de jours-amende qui lui ont été infligés, maintenant par ailleurs tant le montant de ceux-ci que leur suspension et la durée du délai d'épreuve, de même que l'amende. Enfin, la cour cantonale a annulé le jugement de première instance en ce qui concerne les conclusions civiles de C.Y._. Elle lui en a donné acte et l'a renvoyé à agir devant le juge civil. Le jugement a été maintenu pour le surplus.
D. X._ forme un recours en matière pénale contre cet arrêt. Il conclut, avec suite de frais et dépens, principalement à la réforme de l'arrêt attaqué en ce sens qu'il est acquitté des chefs d'inculpation d'homicide par négligence et de violation des règles de la circulation routière et subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance inférieure pour qu'elle statue à nouveau.

Considérant en droit:
1. Le recourant soutient en premier lieu que sa condamnation pour homicide par négligence viole le droit fédéral. Il estime que le lien de causalité entre l'inattention qui lui est imputée et le décès de la victime a été rompu par le comportement de cette dernière.
La causalité adéquate peut être exclue, l'enchaînement des faits perdant sa portée juridique, si une autre cause concomitante, par exemple une force naturelle, le comportement de la victime ou d'un tiers, constitue une circonstance tout à fait exceptionnelle ou apparaît si extraordinaire que l'on ne pouvait pas s'y attendre. L'imprévisibilité d'un acte concurrent ne suffit pas à interrompre le rapport de causalité adéquate. Il faut encore que cet acte ait une importance telle qu'il s'impose comme la cause la plus probable et la plus immédiate du résultat dommageable, reléguant à l'arrière-plan tous les autres facteurs qui ont contribué à l'amener, et notamment le comportement de l'auteur (<ref-ruling> consid. 2.1 p. 64 s.; <ref-ruling> consid. 4.4.2 p. 265 s. et les arrêts cités).
Le recourant qualifie de très imprudent le comportement de la victime qui, malgré son âge avancé, a entrepris de traverser, hors de tout passage pour piétons et sur un tronçon masqué par un dos d'âne, une route dangereuse compte tenu de la densité du trafic. Il soutient que sa propre faute paraît bien légère par rapport à celle de la victime.
La question n'est toutefois pas de savoir si cette dernière a commis une faute concomitante et, le cas échéant, si celle-ci est plus lourde, égale ou plus légère que celle du recourant, dès lors qu'il n'y a pas de compensation des fautes en droit pénal (<ref-ruling> consid. 2c/bb p. 24). Il faut uniquement déterminer si ce comportement pouvait être prévu. On ne saurait considérer le comportement de la victime comme extraordinaire. En effet, il arrive régulièrement que des piétons traversent la route, même à des endroits où le trafic est dense et rapide. Bien qu'elles puissent s'avérer dangereuses, de telles pratiques ne sont pas suffisamment rares pour devoir être considérées comme imprévisibles. Le fait que la victime ait été âgée d'une septantaine d'années et qu'elle n'ait pas traversé la route de manière exactement perpendiculaire, prolongeant légèrement le temps pendant lequel elle se trouvait sur la chaussée, n'y change rien, car ces éléments non plus ne sont pas suffisamment extraordinaires et imprévisibles pour interrompre le lien de causalité entre l'inattention du recourant et l'accident qui en est résulté. Ce grief doit donc être rejeté.
2. Le recourant reproche en outre à l'autorité cantonale d'avoir violé le principe de la confiance qui, selon lui, s'appliquait pleinement car il ne pouvait pas s'apercevoir que la victime était une personne d'un certain âge. Il soutient dès lors n'avoir eu aucune raison de circuler à une vitesse réduite car rien ne donnait à penser que la victime s'apprêtait à adopter un comportement incorrect.
Selon la règle générale de l'<ref-law>, chacun a un devoir de prudence qui lui impose de se comporter, dans la circulation, de manière à ne pas gêner ni mettre en danger ceux qui utilisent la route conformément aux règles établies. La jurisprudence a déduit de cette règle le principe de la confiance, selon lequel l'usager de la route qui se comporte réglementairement est en droit d'attendre des autres usagers, aussi longtemps que des circonstances particulières ne doivent pas l'en dissuader, qu'ils se comportent également de manière conforme aux règles de la circulation, c'est-à-dire ne le gênent pas ni ne le mettent en danger (<ref-ruling> consid. 4a p. 280; <ref-ruling> consid. 3 p. 30). Seul celui qui s'est comporté réglementairement peut invoquer le principe de la confiance. En effet, celui qui ne se conforme pas aux règles de la circulation et crée ainsi une situation confuse ou dangereuse ne peut pas attendre des autres qu'ils parent à ce danger par une attention accrue.
Dans la mesure où il soutient que son comportement était parfaitement réglementaire, le recourant méconnaît les constatations de l'arrêt attaqué, desquelles il ressort qu'il a été inattentif pendant au moins 1,3 secondes. C'est précisément cette inattention qui lui est imputée à faute. Peu importe dès lors qu'il n'ait, comme il le prétend, eu aucune raison de circuler à une vitesse réduite puisqu'il ne lui est pas reproché d'avoir roulé trop vite.
L'autorité de céans est liée par les constatations de fait de l'autorité cantonale, que le recourant ne remet pas en question au moyen d'une argumentation répondant aux exigences de l'<ref-law>. Elle doit donc partir de la prémisse que le recourant a eu un moment d'inattention d'une durée de 1.3 secondes au moins, l'autorité cantonale considérant qu'elle a été de l'ordre de 2 secondes. Force est dès lors de constater que le recourant n'a pas voué toute son attention à la circulation, comme il en avait l'obligation conformément à l'art. 3 al. 1 OCR. Il a ainsi commis une faute et ne saurait par conséquent se prévaloir du principe de la confiance, de sorte que c'est sans violer celui-ci que l'autorité cantonale a reconnu le recourant coupable d'une violation, simple, des règles de la circulation. Ce grief est également mal fondé.
3. Le recours doit donc être rejeté et les frais de la cause mis à la charge du recourant qui succombe (<ref-law>). Il n'y a pas lieu d'allouer d'indemnité aux intimés qui ne sont pas intervenus dans la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de cassation pénale du Tribunal cantonal vaudois.
Lausanne, le 20 juillet 2009
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Paquier-Boinay