Keven Veilleux débute dans la Ligue de hockey junior majeur du Québec avec les Tigres de Victoriaville en 2005-2006. En 2007, il est choisi lors du repêchage d'entrée dans la Ligue nationale de hockey par les Penguins de Pittsburgh lors de la deuxième ronde en tant que cinquante et unième joueur, deuxième choix de Pittsburgh après Angelo Esposito choisi à la vingtième place. Il ne rejoint pas pour autant la LNH et continue à jouer dans la LHJMQ, rejoignant au cours de la saison 2007-2008 l'Océanic de Rimouski. Il signe son premier contrat professionnel avec les Penguins en pour une durée de trois saisons. Avec l'Océanic, il joue la finale de la Coupe Memorial 2009, l'équipe de Rimouski étant hôte du tournoi ; ils sont éliminés en première ronde.