Faits: Faits: A. B._, né en 1963, est titulaire d'un diplôme d'employé d'exploitation aux CFF et d'un certificat fédéral de capacité (CFC) de poseur de sols. Il a exercé cette dernière profession à titre indépendant de 1987 à 1997. Parallèlement, il a travaillé pour son propre compte dans l'agriculture. En outre, de février à mai 1997, il a été salarié du Café F._, établissement géré par son épouse. Suite à un accident, B._ a été en incapacité de travail dès le 30 mai 1997. A partir de cette date et jusqu'à la fermeture de son entreprise, le 31 décembre 1997, il a fait exécuter les travaux en cours par des tiers. Il a également cessé toute activité dans l'agriculture et toute collaboration dans l'établissement public de son épouse, qui en a arrêté l'exploitation à fin janvier 1998. Souffrant d'un syndrome du marteau (insuffisance artérielle des membres supérieurs), qui l'empêche de poursuivre son activité de poseur de sols, B._ a été reclassé par l'assurance-invalidité dans la profession de chauffeur-machiniste. Au terme de cette mesure, le docteur C._, spécialiste en chirurgie, a constaté que les possibilités thérapeutiques avaient été épuisées et qu'aucune autre amélioration ne pouvait être attendue. Une incapacité de travail de 50 % dans la profession de chauffeur-machiniste était justifiée du fait que B._ ne peut être exposé à des températures inférieures à 10°. En revanche un nouveau changement d'activité professionnelle n'était pas indiqué, car un travail sédentaire accompli à l'intérieur le rend dépressif (rapport du 20 janvier 2003). Par décision du 8 mai 2003, l'Office AI du canton du Valais (ci-après : OCAI) a alloué à B._ une rente entière du 1er mai 1998 au 31 mars 1999, date à partir de laquelle il a touché des indemnités journalières pour son reclassement. L' OCAI a, en revanche, refusé toute rente pour la période postérieure au reclassement, dès lors que l'invalidité n'était que de 29,04 %. Saisi d'une opposition de B._, l'OCAI l'a rejetée par décision du 7 novembre 2003. Le taux d'invalidité a cependant été porté à 35,9 % (après réduction du revenu d'invalide de 10 % pour tenir compte des restrictions médicales). Saisi d'une opposition de B._, l'OCAI l'a rejetée par décision du 7 novembre 2003. Le taux d'invalidité a cependant été porté à 35,9 % (après réduction du revenu d'invalide de 10 % pour tenir compte des restrictions médicales). B. Par jugement du 19 avril 2004, le Tribunal cantonal des assurances du canton du Valais a rejeté le recours formé par B._ contre la décision sur opposition de l'OCAI. B. Par jugement du 19 avril 2004, le Tribunal cantonal des assurances du canton du Valais a rejeté le recours formé par B._ contre la décision sur opposition de l'OCAI. C. B._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation. Sous suite de frais et dépens, il conclut, principalement, à l'octroi d'une demi-rente d'invalidité fondée sur un taux d'invalidité de 50 %, dès le 1er décembre 2002 et, subsidiairement, au renvoi de la cause au Tribunal cantonal des assurances pour complément d'instruction et nouveau jugement. L'OCAI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se determiner.