Faits: A. AX._, né en 1980, ressortissant du Kosovo, est entré en Suisse le 21 juillet 2002. Il a déposé une demande d'asile dans le canton de Fribourg qui a été définitivement rejetée le 10 septembre 2002. Le 18 septembre 2002, il s'est marié avec BX._, de nationalité suisse, laquelle avait déjà un enfant d'un premier lit. Le même jour, AX._ a déclaré son arrivée dans le canton de Vaud. Une autorisation de séjour lui a été octroyée du fait de son mariage avec une ressortissante suisse. Dès le 5 juin 2003, il a été autorisé à travailler en qualité d'aide-maçon auprès d'une société à P._. Le 1er janvier 2004, les époux X._ se sont séparés. B. A la requête du Service de la population du canton de Vaud (ci-après: le Service de la population), qui devait se déterminer sur la prolongation de l'autorisation de séjour de AX._, le Contrôle des habitants de la commune de O._ a posé différentes questions aux époux X._ par courrier du 15 février 2005. Ils ont répondu que, malgré leur séparation, ils se voyaient toujours, précisant qu'ils étaient amis. A la question de savoir pourquoi ils ne divorçaient pas, ils ont répondu qu'ils préféraient "rester comme ça", AX._ tenait à garder son permis B ce que son épouse approuvait. Le Service de la population a alors renouvelé l'autorisation de séjour de AX._ pour une durée de six mois, soit jusqu'au 19 octobre 2005. Le 20 octobre 2005, l'autorisation de séjour de AX._ a été prolongée jusqu'au 17 septembre 2006. Depuis le 7 août 2006, celui-ci travaille en qualité d'aide-maçon auprès d'une société de O._. Il réalise un revenu brut mensuel de 4'701 fr. Dans le cadre d'une nouvelle demande de prolongation de son autorisation de séjour, AX._, dans une lettre du 2 mai 2007, a fait savoir au Service cantonal de la population qu'il n'avait pas repris la vie commune avec son épouse depuis leur séparation et qu'ils étaient désormais bons amis. Il a précisé que son épouse souffrait de sclérose en plaques et qu'elle ne voulait ainsi plus d'enfants. Il a ajouté espérer pouvoir fonder une famille avec "une femme prête à cela" en Suisse, s'y sentant bien et intégré. Le Service de la population a refusé la prolongation de l'autorisation de AX._ le 1er octobre 2007. Un délai d'un mois dès la notification de la décision lui a été imparti pour quitter le territoire suisse. C. Par arrêt du 7 avril 2008, le Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de AX._. Il a en substance estimé que le lien conjugal était définitivement rompu et qu'il n'existait plus de perspective de reprise de la vie commune. Dès lors, invoquer ce mariage afin d'obtenir la prolongation de son autorisation de séjour constituait un abus de droit. En outre, les conditions légales pour octroyer à AX._ une autorisation de séjour malgré sa situation matrimoniale n'étaient pas remplies. D. Agissant par la voie du recours de droit administratif, subsidiairement par celle du recours de droit public, AX._ demande au Tribunal fédéral d'annuler l'arrêt du 7 avril 2008 du Tribunal cantonal, et de lui accorder une autorisation de séjour, subsidiairement, de renvoyer la cause à l'autorité inférieure pour une nouvelle décision dans le sens des considérants. Il invoque une mauvaise appréciation des faits manifeste par le Tribunal cantonal. De plus, il demande que l'effet suspensif soit octroyé au présent recours. Il n'a pas été requis d'observations.