Faits : A. Par jugement du 31 mai 2018, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré X._ du chef de prévention de viol. Outre une indemnité de 11'596 fr. 50 pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure, une indemnité de 7400 fr. a été allouée à X._ en raison de sa détention provisoire durant 34 jours, subie partiellement dans des conditions illicites. Les conclusions civiles formées par A._ ont été rejetées et les frais de procédure ont été laissés à la charge de l'Etat. B. Statuant le 19 novembre 2018, la Cour d'appel pénale du Tribunal cantonal vaudois a admis les appels formés par A._ et par le ministère public contre le jugement du 31 mai 2018 et l'a réformé en ce sens que X._ était condamné pour viol (art. 190 al. 1 CP) à une peine privative de liberté de 3 ans et demi, qu'aucune indemnité ne lui était allouée, qu'il devait verser à A._ un montant de 15'000 fr. à titre de réparation du tort moral et qu'il devait s'acquitter de l'intégralité des frais de procédure. En substance, la cour cantonale a retenu les faits suivants. B.a. Dans la nuit du 30 au 31 décembre 2010, A._, née en 1988, se trouvait avec ses amis B._ et C._ à la discothèque D._, sis rue E._, à F._. Au cours de la soirée, elle avait échangé quelques paroles avec X._, né en 1989, qu'elle ne connaissait pas. Celui-ci remplaçait ce soir-là son frère G._ en tant qu'agent de sécurité de la discothèque. Vers 2 heures, A._ s'est rendue aux toilettes de l'établissement, est entrée dans la cabine et a verrouillé la porte de celle-ci. X._, qui l'avait suivie, a alors utilisé une clé spéciale pour ouvrir la porte de la cabine dans laquelle se trouvait la prénommée. Il est entré alors qu'elle était en train de se rhabiller, a sorti un préservatif et l'a enfilé sur son sexe en érection, tandis que, sous le choc, celle-ci manifestait son refus de tout acte sexuel, en répétant plusieurs fois " non " et qu'elle ne voulait pas. X._ a insisté et l'a retournée face au mur. L'intéressé, profitant du fait que A._ était tétanisée, a écarté le string de celle-ci et l'a pénétrée vaginalement avec son sexe jusqu'à éjaculation. Puis, il a retiré son préservatif et est sorti des toilettes en laissant A._ derrière lui. Le 31 décembre 2010, dans l'après-midi, A._ a déposé plainte. B.b. Lors de son audition du 1 er janvier 2011, A._, affirmant avoir été violée par un agent de sécurité, a désigné le frère de X._, soit G._, en charge de la sécurité du D._, sur une planche photographique comme étant l'auteur des faits dénoncés. Par la suite, elle avait toutefois fait part de ses doutes quant à cette identification, dès lors qu'elle prétendait que son agresseur avait les dents écartées, ce qui n'était pas le cas de G._. Par jugement du 16 septembre 2015, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné G._ pour viol. Celui-ci a formé appel. Le 2 juin 2016, au cours de l'audience devant la Cour d'appel pénale, le frère de G._, soit X._, a déclaré qu'il avait remplacé son frère au D._ le soir des faits et que celui-ci n'y était donc pas présent. A la question de savoir s'il se rappelait d'un événement particulier qui s'était produit ce soir-là, il a répondu qu'il avait entretenu une relation sexuelle avec une jeune fille. Le ministère public a ouvert, le même jour, une instruction pénale contre X._ en raison des faits dénoncés par A._. Entendu en qualité de prévenu, X._ a soutenu en substance que, la nuit des faits, A._ lui avait prodigué une fellation, de manière librement consentie, dans les toilettes de l'établissement. C. X._ forme un recours en matière pénale contre le jugement du 19 novembre 2018. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il est acquitté, qu'il a droit à une indemnité pour tort moral de 7400 fr. en raison de sa détention provisoire durant 34 jours, subie partiellement dans des conditions illicites, et que les conclusions civiles de A._ sont rejetées. Subsidiairement, il conclut à l'annulation du jugement et au renvoi du dossier auprès de la cour cantonale pour nouvelle instruction et nouvelle décision dans le sens des considérants.