Faits: A. Par jugement du 15 février 2012, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a libéré X._ des accusations de contrainte sexuelle, viol et abus de la détresse. Il l'a condamné pour actes d'ordre sexuel avec une personne dépendante et désagréments causés par la confrontation à un acte d'ordre sexuel à une peine privative de liberté de 2 ans, dont 6 mois ferme et 18 mois assortis d'un sursis de 3 ans, sous déduction de 90 jours de détention provisoire, a révoqué le sursis accordé le 3 avril 2009 par la Cour de cassation pénale vaudoise et a ordonné l'exécution de la peine de 90 jours-amende à 30 fr. le jour. Enfin, le tribunal a dit que X._ est le débiteur de A._ de 10'000 fr. avec intérêts à 5% l'an dès le 2 septembre 2009 à titre de réparation du tort moral et a donné à celle-là acte de ses réserves civiles pour le surplus. B. Le 21 février 2012, la partie plaignante A._ et le Ministère public ont chacun formé une annonce d'appel contre ce jugement. Le 7 mars 2012, le Ministère public a déclaré qu'il ne poursuivait pas la procédure d'appel et qu'il renonçait à déposer une déclaration d'appel. Par déclaration d'appel du 15 mars 2012, A._ a conclu à la réforme du jugement entrepris en ce sens que X._ est reconnu coupable de viol et désagréments causés par la confrontation à un acte d'ordre sexuel, la quotité de la peine étant fixée à dire de justice. Lors des débats d'appel, le Ministère public a conclu au rejet de l'appel de la partie plaignante. Statuant sur cet appel par jugement du 12 juin 2012, la Cour d'appel pénale du Tribunal cantonal vaudois l'a partiellement admis. Elle a libéré X._ des griefs de contrainte sexuelle, d'actes d'ordre sexuel avec une personne dépendante et d'abus de la détresse. Elle l'a en revanche condamné pour viol et désagréments causés par la confrontation à un acte d'ordre sexuel à une peine privative de liberté de 3 ans, dont une année ferme et 2 années assorties d'un sursis de 3 ans, sous déduction de 90 jours de détention provisoire, a renoncé à révoquer le sursis accordé le 3 avril 2009 par la Cour de cassation pénale vaudoise, a dit que X._ est le débiteur de A._ de 20'000 fr. avec intérêts à 5% l'an dès le 2 septembre 2009, à titre de réparation du tort moral, et a rejeté toutes autres ou plus amples conclusions. C. X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement, concluant, sous suite de dépens, à sa réforme en ce sens qu'il est libéré de l'accusation de viol et condamné pour désagréments causés par la confrontation à un acte d'ordre sexuel et pour actes d'ordre sexuel avec une personne dépendante, subsidiairement pour viol, à une peine privative de liberté de 2 ans, dont 6 mois ferme et 18 mois avec sursis durant 3 ans, sous déduction de 90 jours de détention préventive. Il sollicite par ailleurs l'assistance judiciaire et l'effet suspensif. Des observations n'ont pas été requises. D. Par ordonnance du 18 septembre 2012, la demande d'assistance judiciaire de X._ a été rejetée, faute pour celui-ci d'avoir établi son impécuniosité.