Faits:
A.
Par jugement du 15 février 2012, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a libéré X._ des accusations de contrainte sexuelle, viol et abus de la détresse. Il l'a condamné pour actes d'ordre sexuel avec une personne dépendante et désagréments causés par la confrontation à un acte d'ordre sexuel à une peine privative de liberté de 2 ans, dont 6 mois ferme et 18 mois assortis d'un sursis de 3 ans, sous déduction de 90 jours de détention provisoire, a révoqué le sursis accordé le 3 avril 2009 par la Cour de cassation pénale vaudoise et a ordonné l'exécution de la peine de 90 jours-amende à 30 fr. le jour. Enfin, le tribunal a dit que X._ est le débiteur de A._ de 10'000 fr. avec intérêts à 5% l'an dès le 2 septembre 2009 à titre de réparation du tort moral et a donné à celle-là acte de ses réserves civiles pour le surplus.
B.
Le 21 février 2012, la partie plaignante A._ et le Ministère public ont chacun formé une annonce d'appel contre ce jugement. Le 7 mars 2012, le Ministère public a déclaré qu'il ne poursuivait pas la procédure d'appel et qu'il renonçait à déposer une déclaration d'appel. Par déclaration d'appel du 15 mars 2012, A._ a conclu à la réforme du jugement entrepris en ce sens que X._ est reconnu coupable de viol et désagréments causés par la confrontation à un acte d'ordre sexuel, la quotité de la peine étant fixée à dire de justice. Lors des débats d'appel, le Ministère public a conclu au rejet de l'appel de la partie plaignante.
Statuant sur cet appel par jugement du 12 juin 2012, la Cour d'appel pénale du Tribunal cantonal vaudois l'a partiellement admis. Elle a libéré X._ des griefs de contrainte sexuelle, d'actes d'ordre sexuel avec une personne dépendante et d'abus de la détresse. Elle l'a en revanche condamné pour viol et désagréments causés par la confrontation à un acte d'ordre sexuel à une peine privative de liberté de 3 ans, dont une année ferme et 2 années assorties d'un sursis de 3 ans, sous déduction de 90 jours de détention provisoire, a renoncé à révoquer le sursis accordé le 3 avril 2009 par la Cour de cassation pénale vaudoise, a dit que X._ est le débiteur de A._ de 20'000 fr. avec intérêts à 5% l'an dès le 2 septembre 2009, à titre de réparation du tort moral, et a rejeté toutes autres ou plus amples conclusions.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement, concluant, sous suite de dépens, à sa réforme en ce sens qu'il est libéré de l'accusation de viol et condamné pour désagréments causés par la confrontation à un acte d'ordre sexuel et pour actes d'ordre sexuel avec une personne dépendante, subsidiairement pour viol, à une peine privative de liberté de 2 ans, dont 6 mois ferme et 18 mois avec sursis durant 3 ans, sous déduction de 90 jours de détention préventive. Il sollicite par ailleurs l'assistance judiciaire et l'effet suspensif.
Des observations n'ont pas été requises.
D.
Par ordonnance du 18 septembre 2012, la demande d'assistance judiciaire de X._ a été rejetée, faute pour celui-ci d'avoir établi son impécuniosité.

Considérant en droit:
1.
1.1. Invoquant une violation de l'<ref-law>, le recourant considère que l'intimée n'avait pas qualité pour former appel et faire aggraver la qualification juridique par rapport à celle retenue en première instance. Autrement dit, la cour d'appel ne pouvait pas substituer la qualification de viol (<ref-law>) à celle d'actes d'ordre sexuel avec une personne dépendante (<ref-law>) retenue en première instance.
L'<ref-law> prévoit que toute partie qui a un intérêt juridiquement protégé à l'annulation ou à la modification d'une décision a qualité pour recourir contre celle-ci (al. 1). La partie plaignante ne peut pas interjeter recours sur la question de la peine ou de la mesure prononcée (al. 2).
Dans un récent arrêt de principe, le Tribunal fédéral a admis que le lésé (<ref-law>), qui s'est constitué partie plaignante sur le plan pénal (art. 118 al. 1 et 119 al. 2 let. a CPP), est habilité à former appel pour ce qui concerne la culpabilité du prévenu, indépendamment de la prise de conclusions civiles (<ref-ruling> consid. 3 ). Dès lors que la partie plaignante est habilitée à former appel sur la culpabilité, on en déduit qu'elle dispose d'un intérêt au sens de l'<ref-law> à former un appel non seulement pour contester un acquittement mais aussi pour mettre en cause la qualification juridique retenue contre le prévenu en première instance si elle considère qu'une autre qualification juridique s'impose, en particulier une qualification plus grave. Il faut en effet lui reconnaître un intérêt à invoquer une autre qualification, laquelle est susceptible d'avoir une incidence sur l'appréciation de l'atteinte qu'elle a subie.
Il s'ensuit que, contrairement à ce que soutient le recourant, l'intimée était habilitée à invoquer dans le cadre de son appel qu'était réalisé le crime de viol (<ref-law>) à la place de l'infraction retenue en première instance d'actes d'ordre sexuel avec une personne dépendante (<ref-law>).
1.2. Se référant à l'<ref-law>, le recourant est d'avis que, même en admettant que la partie plaignante pouvait mettre en cause la qualification juridique, la qualification plus grave de viol retenue par la cour d'appel n'aurait pas dû déboucher sur une modification de la peine prononcée en première instance.
Il découle de l'<ref-law> que la partie plaignante ne peut pas faire porter un appel sur la quotité de la peine uniquement. Certains des auteurs auxquels se réfère le recourant ne disent rien d'autre (cf. RUCKSTUHL/DITTMANN/ARNOLD, Strafprozessrecht, 2011, no 1125 p. 348-349). La question qui se pose en l'espèce est toutefois distincte. Il s'agit de déterminer les conséquences de l'admission d'un appel sur la culpabilité lorsque ledit appel émane de la seule partie plaignante. En particulier, à la suite de l'admission de l'appel de la partie plaignante, l'autorité d'appel peut-elle fixer librement la peine à l'égard du prévenu qui avait été acquitté en première instance, respectivement qui avait fait l'objet d'une condamnation pour une infraction différente que celle finalement retenue par l'instance d'appel-
Un courant de doctrine considère que la partie plaignante ne peut pas obtenir une aggravation de la peine si à la suite de son appel un verdict de culpabilité supplémentaire est rendu (cf. MARTIN ZIEGLER, in Basler Kommentar, Schweizerische Strafprozessordnung, 2011, no 4 in fine ad <ref-law>). Un autre courant est d'avis que, lorsque la partie plaignante attaque avec succès un jugement d'acquittement ou un jugement de condamnation dont elle conteste la qualification retenue, l'autorité d'appel peut alors revoir la peine et, le cas échéant, prononcer une condamnation plus sévère (cf. VIKTOR LIEBER, in Kommentar zur Schweizerischen Strafprozessordnung, 2010, no 17 ad <ref-law>; NIKLAUS SCHMID, Schweizerische Strafprozessordnung, Praxiskommentar, 2009, no 6 ad <ref-law>).
Dans une décision du 9 janvier 2012, l'Obergericht de Zurich a opté pour une solution allant dans ce dernier sens et l'a notamment justifiée en se servant de l'exemple suivant: un tribunal de première instance parvient, à l'issue de son appréciation des preuves, à la conclusion que le prévenu n'a pas commis le meurtre reproché. Le ministère public et la partie plaignante (un proche de la victime au sens de l'<ref-law>) annoncent chacun un appel (<ref-law>). Après la notification du jugement motivé, le ministère public décide de retirer son appel, l'estimant dépourvu de chances de succès. La partie plaignante quant à elle adresse une déclaration d'appel (<ref-law>) par laquelle elle requiert un verdict de culpabilité et l'allocation de ses prétentions civiles. Procédant à une nouvelle appréciation des preuves, la cour d'appel considère que le prévenu est coupable du meurtre reproché (cf. ZR 111/2012 p. 110 ss, spéc. consid. 4.4.3 p. 114).
Dans un cas de figure correspondant à l'exemple précité, il ne saurait être déduit de l'<ref-law> que l'autorité d'appel pourrait uniquement procéder à un constat de la culpabilité du prévenu mais non prononcer de peine à son encontre. Comme rappelé ci-dessus ad consid. 1.1 troisième paragraphe, la partie plaignante est habilitée à former appel pour ce qui concerne la culpabilité en tant que telle. Or celle-ci est indissociable de la peine. La seule interprétation cohérente du CPP impose donc de considérer qu'en cas d'admission de l'appel de la partie plaignante sur la culpabilité, la cour d'appel doit fixer une nouvelle peine correspondant à la culpabilité finalement admise, cas échéant en prononçant une sanction plus sévère que celle arrêtée en première instance. Que le ministère public n'ait pas de son côté formé d'appel ou d'appel joint, voire même qu'il ait conclu, comme partie à la procédure d'appel (cf. art. 104 al. 1 let. c CPP), au rejet de l'appel de la partie plaignante est sans portée, dès lors que celle-ci est habilitée à former appel sur la seule question de la culpabilité. La fixation d'une nouvelle peine vaut tant pour le cas où la partie plaignante conteste avec succès un acquittement que pour celui où elle obtient une autre qualification juridique, qui était incluse dans l'acte d'accusation, mais qui n'avait pas été retenue par le jugement de première instance.
Tel est le cas en l'espèce où une qualification juridique plus grave (<ref-law> à la place de l'<ref-law>) a été retenue par l'instance d'appel, alors que l'autorité de première instance avait libéré le prévenu de l'infraction la plus grave. Il incombait dans ces conditions à l'autorité d'appel de fixer la peine à nouveau. Le grief est infondé.
1.3. Le recourant se réfère également à un arrêt cantonal paru au JdT 1995 IV 128. Cet arrêt traite d'une problématique relevant d'anciennes dispositions de la loi sur l'aide aux victimes d'infractions et est dépourvu de pertinence en l'occurrence.
1.4. Le recourant invoque enfin une violation de l'<ref-law> pour le motif que l'intimée a conclu dans son appel qu'il soit reconnu coupable de viol et que la peine, sans sursis, soit "fixée à dire de justice". Selon lui, cette dernière formulation serait insuffisante au regard de la disposition précitée.
L'argument est infondé. L'intimée n'a pas formé un appel partiel pour se plaindre de la quotité de la peine selon l'<ref-law>, ce qu'elle n'aurait pas été habilitée à faire au regard de l'<ref-law>, mais bien pour se plaindre de la culpabilité retenue en première instance, invoquant un viol (<ref-law>) à la place de la qualification d'actes d'actes d'ordre sexuel avec une personne dépendante (<ref-law>). On se trouve donc dans l'hypothèse de l'<ref-law>. La conclusion qu'a prise en l'occurrence l'intimée à l'appui de son appel est adéquate, la question de la culpabilité étant susceptible d'aboutir à une nouvelle fixation de la peine par la cour d'appel pour le cas où un viol était retenu. L'intimée n'avait elle-même pas à formuler une conclusion sur la quotité de la peine à infliger en cas d'admission de son appel sur la culpabilité.
2.
Le recourant a conclu à sa libération de l'infraction de viol et à ce qu'une peine de 2 ans soit prononcée, dont 6 mois ferme et 18 mois avec sursis. Il ne formule toutefois aucun grief relatif à l'application de l'<ref-law> pour le viol, pas plus qu'à l'<ref-law> pour la fixation de la peine ou à l'<ref-law> pour le sursis partiel. A défaut de toute critique recevable au regard de l'<ref-law>, il n'y a pas lieu d'entrer en matière sur ces aspects.
3.
Le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). Il n'y a pas lieu d'accorder de dépens à l'intimée dans la mesure où celle-ci n'a pas été invitée à se déterminer.
La cause étant ainsi jugée, la requête d'effet suspensif est sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 14 décembre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod