Faits:
A.
Le 28 janvier 2008, A._, ressortissant kosovar né en 1980, a épousé à B._ C._, ressortissante italienne née en 1974. Celle-ci était titulaire d'une autorisation de séjour UE/AELE valable jusqu'au 31 mai 2012. Suite à son mariage, l'intéressé s'est vu délivrer une autorisation de séjour UE/AELE valable jusqu'au 31 mai 2012 par le Service de la population du canton de Vaud, au titre du regroupement familial.
Par convention de séparation du 22 mars 2011, ratifiée le 6 mai 2011, l'intéressé et son épouse se sont autorisés à vivre de manière séparée depuis le 1er mars 2011 pour une durée indéterminée. Ils ont notamment attribué le logement conjugal à l'épouse pendant la séparation et convenu que chaque conjoint assumerait seul les dettes libellées à son propre nom. Ils ont renoncé chacun à une contribution d'entretien servie par l'autre conjoint et entériné la répartition amiable des effets personnels et des biens meubles préalablement intervenue entre les conjoints. L'intéressé a quitté le domicile conjugal le 1er mars 2011.
Sur réquisition du Service de la population, la Police cantonale a procédé à l'audition de l'épouse de l'intéressé, le 18 novembre 2011. Celle-ci a notamment déclaré que la séparation des époux était intervenue à son initiative, en raison de la maladie dont elle souffrait et qu'elle avait le sentiment de ne plus pouvoir remplir son rôle d'épouse et ne souhaitait pas imposer cette situation à son mari. Elle a exposé que la requête de mesures protectrices de l'union conjugale avait été déposée en accord avec son époux. Elle a indiqué qu'elle n'avait pas l'intention d'entamer une procédure de divorce en l'état mais que les époux se voyaient régulièrement. Quant à l'intéressé, entendu par la police le 29 novembre 2011, il a notamment déclaré que les époux étaient séparés depuis le mois de février 2011 et qu'il avait définitivement quitté le domicile conjugal au début du mois de mars 2011. Il était parti à la demande de son épouse, celle-ci préférant rester seule en raison de son état de santé. C'était son épouse qui avait déposé la requête de mesures protectrices de l'union conjugale, alors que lui-même n'avait pas le projet d'entamer une procédure de divorce. Il a encore relevé que les époux se voyaient de temps en temps, ajoutant qu'il " était toujours là pour son épouse afin de l'aider si elle en avait besoin, y compris financièrement ".
Par décision du 18 décembre 2012, de laquelle il ressort que l'épouse de l'intéressé est dorénavant au bénéfice d'une autorisation d'établissement, le Service de la population a refusé le renouvellement de l'autorisation de séjour UE/AELE de A._. Il s'est toutefois déclaré favorable à la délivrance d'une autorisation de séjour annuelle au sens de l'art. 50 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20). L'intéressé a recouru le 31 janvier 2013 contre la décision précitée.
B.
Par arrêt du 15 octobre 2013, le Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, a rejeté le recours et confirmé la décision entreprise. Il a jugé que l'intéressé se prévalait abusivement de son mariage, dès lors que le lien conjugal, après plus de deux ans de séparation, était définitivement rompu.
C.
Agissant par la voie du recours en matière de droit public, A._ demande du Tribunal fédéral, sous suite de frais et dépens, outre l'assistance judiciaire, d'annuler l'arrêt du Tribunal cantonal du 15 octobre 2013 et de renvoyer la cause à l'instance précédente pour nouvelle décision dans le sens des considérants.
Le Service de la population renonce à se déterminer sur le recours de l'intéressé. Le Tribunal cantonal conclut au rejet du recours alors que l'Office fédéral des migrations a fait parvenir sa détermination au Tribunal fédéral tardivement.
Le 16 décembre 2013, le Tribunal fédéral a renoncé provisoirement à demander une avance de frais et a informé l'intéressé qu'il serait statué ultérieurement sur sa demande d'assistance judiciaire.

Considérant en droit:
1.
Le Tribunal fédéral examine d'office la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43).
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
En l'espèce, le recourant peut potentiellement déduire un droit de séjourner en Suisse de son mariage avec une ressortissante italienne titulaire d'un droit de séjour, au sens de l'art. 7 let. d de l'Accord du 21 juin 1999 entre la Confédération suisse d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ci-après: ALCP ou l'Accord sur la libre circulation; RS 0.142.112.681) en relation avec l'<ref-law> (<ref-ruling> consid. 8.3 p. 129). Partant, la voie du recours en matière de droit public est ouverte.
1.2. Au surplus, déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours, dirigé contre une décision rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF), est recevable.
1.3. En principe, la qualité pour recourir auprès du Tribunal fédéral au sens de l'<ref-law> suppose un intérêt actuel et pratique à obtenir l'annulation de la décision attaquée. Si l'intérêt actuel disparaît en cours de procédure, le recours devient sans objet, alors qu'il est irrecevable si l'intérêt actuel faisait déjà défaut au moment du dépôt du recours (cf. <ref-ruling> consid. 1.3.1 p. 24). Il ressort de l'arrêt attaqué que le Service de la population s'est déclaré favorable à la poursuite du séjour du recourant en Suisse et à la délivrance d'une autorisation de séjour annuelle au sens de l'art. 50 LEtr. Cette autorisation de séjour placerait toutefois le recourant dans une situation moins favorable que si le renouvellement de son autorisation de séjour UE/AELE venait à être prononcé, dès lors qu'elle est soumise à une décision de l'Office fédéral des migrations et que celle-ci n'est en rien assurée. Partant, il a bel et bien un intérêt à recourir, raison pour laquelle il convient d'entrer en matière.
2.
Selon l'<ref-law>, le recours peut critiquer les constatations de fait à la double condition que les faits aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> et que la correction du vice soit susceptible d'influer sur le sort de la cause, ce que la partie recourante doit rendre vraisemblable par une argumentation répondant aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 1.2 p. 511). La notion de " manifestement inexacte " figurant à l'<ref-law> correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.2 p. 234). Le Tribunal fédéral ne se prononce toutefois sur la violation de droits fondamentaux que s'il se trouve saisi d'un grief motivé de façon détaillée conformément aux exigences accrues de l'<ref-law>. La partie recourante doit énoncer le droit ou principe constitutionnel violé et exposer de manière claire et circonstanciée en quoi consiste la violation (cf. <ref-ruling> consid. 1.4 p. 176).
3.
Invoquant l'établissement inexact des faits, le recourant fait en substance grief au Tribunal cantonal d'avoir retenu que les relations qu'il a gardées avec sa femme se limitaient à des contacts et un soutien de nature plutôt amicale. Il lui reproche aussi d'avoir considéré que les causes et motifs de la rupture ont joué un rôle quant à l'issue de la procédure et de ne pas avoir pris en compte la volonté des époux de persister dans le mariage.
Force est de constater que, sous couvert d'établissement des faits, les critiques formulées par le recourant se rapportent en réalité à l'appréciation du droit par l'instance précédente, puisqu'elles portent sur l'existence d'un lien conjugal et en particulier sur un éventuel abus de droit à l'invocation de l'<ref-law>. Elles seront par conséquent examinées ci-après. En tout état de cause, si le recourant a réellement voulu faire valoir un établissement inexact des faits au sens de l'<ref-law>, la motivation de son mémoire à ce propos doit être considérée comme insuffisante au regard des exigences prévalant en la matière (<ref-law>; cf. consid. 2 ci-dessus).
4.
4.1. La loi sur les étrangers n'est applicable aux membres de la famille des ressortissants des Etats membres de la Communauté européenne que dans la mesure où l'Accord sur la libre circulation n'en dispose pas autrement ou lorsque la loi fédérale prévoit des dispositions plus favorables (art. 2 al. 2 LEtr).
4.2. Le conjoint d'une personne ressortissant d'une partie contractante ayant un droit de séjour et ses descendants ont le droit de s'installer avec elle (art. 7 let. d ALCP et art. 3 al. 1 et 2 annexe I ALCP). En cas de séparation des époux, il y a cependant abus de droit à invoquer l'<ref-law> lorsque le lien conjugal est vidé de toute substance et que la demande de regroupement familial vise seulement à obtenir une autorisation de séjour pour l'époux du travailleur communautaire (<ref-ruling> consid. 3.1 p. 395, 130 II 113 consid. 9.5 p. 134; arrêt 2C_880/2012 du 25 janvier 2013 consid. 5.2). En vertu de l'art. 23 al. 1 de l'ordonnance fédérale sur l'introduction progressive de la libre circulation des personnes entre, d'une part, la Confédération suisse et, d'autre part, l'Union européenne et ses Etats membres, ainsi qu'entre les Etats membres de l'Association européenne de libre-échange (OLCP; RS 142.203), les autorisations de séjour de courte durée, de séjour et frontalières UE/AELE peuvent être révoquées ou ne pas être prolongées, si les conditions requises pour leur délivrance ne sont plus remplies.
4.3. En l'espèce, l'instance précédente a retenu que les époux ont officialisé leur séparation par des mesures judiciaires et que ceux-ci se sont autorisés à vivre de manière séparée pour une durée indéterminée. Le recourant et son épouse ne vivent effectivement plus ensemble depuis plus de deux ans et se sont mis d'accord pour que celle-ci reste dans le logement conjugal. Tous deux sont autonomes financièrement et matériellement. Les époux ne manifestent pas de volonté de reprendre la vie commune prochainement, même s'ils ont indiqué ne pas avoir l'intention de divorcer et qu'ils gardent le contact. Ils espèrent reprendre une vie de couple dans le cas où l'état de santé de l'épouse venait à s'améliorer. A ce propos, les juges cantonaux ont constaté qu'une amélioration prochaine de l'état de santé de l'épouse ne pouvait être retenue. C'est par conséquent à bon droit que l'arrêt attaqué a admis que le recourant ne pouvait se prévaloir d'un mariage qui n'existe plus que formellement pour bénéficier des dispositions de l'Accord sur la libre circulation. Le recourant ne peut donc pas tirer de droit de l'art. 3 al. 1 et 2 annexe I ALCP. Au vu de ce qui précède, c'est en vain qu'il objecte que le renouvellement de son autorisation de séjour UE/AELE lui a été refusé au seul motif qu'il vit séparé de son épouse. Par ailleurs, contrairement à ce qu'il avance, les causes ayant conduit à la rupture du lien conjugal n'ont pas eu d'incidence sur l'issue de l'arrêt attaqué.
5.
Compte tenu de ce qui précède, le recours en matière de droit public doit être rejeté.
6.
Le recours étant manifestement dépourvu de chances de succès, la demande d'assistance judiciaire est rejetée (<ref-law>). Le recourant doit supporter les frais judiciaires, lesquels seront réduits eu égard à sa situation économique (<ref-law>), et n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 17 avril 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Seiler
Le Greffier: Tissot-Daguette