Faits : A. X._, ressortissant Kosovar né en 1987, est arrivé en Suisse le 22 mai 1993 pour vivre auprès de ses parents. Depuis le 1er décembre 1999 il est au bénéfice d'une autorisation d'établissement. Le 11 août 2012, il s'est marié religieusement au Kosovo avec une compatriote titulaire d'une autorisation d'établissement en Suisse. Il vit actuellement chez ses parents avec son épouse. Depuis le 15 mars 2013, il travaille comme ouvrier en construction métallique auprès d'une entreprise de St-Maurice. Le 10 juin 2009, X._ a été condamné à une peine privative de liberté de six mois, avec sursis pendant deux ans, pour vol, dommages à la propriété et violation de domicile. Le 26 mars 2013, il a été condamné à trente mois de privation de liberté, dont douze mois fermes et dix-huit mois avec sursis pendant un délai d'épreuve de cinq ans, pour contrainte sexuelle, menaces, injure, calomnie qualifiée et accès indu à un système informatique. Dans le cadre de cette deuxième condamnation, le Tribunal correctionnel de Lausanne a notamment relevé avoir "[...] rarement assisté à des attitudes dénotant pareil manque de dignité ou de respect, de la part d'un prévenu vis-à-vis d'une plaignante maintenue dans des conditions de soumission absolument intolérables, rabaissée et humiliée, et réduite au rang d'esclave sexuelle d'un individu méchant, arrogant, rustre, apparemment dépourvu de toute éducation, d'un machisme total, d'une fierté déplacée et imbécile et d'une franchise à géométrie très variable". X._ a débuté l'exécution de la peine le 25 novembre 2013, sous le régime de la semi-détention. La date d'une possible libération conditionnelle a été fixée au 24 mars 2014. B. Le 21 janvier 2014, le Chef du Département de l'économie et du sport du canton de Vaud (ci-après le Chef du Département), sur proposition du Service de la population de ce même canton, a révoqué l'autorisation d'établissement de X._ et prononcé son renvoi de Suisse, dès que ce dernier aurait satisfait à la justice vaudoise. X._ a interjeté recours contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après le Tribunal cantonal). Le 3 avril 2014, le Tribunal cantonal a rejeté le recours. C. Par acte du 5 mai 2014, X._ dépose un recours en matière de droit public auprès du Tribunal fédéral contre l'arrêt du Tribunal cantonal du 3 avril 2014. Il requiert, sous suite de frais et dépens, le renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Subsidiairement, il conclut à la réforme de l'arrêt attaqué en ce sens que la décision du Chef du Département du 21 janvier 2014, la révocation de son autorisation d'établissement ainsi que son renvoi de Suisse sont annulés. Il sollicite en outre le bénéfice de l'assistance judiciaire. L'Office fédéral des migrations, devenu entretemps le Secrétariat d'Etat aux migrations, conclut au rejet du recours. Le Service de la population du canton de Vaud renonce à se déterminer. Le Chef du Département se rallie à la position du Tribunal cantonal, alors que ce dernier se réfère à son arrêt. Par ordonnance du 2 juillet 2014, le Président de la IIe Cour de droit public du Tribunal fédéral a accordé l'effet suspensif au recours.