Faits :
A.
Par jugement du 28 janvier 2015, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré X._ du chef d'accusation d'abus de confiance et d'abus de confiance qualifié (ch. I), et l'a reconnu coupable d'escroquerie par métier et de faux dans les titres (ch. II). Il l'a condamné à une peine privative de liberté de cinq ans, peine partiellement complémentaire à celle prononcée le 22 octobre 2009 par le Juge d'instruction de l'arrondissement de Lausanne (ch. III). Par ailleurs, le tribunal correctionnel a ordonné la saisie du passeport de X._ à titre de mesure de substitution à la détention pour des motifs de sûreté (ch. IV). Il a également ordonné la mise en oeuvre, durant l'exécution de la peine prévue au chiffre III, d'un traitement ambulatoire au sens de l'<ref-law> (ch. V). Enfin, le tribunal correctionnel a pris acte des reconnaissances de dettes signées à l'audience par l'intéressé en faveur des lésés, à savoir A._ SA (pour la somme de 2'776'100 fr. avec intérêts à 5% l'an dès le 1er février 2010 et un montant de 13'000 fr. à titre de dépens pénaux), B._ (460'000 fr. avec intérêts à 5% l'an dès le 1er janvier 2011 et 13'000 fr. à titre de dépens pénaux), et C._ (500'000 fr. avec intérêts à 5% l'an dès le 31 août 2011 et 15'000 fr. à titre de dépens pénaux) (ch. VI).
B.
Par jugement du 1er juillet 2015, la Cour d'appel pénale du Tribunal cantonal vaudois a admis partiellement l'appel formé par X._ en ce sens qu'elle a réduit la peine privative de liberté à quatre ans, confirmant le jugement attaqué pour le surplus.
En bref, il en ressort les faits suivants.
X._, né en 1968, est courtier immobilier. Il est marié et père d'un enfant. En 1995, il a créé la société D._ SA grâce à l'aide financière de sa mère, F._, qui lui a confié la gestion de plusieurs immeubles dont elle était propriétaire avec sa soeur. A partir de 2007, X._ a commencé à jouer au casino trois à quatre fois par semaine.
Entre août 2009 et avril 2011, X._, personnellement ou par l'intermédiaire de sa société, a obtenu de E._, administrateur unique de A._ SA, avec lequel il entretenait un lien d'amitié, plusieurs montants totalisant 3'126'100 fr. à titre de prêt. Ces montants étaient destinés à des investissements dans le secteur immobilier. Alors que X._ avait promis d'importants bénéfices à son ami, il n'a conclu aucune opération immobilière avec ces fonds et les a utilisés pour satisfaire sa passion du jeu, et dans une moindre mesure, pour financier son entretien et celui de sa famille, ainsi que les charges de sa société D._ SA. Afin d'endormir la méfiance de E._ et le persuader de continuer à investir de l'argent, X._ lui a notamment fait signer plusieurs conventions de réservation d'immeubles sans portée juridique. Il ne lui a remboursé que 100'000 fr. sur le montant total des prêts accordés. Le 16 septembre 2011, A._ SA a déposé plainte pénale contre lui.
Le 25 novembre 2010, B._ et X._, par l'intermédiaire de sa société D._ SA, ont signé une convention de partenariat et de reconnaissance de dettes sur la base de laquelle le premier a remis au second une somme de 250'000 francs. Cette somme devait servir à obtenir la réservation exclusive d'un immeuble et être remboursée au plus tard le 1er janvier 2011. Pour faire croire qu'il s'engageait à mener à bien cette affaire, X._ a établi un faux courriel de confirmation du notaire. Un autre faux document établi par ses soins attestait que l'immeuble en question faisait l'objet d'une convention de réservation en faveur de D._ SA. L'unique but de X._ était de satisfaire ses besoins de liquidités. Le 9 septembre 2011, B._ a déposé plainte pénale contre lui.
Le 10 février 2011, C._ a remis à X._ deux acomptes d'un montant de 200'000 fr. chacun en exécution de deux conventions de réservation portant sur deux immeubles. X._ n'était toutefois au bénéfice d'aucun mandat pour conclure une quelconque transaction sur ces immeubles, qui étaient propriété de sa mère et de sa tante. Il a utilisé de fausses procurations. Ici également, son but était uniquement de disposer de l'argent. Le 4 mai 2011, un des immeubles a été vendu par leurs propriétaires à une société. X._ a alors faussement indiqué à C._ que cette société appartenait à sa mère. Le 20 décembre suivant, C._ a déposé une plainte pénale contre lui.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement, concluant à sa réforme en ce sens qu'il est condamné à une peine fixée à dire de justice compatible avec l'octroi du sursis partiel. Il sollicite par ailleurs l'assistance judiciaire.

Considérant en droit :
1.
Le recourant conteste la circonstance aggravante du métier (<ref-law>). Sans nier la relative longue durée de ses agissements ni l'importance des sommes qu'il a obtenues au moyen de ses escroqueries, il fait valoir qu'il n'a pas agi dans le but de couvrir ses besoins courants ou de les augmenter mais essentiellement pour financer son addiction aux jeux de hasard, dont le caractère pathologique avait été reconnu par les experts psychiatres mandatés par le ministère public. D'ailleurs, sa situation financière n'avait fait que de se dégrader. Il avait procédé sous le coup d'impulsions, au gré de son humeur et de ses besoins de liquidités pour jouer, et non pas en fonction d'une méthode. Ses actes s'apparentaient ainsi à ceux d'un kleptomane chez lequel l'intention de voler n'est pas générale mais occasionnelle et à répétition. Ils ne témoignaient ni d'un endurcissement ni d'une dangerosité sociale qui caractérisent l'escroc par métier.
1.1. L'auteur agit par métier lorsqu'il résulte du temps et des moyens qu'il consacre à ses agissements délictueux, de la fréquence des actes pendant une période déterminée, ainsi que des revenus envisagés ou obtenus, qu'il exerce son activité coupable à la manière d'une profession, même accessoire. Il faut que l'auteur aspire à obtenir des revenus relativement réguliers représentant un apport notable au financement de son genre de vie et qu'il se soit ainsi, d'une certaine façon, installé dans la délinquance (<ref-ruling> c. 2.1 p. 254; arrêt 6B_ 861/2009 du 18 février 2010 et les arrêts cités).
1.2. La cour cantonale retient qu'entre 2009 et 2011, le recourant s'est procuré des montants considérables, soit près de 3,8 millions de francs, en escroquant trois personnes. Elle retient également que, durant cette période, le recourant n'a réalisé aucune opération financière dont il aurait tiré des revenus pour entretenir son train de vie, qu'il passait tous ses après-midi au casino et qu'il consacrait pratiquement le reste de son temps à ses agissements délictueux. En définitive, celui-ci ne vivait que grâce aux montants obtenus par le biais de ses actes illicites auxquels il n'avait mis un terme qu'à la suite de l'ouverture d'une action pénale contre lui.
1.3. Sur la base de ces éléments, c'est à juste titre que la cour cantonale a admis la réalisation de la circonstance aggravante de l'escroquerie par métier. En effet, il est établi que le recourant a commis plusieurs escroqueries dans son domaine d'activité professionnelle et que l'argent ainsi obtenu lui a permis de satisfaire son mode de vie, au point même qu'il a pu se passer de toute autre source de revenus durant trois ans. Quoi qu'il en dise, cela impliquait une certaine organisation de sa part, ne serait-ce que pour convaincre les lésés de faire des affaires avec lui et les maintenir dans l'illusion que les fonds prêtés étaient affectés conformément à ce qui était convenu. Quant au fait qu'il a consacré la plus grande partie du produit de ses actes illicites à assouvir son addiction au jeu, il ne change rien à la qualification de métier (voir par exemple l'arrêt 6B_13/2009 du 9 février 2009 consid. 2.2 dans lequel l'auteur, reconnu coupable de vols par métier, présentait une dépendance aux stupéfiants). La légère diminution de la responsabilité pénale établie par l'expertise psychiatrique du 4 février 2013 à raison d'un trouble de jeu pathologique ne joue un rôle qu'au stade de la fixation de la peine (<ref-law>). Elle n'a pas d'incidence pour l'examen de la question de savoir si le recourant a exercé son activité coupable à la manière d'une profession.
2.
Le recourant soutient que la peine qui lui a été infligée serait trop sévère.
2.1.
2.1.1. L'infraction d'escroquerie par métier est passible d'une peine privative de liberté de 10 ans au plus (<ref-law>).
2.1.2. Selon l'<ref-law>, la peine doit être fixée d'après la culpabilité de l'auteur (voir aussi <ref-ruling> consid. 6.1.1 p. 66 s. et les arrêts cités). Cette disposition confère un large pouvoir d'appréciation au juge de l'action pénale. Saisi d'un recours, le Tribunal fédéral n'intervient que lorsque la sanction infligée excède les limites du cadre légal, lorsque l'autorité précédente s'est laissé guider par des critères dépourvus de pertinence ou a méconnu des aspects importants, ou encore lorsque la peine apparaît exagérément sévère ou indûment clémente, au point que la décision attaquée procède d'un abus du pouvoir d'appréciation (<ref-ruling> consid. 5.6 p. 61).
2.1.3. Aux termes de l'<ref-law>, le juge atténue la peine si, au moment d'agir, l'auteur ne possédait que partiellement la faculté d'apprécier la caractère illicite de son acte ou de se déterminer d'après cette appréciation. On peut renvoyer à l'<ref-ruling> s'agissant des principes qui président à la fixation de la peine en cas de diminution de responsabilité.
2.2. En l'espèce, l'autorité précédente a considéré que la culpabilité du recourant était extrêmement lourde. Ce dernier n'avait pas hésité à profiter des rapports de confiance ou d'amitié qu'il entretenait avec les lésés pour se procurer de l'argent par la tromperie. Il avait agi de manière égoïste et sans scrupules alors qu'il avait toutes les cartes en mains pour développer les affaires de sa société honnêtement sans avoir recours à de tels procédés. En outre, les infractions étaient en concours. A la décharge du recourant, l'autorité précédente a retenu une légère diminution de sa responsabilité qui, selon les experts psychiatres, n'affectait cependant que les actes commis au détriment de A._ SA et seulement en relation avec l'utilisation de l'argent. Elle a également tenu compte des aveux du recourant et des reconnaissances de dettes qu'il a signées en faveur de lésés. Elle a fixé une peine privative de liberté de quatre ans, réduisant d'une année celle arrêtée par le tribunal correctionnel.
2.3. En tant que le recourant prétend que la peine devrait être réduite dès lors qu'il ne doit pas répondre d'escroquerie par métier au sens de l'<ref-law>, son grief est irrecevable. Pour le surplus, il se borne à critiquer la quotité de la peine en se référant de façon toute générale aux circonstances de son cas, sans même préciser ce qui justifierait, selon lui, le prononcé d'une peine de trois ans au plus avec un sursis partiel comme il le voudrait. Il ne formule en particulier aucun grief en rapport avec l'application de l'<ref-law> et de la jurisprudence y relative. De ce point de vue, sa motivation n'est pas recevable (<ref-law>). Cela étant, la cour cantonale a indiqué les éléments sur lesquels elle s'est fondée - qui ne sont pas critiqués en tant que tels par le recourant - et on peut comprendre qu'elle a apprécié plus largement que le tribunal correctionnel l'effet de la légère diminution de responsabilité du recourant sur sa faute, puisqu'elle a réduit la peine privative de liberté de cinq à quatre ans. Au vu de l'ensemble des circonstances, elle n'a pas abusé ou excédé son pouvoir d'appréciation.
3.
Le recours doit être rejeté, dans la mesure où il est recevable.
Les conclusions étaient dénuées de chance de succès, de sorte que la demande d'assistance judiciaire doit être rejetée (<ref-law> a contrario). Le recourant supportera les frais de justice dont la quotité tiendra compte de sa situation financière difficile (art. 65 al. 2 et art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 7 juillet 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : von Zwehl