Faits :
A.
Par jugement du 6 octobre 2017, le Tribunal correctionnel de l'arrondissement de La Côte a condamné X._ pour escroquerie par métier à une peine privative de liberté de 30 mois, avec sursis pendant 2 ans sur une partie de la peine portant sur 24 mois. Il a par ailleurs pris acte pour valoir jugement des reconnaissances de dette signée par X._ en faveur de D._, A._, B.B._ et C.B._, E.E._ et F.E._, G.G._ et H.G._ ainsi que I.I._ et a donné acte pour le surplus à ces derniers de leurs réserves civiles. Le Tribunal correctionnel a par ailleurs rejeté les conclusions civiles prises par J.I._.
B.
Statuant le 9 avril 2018 sur les appels formés par X._ et par J.I._ contre le jugement du 6 octobre 2017, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de X._ et a admis celui de J.I._. Le jugement a été réformé en ce sens que les conclusions civiles prises par J.I._ étaient irrecevables. Il a été confirmé pour le surplus.
En substance, la cour cantonale a retenu les faits suivants.
Après une carrière au sein de diverses sociétés et établissements bancaires, X._, né en 1946, a oeuvré dès 1987 comme gestionnaire de fortune indépendant. Dans ce cadre, il proposait notamment à des particuliers de participer aux placements qu'il effectuait, ceux-ci lui confiant leurs fonds qui étaient alors placés selon les opportunités qui se présentaient. X._, alors domicilié à K._, était perçu par les personnes qui le côtoyaient comme un gestionnaire de fortune aguerri et jouissant d'une bonne réputation.
En 2007, à la suite de placements financiers malheureux et pressé par des investisseurs qui voulaient récupérer leurs fonds, X._ s'est retrouvé à court de liquidités.
Depuis cette époque et jusqu'en 2013, il s'est alors tourné vers des connaissances professionnelles et des amis, concluant avec ceux-ci des contrats de prêt. Ces démarches lui ont permis d'obtenir des fonds lui ayant permis de rembourser les premiers investisseurs tout en maintenant son train de vie, circonstances qu'il taisait à ses interlocuteurs, alors même que sa situation financière devenait catastrophique et qu'il savait qu'il ne serait pas en mesure de les rembourser.
Pour convaincre les personnes qu'il côtoyait de lui prêter leur argent, X._ a, outre l'évocation de sa notoriété en matière de gestion de fortune, fait état d'un train de vie élevé ainsi que d'une fortune personnelle. Il leur a en outre promis des plus-values et des taux d'intérêts particulièrement favorables, tout en leur faisant croire qu'il connaissait des opportunités de placements qu'il fallait saisir au plus vite ou en leur promettant un remboursement à court terme. A titre de garantie, et pour ne pas éveiller de soupçons, il présentait une feuille d'impôt sur laquelle il était fait mention d'une fortune d'environ 8'000'000 francs. A certaines occasions, il se déclarait personnellement responsable, sur sa fortune privée, en cas de non-remboursement fautif des fonds versés.
X._ s'est vu remettre dans ce contexte à tout le moins un montant de l'ordre de 1'500'000 fr. ainsi que 140'000 euros.
La faillite personnelle de X._ a été prononcée en 2014. L'état de colocation établi dans le cadre de la procédure de faillite mentionnait l'existence de dettes pour un montant de l'ordre de 23'000'000 francs.
Entre mai et décembre 2014, A._, F.E._ et E.E._, D._, H.G._ et G.G._ ainsi que C.B._ et B.B._ ont successivement déposé plainte. I.I._ a fait de même le 28 février 2016.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 9 avril 2018. Il conclut, avec suite de frais et dépens, à son annulation, la cause étant renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il sollicite en outre le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recours en matière pénale est une voie de réforme (<ref-law>). Le recourant ne peut se borner à demander l'annulation de la décision et le renvoi de la cause à l'autorité cantonale, mais doit également, sous peine d'irrecevabilité, prendre des conclusions sur le fond du litige. Il n'est fait exception à ce principe que lorsque le Tribunal fédéral, s'il admettait le recours, ne serait pas en mesure de statuer lui-même sur le fond et ne pourrait que renvoyer la cause à l'autorité cantonale (cf. arrêt 6B_111/2015 du 3 mars 2016 consid. 1.7 non publié aux <ref-ruling>; <ref-ruling> consid. 1.3 p. 317).
En l'espèce, le recourant n'a pas pris de conclusions sur le fond, mais uniquement sollicité l'annulation du jugement attaqué et le renvoi de la cause à l'autorité précédente. Une telle manière de faire n'est pas admissible. Cela étant, les motifs du recours permettent de comprendre que le recourant souhaite être partiellement acquitté du chef de prévention d'escroquerie par métier et qu'il entend voir sa peine réduite, de sorte à ce qu'elle soit compatible avec l'octroi d'un sursis complet. Cela suffit pour satisfaire aux exigences de forme déduites de l'art. 42 al. 1 et 2 LTF (cf. arrêt 6B_111/2015 précité consid. 1.7; <ref-ruling> consid. 1.3 p. 317).
2.
Le recourant conteste sa condamnation pour escroquerie par métier (art. 146 al. 1 et 2 CP) s'agissant des cas survenus entre 2007 et 2010 et qui concernaient les intimés D._ (cas n° 1 de l'acte d'accusation du 15 mars 2017), A._ (cas n° 2) ainsi que C.B._ et B.B._ (cas n° 3).
Il ne revient en revanche pas sur sa condamnation portant sur les faits qui sont survenus dès 2011, soit en l'occurrence les cas n° 4 et 5 de l'acte d'accusation du 15 mars 2017 (concernant respectivement les époux E._ et les époux G._), ainsi que le cas décrit dans l'acte d'accusation complémentaire du 14 septembre 2017 (concernant I.I._).
2.1. Il ressort du jugement entrepris que l'intimé D._ (intimé 4) avait prêté au recourant un montant total de 229'370 fr. 50 entre le milieu de l'année 2007 et le mois d'octobre 2008. Pour le convaincre de lui prêter de l'argent, le recourant avait exploité leur amitié préexistante, le fait que l'intimé 4 le savait gérant de fortune expérimenté, le croyait aisé ainsi que le fait qu'il avait déjà emprunté et remboursé de l'argent plusieurs années auparavant. En outre, s'il avait admis être à court de liquidités, le recourant avait affirmé faire des gains importants sur ses propres investissements. Il lui avait ainsi montré une déclaration d'impôt faisant état d'une fortune de 8'000'000 fr. et lui avait promis une rémunération annuelle de 20% et de garantir ses prêts avec sa fortune personnelle. Enfin, il avait prétexté devoir payer des impôts et vouloir acheter des titres supplémentaires. Seul un montant de 60'000 fr. a été remboursé à l'intimé 4.
S'agissant de l'intimé A._ (intimé 2), il ressort du jugement entrepris que, dans le courant de l'année 2009, ce dernier avait été présenté au recourant par un tiers, qui lui avait vanté ses qualités et ses compétences en matière de gestion de fortune. Le recourant avait alors convaincu l'intimé 2 de lui verser un capital de 200'000 fr., puis un second de 50'000 fr. lui garantissant un gain sur le capital de 20'000 fr., ainsi qu'un taux d'intérêts de 6%. Le recourant avait alors déclaré garantir les fonds avec sa fortune personnelle. Mis à part un montant de 25'250 fr., le recourant n'a pas été en mesure de rembourser les fonds qui lui avaient été confiés.
Enfin, à la fin de l'année 2010, le recourant a été présenté, par l'intermédiaire d'une connaissance commune, aux époux B.B._ et C.B._ (intimés 3), alors que ceux-ci cherchaient à faire fructifier leurs économies. Le recourant leur avait alors parlé de sa manière d'investir de l'argent et avait fait état d'une gestion de fonds à hauteur de 15'000'000 fr., dont un montant de 7'000'000 fr. lui appartenant en propre. Forts de ces explications et des recommandations concernant le recourant, les intimés 3 ont conclu des contrats de prêt pour un montant de 50'000 fr. chacun. Le contrat de B.B._ prévoyait une rémunération à 6% l'an, alors que celui de C.B._ prévoyait un taux d'intérêt de 3% l'an avec, au surplus, un versement supplémentaire de 3% d'intérêts par année en liquide. Le recourant n'a jamais remboursé les intimés, à l'exception d'un montant de 4672 fr. 25 versé à C.B._.
2.2. Le recourant invoque en premier lieu un établissement arbitraire des faits. Il reproche à la cour cantonale de ne pas avoir retenu certains éléments factuels propres à établir qu'au moment où les contrats avaient été conclus, soit entre 2007 et 2010, il avait encore tant la volonté que les capacités d'honorer le remboursement des montants prêtés.
2.2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conclusions insoutenables (<ref-ruling> consid. 1.1 p. 503; <ref-ruling> consid. 2.3 p. 266 et les références citées). Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368).
2.2.2. Le recourant ne revient pas sur le fait que les prêts des intimés ont principalement servi à satisfaire de précédents investisseurs, dès lors qu'il ne disposait plus dès 2007 des liquidités suffisantes pour répondre à leurs demandes de remboursement. Il ne conteste pas non plus que les montants prêtés par les intimés n'ont jamais été entièrement remboursés, ni rémunérés comme il s'y était engagé.
2.2.3. Il fait en revanche grief à la cour cantonale de ne pas avoir retenu qu'entre 2007 et 2011, il croyait encore sincèrement pouvoir améliorer sa situation financière en réalisant un profit important par la vente de ses nombreux titres (actions et options) de la société australienne L._, active dans la production d'acier et cotée en bourse. Le recourant reproche en particulier à la cour cantonale de ne pas avoir tenu compte dans son appréciation du fait que les titres en question lui avaient permis de " gagner cinq fois sa mise " entre 2004 et 2006. Le fait qu'il avait continué à en acheter jusqu'à la fin de l'année 2011 démontrait également la sincérité de ses propos quant à ses possibilités de gain et à sa volonté de rembourser les intimés.
La cour cantonale a retenu qu'au moment où les intimés avaient prêté leur argent au recourant, sa fortune était alors composée essentiellement de titres L._, lesquels étaient des produits financiers hautement volatiles. Elle a ainsi constaté, en se fondant sur les graphiques produits au dossier cantonal (cf. P. 106/2/4), que la valeur des titres en question subissait de grandes variations, ce qui était corroboré tant par les déclarations du gendre du recourant que par celles du recourant lui-même. Si leur valeur avait fortement progressé entre 2004 et 2006, elle avait significativement baissé en 2008 lors de la crise des subprimes. Elle avait ensuite progressivement augmenté en 2009, mais avait baissé à nouveau depuis 2010, avant que leur cotation soit définitivement suspendue le 22 juillet 2013, les titres ayant perdu toute valeur.
L'intéressé avait du reste admis que la société n'était qu'une start-up et que l'achat de ces titres jusqu'en 2011 relevait d'une opération purement spéculative. Or, si un gérant de fortune spécule ordinairement en se fondant sur des analyses ou des informations lui permettant de croire en une hausse prochaine de la valeur de titres, les prévisions du recourant reposaient en l'occurrence sur le seul hasard. De même, les fluctuations importantes des titres pour des motifs, selon le recourant, totalement étrangers à la société - la crise des subprimes de 2008 - constituaient un premier avertissement que les pronostics les plus affutés pouvaient être déjoués. Ainsi, s'il pouvait être admis que le recourant avait espéré une hausse de la valeur des titres L._, ce dernier ne pouvait en aucun cas tenir pour probable la survenance d'une telle circonstance.
Le recourant n'expose aucune raison objective qui lui permettait de croire, entre 2007 et 2011, qu'une hausse significative et prochaine de la valeur des titres était probable. Il ne fait en particulier état d'aucune analyse ou d'information qu'il aurait obtenue et qui permettraient d'étayer ses propos. Il n'explique en particulier pas ce qu'il pouvait concrètement déduire du projet de joint-venture qui aurait été envisagé par la société australienne en 2010. Le recourant ne saurait en outre se fonder sur les messages publiés par la direction de L._, laquelle n'était à l'évidence guère susceptible de donner des informations propres à effrayer l'investisseur. La cour cantonale a du reste relevé que ces messages étaient tout aussi optimistes en 2010 qu'en été 2013, à la veille de l'effondrement de la valeur des titres.
Au vu de ce qui précède, l'autorité précédente pouvait retenir sans arbitraire qu'au moment où le recourant avait contacté les intimés, il n'avait pas de raison particulière de compter sur une évolution favorable de la valeur de ses titres L._, qui lui aurait permis d'améliorer sa situation financière, alors largement obérée par des dettes à l'égard de précédents investisseurs.
2.2.4. Le recourant prétend encore que, quelles que soient les perspectives d'évolution de la valeur de ses titres L._, l'état de sa fortune jusqu'à la fin de l'année 2009 lui permettait de garantir les prêts octroyés par les intimés 2 et 4, de sorte qu'il aurait eu les capacités de procéder à leur remboursement si les intimés concernés l'avaient exigé, au besoin en vendant ses titres ou ses actifs immobilisés.
Il soutient à cet égard qu'il disposait encore en 2009, selon sa déclaration fiscale pour cette année-là, d'une fortune de l'ordre de 6'000'000 fr., après déduction de ses dettes, ce qui était largement suffisant pour rembourser les intimés. Toutefois, dans la mesure où le recourant avait admis lors des débats qu'il n'avait pas déclaré toutes ses dettes dans ses déclarations d'impôt (cf. jugement du 6 octobre 2017, p. 37), il n'apparaît pas que celles-ci disposent d'une valeur probante suffisante pour déterminer l'état exact de la fortune du recourant, qu'elle soit immobilisée ou non. La cour cantonale n'a donc pas versé dans l'arbitraire en n'en tenant pas compte au moment de déterminer que le recourant n'était, dès 2007, plus en mesure de garantir le remboursement des montants prêtés par les intimés.
2.3. Le recourant invoque ensuite une violation de l'<ref-law> et conteste en particulier avoir trompé les intimés.
2.3.1. En vertu de l'<ref-law>, se rend coupable d'escroquerie celui qui, dans le dessein de se procurer ou de procurer à un tiers un enrichissement illégitime, aura astucieusement induit en erreur une personne par des affirmations fallacieuses ou par la dissimulation de faits vrais ou l'aura astucieusement confortée dans son erreur et aura de la sorte déterminé la victime à des actes préjudiciables à ses intérêts pécuniaires ou à ceux d'un tiers.
Pour qu'il y ait tromperie par affirmations fallacieuses, il faut que l'auteur ait affirmé un fait dont il connaissait la fausseté. L'affirmation peut résulter de n'importe quel acte concluant. Il n'est donc pas nécessaire que l'auteur ait fait une déclaration. Il suffit qu'il ait adopté un comportement dont on déduit qu'il affirme un fait. La tromperie par dissimulation de faits vrais est réalisée lorsque l'auteur s'emploie, par ses propos ou par ses actes, à cacher la réalité. S'il se borne à se taire, à ne pas révéler un fait, une tromperie ne peut lui être reprochée que s'il se trouvait dans une position de garant, à savoir s'il avait, en vertu de la loi, d'un contrat ou d'un rapport de confiance spécial, une obligation de parler. Quant au troisième comportement prévu par la loi, il se distingue des deux précédents en ce sens que l'erreur est préexistante (arrêts 6S.380/2001 du 13 novembre 2001 consid. 2b/aa non publié in <ref-ruling> et les références citées; 6B_446/2018 du 17 juillet 2018 consid. 2.1; 6B_136/2017 du 17 novembre 2017 consid. 3.1).
2.3.2. Se référant à la jurisprudence en matière de contrat de prêt (cf. arrêt 4C.44/2007 du 22 juin 2007 consid. 6), le recourant soutient qu'en sa qualité d'emprunteur, il n'avait pas à informer spontanément le donneur de crédit de sa situation financière. Il fait ainsi valoir que lorsque, comme en l'espèce, la mauvaise situation financière du débiteur est connue, celui-ci n'a a fortiori pas l'obligation d'informer le créancier de l'existence d'autres dettes. En ce sens, il se prévaut du fait que l'intimé 4 connaissait sa mauvaise situation, ayant été informé par ses soins qu'il était " mal pris " et que les montants devaient servir à payer " des dettes d'impôts et des factures en retard ". Quant à l'intimé 2, ce dernier lui aurait expressément laissé le soin de placer le montant versé " comme bon il l'entendait ".
S'il ressort du jugement entrepris que le recourant avait déterminé les intimés à lui octroyer des prêts en évoquant l'existence de dettes fiscales et de " factures en retard " (intimé 4) ou de perspectives de placements avantageuses (intimés 2 et 3), il n'est toutefois pas établi que les intimés savaient que la situation financière du recourant était mauvaise au point que celui-ci avait en réalité prévu d'utiliser leur argent pour rembourser de précédents investisseurs. A cet égard, la cour cantonale a retenu que, s'ils avaient été informés de ce qui précède, les intimés n'auraient pas accepté les propositions du recourant. Ce dernier n'invoque pas une constatation arbitraire des faits sur ce point.
Il apparaît ainsi que le recourant ne s'est pas limité à taire aux intimés l'existence de dettes à l'égard de précédents investisseurs, mais qu'il s'est au contraire employé, par l'évocation de prétendues dettes fiscales, de factures impayées et de possibilités de placement, à leur cacher le réel but de l'affectation des prêts.
En outre, il ressort du jugement entrepris que l'intéressé avait affirmé aux intimés disposer d'une fortune personnelle de plusieurs millions de francs et être ainsi en mesure de garantir le remboursement des montants versés. Or, il a été établi que cela n'était pas conforme à la vérité et que le recourant ne pouvait pas l'ignorer (cf. supra consid. 2.2). Il apparaît dès lors que, pour convaincre les intimés, le recourant a également fait usage d'affirmations fallacieuses propres à les tromper sur ses capacités à rembourser les prêts.
Dans ce contexte, la cour cantonale pouvait retenir sans violer le droit fédéral que le comportement du recourant était constitutif de tromperie.
2.4.
2.4.1. Pour retenir l'escroquerie au sens de l'<ref-law>, une simple tromperie ne suffit pas. Encore faut-il qu'elle puisse être qualifiée d'astucieuse. Il y a astuce lorsque l'auteur recourt à un édifice de mensonges, à des manoeuvres frauduleuses ou à une mise en scène, mais aussi lorsqu'il donne simplement de fausses informations, si leur vérification n'est pas possible, ne l'est que difficilement ou ne peut raisonnablement être exigée, de même que si l'auteur dissuade la dupe de vérifier ou prévoit, en fonction des circonstances, qu'elle renoncera à le faire en raison d'un rapport de confiance particulier (<ref-ruling> consid. 2.2.2 p. 154 s.; <ref-ruling> consid. 5.2 p. 79 ss).
L'astuce n'est pas réalisée si la dupe pouvait se protéger avec un minimum d'attention ou éviter l'erreur avec le minimum de prudence que l'on pouvait attendre d'elle. Il n'est pas nécessaire, pour qu'il y ait escroquerie, que la dupe ait fait preuve de la plus grande diligence et qu'elle ait recouru à toutes les mesures de prudence possibles. La protection n'est pas exclue à chaque imprudence de la dupe, mais seulement dans les cas de négligence qui font passer le comportement frauduleux de l'auteur en arrière-plan. Une responsabilité de la victime excluant la punissabilité de l'auteur de la tromperie ne sera admise que dans des cas exceptionnels (<ref-ruling> consid. 2.2.2 p. 155; <ref-ruling> consid. 5.2 p. 80 s.; <ref-ruling> consid. 3a p. 20).
Une tromperie portant sur la volonté d'exécuter un contrat n'est pas astucieuse dans tous les cas. Il est trop schématique d'affirmer que la volonté affichée est un phénomène intérieur invérifiable et qu'une tromperie relative à cette volonté est toujours astucieuse (<ref-ruling> consid. 2 p. 361; arrêt 6B_584/2018 du 30 août 2018 consid. 2.1). Ainsi, si l'emprunteur qui a l'intention de rembourser son bailleur de fonds n'agit pas astucieusement lorsqu'il ne l'informe pas spontanément de son insolvabilité (<ref-ruling>), il en va en revanche différemment lorsque l'auteur présente une fausse vision de la réalité de manière à dissuader le prêteur de se renseigner sur sa situation financière (BERNARD CORBOZ, Les infractions en droit suisse, 3e éd., 2010, n° 6 ss, spéc. 11) ou lorsque des circonstances particulières font admettre à l'auteur que le prêteur ne posera pas de question sur ce point (<ref-ruling>; arrêt 6P.113/2006 du 27 septembre 2006 consid. 6.1).
2.4.2. En l'occurrence, le recourant ne conteste pas avoir profité de la confiance placée en lui en exploitant, s'agissant de l'intimé 4, des liens d'amitié préexistants et, en ce qui concernent les intimés 2 et 3, des recommandations à son égard émises par des tiers. A l'instar de la déclaration d'impôt dont il s'est prévalu et de l'impression volontairement laissée quant à sa bonne réputation et à son train de vie élevé, il s'agit là d'éléments propres à dissuader les intimés à procéder à de plus amples vérifications sur la situation financière réelle de leur cocontractant et en particulier sur le montant de ses dettes à l'égard d'investisseurs tiers.
Au vu de ce qui précède, la cour cantonale pouvait retenir, sans violer le droit fédéral, que le recourant avait astucieusement trompé les intimés sur sa volonté et ses capacités d'honorer le contrat.
Au surplus, il apparaît que les intimés, induits en erreur par la tromperie astucieuse du recourant, ont subi chacun un dommage équivalant à l'enrichissement illégitime du recourant. Les éléments constitutifs objectifs de l'infraction d'escroquerie sont dès lors réalisés.
2.5. Le recourant revient sur les éléments subjectifs de l'infraction. Il conteste avoir agi par dol éventuel et dans un dessein d'enrichissement illégitime.
2.5.1. Sur le plan subjectif, l'escroquerie est une infraction intentionnelle. L'intention doit porter sur tous les éléments constitutifs de l'infraction. L'auteur doit en outre avoir agi dans le dessein de se procurer ou de procurer à un tiers un enrichissement illégitime correspondant au dommage de la dupe (<ref-ruling> consid. 5.3 p. 213; arrêt 6B_446/2018 précité consid. 2.1). Le dol éventuel suffit et peut être retenu, par exemple, dans l'hypothèse où l'auteur tient le gain pour possible et le veut pour le cas où il se réaliserait. Peu importe à cet égard que ce gain soit incertain ou conditionné par le hasard (<ref-ruling> consid. 4 p. 175; arrêt 6B_51/2017 du 10 novembre 2017 consid. 4.3.1).
2.5.2. Il y a dol éventuel lorsque l'auteur envisage le résultat dommageable et agit, même s'il ne le souhaite pas, parce qu'il s'en accommode pour le cas où il se produirait (<ref-ruling> consid. 4.2.3 p. 4). Parmi les éléments extérieurs permettant de conclure que l'auteur s'est accommodé du résultat dommageable pour le cas où il se produirait figurent notamment la probabilité, connue par l'auteur, de la réalisation du risque et l'importance de la violation du devoir de prudence. Plus celle-ci est grande, plus sera fondée la conclusion que l'auteur, malgré d'éventuelles dénégations, a accepté l'éventualité de la réalisation du résultat dommageable (<ref-ruling> consid. 8.4.1 p. 84; <ref-ruling> consid. 2.3.3 p. 18). Ainsi, le dol éventuel peut notamment être retenu lorsque la réalisation du résultat devait paraître suffisamment vraisemblable à l'auteur pour que son comportement ne puisse raisonnablement être interprété que comme une acceptation de ce risque (<ref-ruling> consid. 4.2.3 p. 4; <ref-ruling> consid. 5.3 p. 226). Peuvent également constituer des éléments extérieurs révélateurs les mobiles de l'auteur et la manière dont il a agi (<ref-ruling> consid. 8.4.1 p. 84).
La négligence consciente se distingue du dol éventuel par l'élément volitif. Alors que celui qui agit par dol éventuel s'accommode du résultat dommageable pour le cas où il se produirait, celui qui agit par négligence consciente escompte - ensuite d'une imprévoyance coupable - que ce résultat, qu'il envisage aussi comme possible, ne se produira pas (<ref-ruling> consid. 8.2 p. 83; <ref-ruling> consid. 4.1 p. 16; <ref-ruling> consid. 8.3 p. 61; <ref-ruling> consid. 3c p. 251).
La distinction entre le dol éventuel et la négligence consciente peut parfois s'avérer délicate, notamment parce que, dans les deux cas, l'auteur est conscient du risque de survenance du résultat. En l'absence d'aveux de la part de l'auteur, la question doit être tranchée en se fondant sur les circonstances extérieures, parmi lesquelles figurent la probabilité, connue de l'auteur, de la réalisation du risque et l'importance de la violation du devoir de prudence. Plus celles-ci sont élevées, plus l'on sera fondé à conclure que l'auteur a accepté l'éventualité de la réalisation du résultat. Peuvent aussi constituer des éléments extérieurs révélateurs, les mobiles de l'auteur et la manière dont il a agi (ATF <ref-ruling> consid. 4.1 p. 16; <ref-ruling> consid. 8.4 p. 62; <ref-ruling> consid. 3c p. 252).
Déterminer ce que l'auteur savait, voulait ou l'éventualité à laquelle il consentait et donc de savoir s'il a agi avec conscience et volonté relève de l'établissement des faits (<ref-ruling> consid. 2.4.1 p. 342). Est en revanche une question de droit celle de savoir si l'autorité cantonale s'est fondée sur une juste conception de la notion de dol éventuel et si elle l'a correctement appliquée au vu des éléments retenus (<ref-ruling> consid. 4.2.3 p. 4 s.; arrêt 6B_953/2017 du 28 mars 2018 consid. 2.1.3).
2.5.3. Sur le plan subjectif, la cour cantonale a retenu, en fait, que le recourant connaissait dès 2007 sa mauvaise situation financière, étant alors dans l'incapacité d'honorer ses dettes à l'égard de précédents investisseurs. Dans ce contexte, il avait déterminé les intimés à lui octroyer des prêts en se prévalant de sa bonne réputation ainsi que de sa fortune personnelle, alors qu'en sa qualité de gestionnaire de fortune expérimenté, il ne pouvait alors pas ignorer que sa fortune était composée pour l'essentiel de placements hautement volatiles et non diversifiés, dont il n'avait aucune raison de compter sur une évolution favorable lui permettant d'améliorer sa situation financière et ainsi de rembourser l'ensemble de ses créanciers. Il était dès lors parfaitement conscient, à partir du moment où il s'était servi de l'argent des intimés pour payer les intérêts ou rembourser le capital d'autres créanciers, qu'il creusait un trou financier qu'il ne pourrait pas être en mesure de combler.
Ces faits, dont le recourant ne démontre pas l'arbitraire (cf. supra consid. 2.2), permettent de retenir que le recourant avait accepté le risque de ne pas pouvoir rembourser les intimés et qu'il s'était ainsi accommodé tant du dommage susceptible de leur être causé que de l'enrichissement illégitime qu'il en tirerait. La cour cantonale pouvait dès lors considérer sans violer le droit fédéral que le recourant avait agi par dol éventuel. Les faits retenus caractérisent également l'existence d'un dessein d'enrichissement illégitime. Peu importe à cet égard que le gain envisagé au moment des prêts était alors incertain (<ref-ruling> consid. 4 p. 175; arrêt 6B_51/2017 précité consid. 4.3.1).
2.6. Enfin, l'importance des montants détournés et le nombre de cas survenus pendant plusieurs années permettent de considérer que le recourant a exercé son activité délictueuse par métier (<ref-law>; <ref-ruling> consid. 3b p. 329 s.; arrêt 6B_1311/2017 du 23 août 2018 consid. 3.3).
2.7. En définitive, la condamnation du recourant pour escroquerie par métier ne viole pas le droit fédéral.
3.
Le recourant conteste ensuite la quotité de la peine qui lui a été infligée.
3.1. L'<ref-law> prévoit que le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2). La culpabilité de l'auteur doit être évaluée en fonction de tous les éléments objectifs pertinents, qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution. Du point de vue subjectif, sont pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur. A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même, à savoir les antécédents, la réputation, la situation personnelle (état de santé, âge, obligations familiales, situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (<ref-ruling> consid. 9.1 p. 147; <ref-ruling> consid. 6.1.1 p. 66 s.; arrêt 6B_654/2018 du 5 septembre 2018 consid. 3.1).
Lors de la fixation de la peine, le juge doit ainsi tenir compte du fait que certains délinquants sont plus durement touchés par l'exécution d'une peine privative de liberté. L'âge et le mauvais état de santé du délinquant font partie des éléments qui peuvent le rendre plus vulnérable face à la peine. La vulnérabilité face à la peine ne doit toutefois être retenue comme circonstance atténuante que si elle rend la sanction considérablement plus dure que pour la moyenne des autres condamnés, par exemple en présence de maladies graves (cf. arrêt 6B_14/2007 du 17 avril 2007 consid. 6.4 et les références citées; plus récemment 6B_71/2016 du 5 avril 2017 consid. 4.2).
Le juge dispose d'un large pouvoir d'appréciation dans le cadre de la fixation de la peine. Le Tribunal fédéral n'intervient que lorsque l'autorité cantonale a fixé une peine en dehors du cadre légal, si elle s'est fondée sur des critères étrangers à l'<ref-law>, si des éléments d'appréciation importants n'ont pas été pris en compte ou, enfin, si la peine prononcée est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 5.6 p. 61; arrêt 6B_157/2017 du 25 octobre 2017 consid. 4.1). L'exercice de ce contrôle suppose que le juge exprime, dans sa décision, les éléments essentiels relatifs à l'acte ou à l'auteur dont il tient compte, de manière à ce que l'on puisse constater que tous les aspects pertinents ont été pris en considération et comment ils ont été appréciés, que ce soit dans un sens aggravant ou atténuant (<ref-law>; <ref-ruling> consid. 2.1 p. 20 et les arrêts cités). Le juge peut passer sous silence les éléments qui, sans abus du pouvoir d'appréciation, lui apparaissent non pertinents ou d'une importance mineure. La motivation doit justifier la peine prononcée, en permettant de suivre le raisonnement adopté. Un recours ne saurait toutefois être admis simplement pour améliorer ou compléter un considérant lorsque la décision rendue apparaît conforme au droit (<ref-ruling> consid. 5.6 p. 61; arrêt 6B_111/2015 précité consid. 2.2, non publié aux <ref-ruling>).
3.2. En première instance, le Tribunal correctionnel de l'arrondissement de La Côte a estimé que la culpabilité du recourant devait être qualifiée de relativement lourde. L'intéressé n'avait ainsi pas hésité à s'en prendre à des personnes, notamment des amis, qui lui confiaient leur capital de retraite et pour lesquels les conséquences de ses actes avaient été désastreuses sur le plan financier. Il fallait également relever la longue période durant laquelle il avait agi, alors qu'il ne pouvait que se rendre compte qu'il prenait des risques démesurés en fondant ses perspectives de remboursement essentiellement sur des produits financiers volatiles. Agissant avec orgueil et ne voulant pas détériorer son image, le recourant avait mis en place un système habilement orchestré, qui lui permettait d'éviter des demandes de remboursement, tout en satisfaisant ses clients les plus exigeants grâce à la fortune apportée par de nouveaux clients. A décharge, il fallait retenir que le recourant n'avait pas directement profité des montants perçus dans la mesure où il les avait utilisés pour rembourser des clients. Il avait par ailleurs parfaitement collaboré à l'enquête et paraissait s'être rendu compte de la gravité de ses actes, ayant exprimé des regrets qui avaient paru sincères et ayant présenté des excuses aux lésés. Enfin, les actes en cause, commis entre 2007 et 2013, étaient relativement anciens.
La Cour d'appel pénale a considéré qu'en sus des éléments retenus par le Tribunal correctionnel, il devait être encore tenu compte, à décharge, de l'âge du recourant ainsi que de son état de santé précaire, qui le rendaient vulnérable face à une peine privative de liberté. Cette circonstance ne justifiait toutefois pas de réduire la peine de 30 mois infligée au recourant par l'autorité de première instance, dès lors que sa culpabilité demeurait relativement lourde au regard de l'importance des montants escroqués et des conséquences désastreuses de ses agissements sur les lésés.
3.3. En tant que le grief du recourant présuppose son acquittement partiel du chef d'accusation d'escroquerie par métier, celui-ci est sans objet.
3.4. Le recourant fait grief à la cour cantonale de ne pas avoir tenu compte qu'au vu de son état de santé déficient, l'exécution d'une peine privative de liberté était propre à engager son pronostic vital. Il se prévaut à cet égard d'une attestation médicale datée du 8 février 2018 qu'il avait produite au dossier cantonal (cf. P. 188). Il reproche également à la cour cantonale de n'avoir que partiellement tenu compte du certificat médical produit le 7 juillet 2017 et qui mentionnait que " l'exposition du patient au stress était à limiter au maximum, le risque de récidive d'accident vasculaire cérébral n'étant loin s'en faut pas nul ".
Au moment d'établir que le recourant était fondé à se prévaloir d'une vulnérabilité particulière face à la peine compte tenu de sa situation personnelle, la cour cantonale a notamment relevé que le recourant, âgé de 72 ans, avait rencontré plusieurs problèmes médicaux au cours des dernières années, l'intéressé ayant subi en particulier l'ablation d'un rein et un accident vasculaire cérébral, qui avait entraîné une perte d'acuité visuelle. Un cancer de la prostate nécessitant une surveillance fréquente lui avait en outre été diagnostiqué.
La cour cantonale a ainsi décrit l'état de santé du recourant de manière suffisamment circonstanciée, sans qu'il fût encore nécessaire de préciser que les affections subies étaient de nature à compromettre son espérance de vie. Il est en outre observé que les attestations médicales dont se prévaut le recourant ne précisent pas concrètement en quoi sa vie serait menacée par le prononcé d'une peine privative de liberté - dont la durée à exécuter est en l'occurrence compatible avec le régime de la semi-détention (<ref-law>) -, ni en quoi les dispositifs médicaux ordinairement mis en place par l'autorité chargée de l'exécution des peines ne suffiraient pas à préserver sa santé. Du reste, comme l'a relevé la cour cantonale, c'est en définitive à l'autorité d'exécution des peines qu'il appartiendra d'examiner si l'état de santé du recourant est compatible avec la détention.
Le recourant ne parvient ainsi pas à démontrer que la cour cantonale n'a pas suffisamment tenu compte des effets de la peine sur sa situation personnelle.
3.5. Le recourant reproche enfin à la cour cantonale de n'avoir tiré aucune conséquence de sa vulnérabilité face à la peine sur la durée de celle-ci, maintenue à 30 mois, alors que l'autorité de première instance n'avait pas retenu cette circonstance à décharge. Il y voit une violation de l'<ref-law>.
3.5.1. L'art. 391 al. 2, 1ère phrase, CPP prévoit que l'autorité de recours ne peut modifier une décision au détriment du prévenu ou du condamné si le recours a été interjeté uniquement en leur faveur. Cette disposition consacre le principe de la prohibition de la reformatio in pejus, dont le but est de permettre au prévenu d'exercer son droit de recours sans craindre de voir le jugement modifié en sa défaveur. L'existence d'une reformatio in pejus doit être examinée à l'aune du dispositif. Il n'est en revanche pas interdit à l'autorité de recours de s'exprimer dans ses considérants sur la qualification juridique lorsque l'autorité précédente s'est fondée sur un autre état de fait ou des considérations juridiques erronées (<ref-ruling> consid. 4.5 p. 136; <ref-ruling> consid. 2.7.3 p. 140).
3.5.2. En l'espèce, la cour cantonale n'a pas aggravé la sanction prononcée à l'égard du recourant, dès lors qu'elle a confirmé la peine privative de liberté de 30 mois fixée par l'autorité de première instance. On ne discerne dès lors pas de violation de la prohibition de la reformatio in pejus, celle-ci devant être examinée à l'aune du dispositif et non des considérants de la décision.
Au surplus, en expliquant, au moment d'évaluer la culpabilité du recourant, qu'il se justifiait d'accorder un poids particulier à l'importance des montants détournés et aux conséquences de ses actes sur la situation des lésés, l'autorité précédente a suffisamment exposé les motifs pour lesquels une peine de 30 mois demeurait adéquate malgré la vulnérabilité du recourant face à la peine.
3.6. En définitive, il ressort du jugement entrepris que l'autorité précédente a procédé à sa propre appréciation de la peine infligée au recourant, sans que l'on puisse lui faire grief d'avoir méconnu le cadre légal de la peine encourue, de s'être fondée sur des critères étrangers à l'<ref-law> ou d'avoir méconnu des éléments d'appréciation importants. Les griefs formulés par le recourant au sujet de la quotité de la peine sont dès lors infondés.
4.
Il s'ensuit que le recours doit être rejeté dans la mesure où il est recevable. Comme les conclusions du recours étaient dépourvues de chances de succès, l'assistance judiciaire ne peut pas être accordée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 23 octobre 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Tinguely