Faits: Faits: A. Entre décembre 1997 et juillet 1998, X._ s'est livré à plusieurs opérations financières risquées en se faisant remettre par différents investisseurs des centaines de milliers de francs qu'il a injectés dans des placements à caractère hautement spéculatif. Dans ce contexte, X._ a à plusieurs reprises pris lui-même contact avec des investisseurs potentiels afin de les convaincre de lui verser d'importantes sommes d'argent, en leur garantissant un taux de rendement important. Des montants considérables ont ainsi été soit irrémédiablement perdus par la négligence de X._ soit volontairement dépensés à des fins personnelles par celui-ci, qui persistait néanmoins à faire croire aux investisseurs concernés que leur argent fructifiait et que le produit de leurs placements serait rapidement disponible. A. Entre décembre 1997 et juillet 1998, X._ s'est livré à plusieurs opérations financières risquées en se faisant remettre par différents investisseurs des centaines de milliers de francs qu'il a injectés dans des placements à caractère hautement spéculatif. Dans ce contexte, X._ a à plusieurs reprises pris lui-même contact avec des investisseurs potentiels afin de les convaincre de lui verser d'importantes sommes d'argent, en leur garantissant un taux de rendement important. Des montants considérables ont ainsi été soit irrémédiablement perdus par la négligence de X._ soit volontairement dépensés à des fins personnelles par celui-ci, qui persistait néanmoins à faire croire aux investisseurs concernés que leur argent fructifiait et que le produit de leurs placements serait rapidement disponible. B. Par jugement du 3 juillet 2003, le Tribunal correctionnel de la Côte a notamment condamné X._, pour abus de confiance, à la peine de 18 mois d'emprisonnement. B. Par jugement du 3 juillet 2003, le Tribunal correctionnel de la Côte a notamment condamné X._, pour abus de confiance, à la peine de 18 mois d'emprisonnement. C. Le 10 décembre 2003, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre ce jugement, qu'elle a confirmé. S'agissant du refus de mettre le condamné au bénéfice du sursis, la cour cantonale a estimé d'une part que l'autorité de première instance n'avait pas méconnu le fait que le condamné n'avait pas d'antécédents judiciaires et d'autre part que les doutes émis dans le jugement attaqué quant à la prise de conscience de X._ et ses perspectives d'amendement étaient parfaitement justifiés eu égard à l'attitude de l'intéressé tout au long de la procédure et au peu d'efforts consentis par lui pour réparer, fût-ce de manière très partielle, le dommage causé à ses victimes. S'agissant du refus de mettre le condamné au bénéfice du sursis, la cour cantonale a estimé d'une part que l'autorité de première instance n'avait pas méconnu le fait que le condamné n'avait pas d'antécédents judiciaires et d'autre part que les doutes émis dans le jugement attaqué quant à la prise de conscience de X._ et ses perspectives d'amendement étaient parfaitement justifiés eu égard à l'attitude de l'intéressé tout au long de la procédure et au peu d'efforts consentis par lui pour réparer, fût-ce de manière très partielle, le dommage causé à ses victimes. D. X._ forme un pourvoi en nullité contre cet arrêt. Invoquant une violation de l'art. 41 CP, il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau. Il soutient que l'appréciation d'ensemble à laquelle devait procéder l'autorité cantonale n'a pas été effectuée correctement et notamment qu'une importance excessive a été accordée au fait qu'il n'avait pas remboursé les personnes qui avaient été lésées par ses agissements. Le recourant sollicite en outre l'effet suspensif ainsi que l'assistance judiciaire. Le recourant sollicite en outre l'effet suspensif ainsi que l'assistance judiciaire. E. L'autorité cantonale a renoncé à se déterminer sur le pourvoi, se référant aux considérants de son arrêt.