Faits : A. Par ordonnance pénale du 16 mars 2012, le Ministère public de l'arrondissement de La Côte a reconnu X._ coupable d'infraction et de contravention à la LStup et d'infraction à la LEtr et l'a condamné à 90 jours-amende, le montant du jour-amende étant fixé à 10 fr., avec sursis pendant 2 ans, ainsi qu'à une amende de 400 fr., convertible en 40 jours de peine privative de liberté de substitution en cas de non-paiement fautif. B. X._ a formé opposition contre cette ordonnance pénale le 1 er avril 2014. Par prononcé du 15 juillet 2014, le Tribunal de police de l'arrondissement de La Côte a déclaré l'opposition irrecevable pour tardiveté. C. Par arrêt du 24 juillet 2014, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de X._ contre le prononcé précité. Elle a également rejeté la demande d'assistance judiciaire formée par ce dernier, au motif que le recours était d'emblée dénué de chances de succès. D. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt, concluant, avec suite de frais et dépens, à son annulation et au renvoi de la cause à la cour cantonale pour nouvelle décision. Il sollicite par ailleurs l'assistance judiciaire. Invitée à se déterminer sur le recours, la cour cantonale a précisé sa jurisprudence en matière de désignation d'un défenseur d'office et s'est, pour le surplus, référée aux considérants de son arrêt. Le ministère public a renoncé à déposer des déterminations et s'est également référé à l'arrêt cantonal.