Faits:
A. Par jugement du 4 février 2009, la 2ème Chambre pénale de la Cour suprême du canton de Berne, statuant sur appel d'un jugement rendu le 7 juillet 2008 par le Président 10 de l'Arrondissement judiciaire II Bienne-Nidau, a condamné X._, pour infraction à l'art. 23 al. 1 4ème phrase LSEE et infraction à l'art. 115 al. 1 let. b LEtr, à une peine privative de liberté de 4 mois et 15 jours.
B. Ce jugement retient, en résumé, ce qui suit.
B.a X._, qui se dit ressortissant angolais, a déposé une requête d'asile en Suisse, laquelle a été rejetée en dernière instance le 13 juin 2005. Par décision du 15 juin 2005, le Tribunal administratif fédéral lui a imparti un délai jusqu'au 9 août 2005 pour quitter le pays. Il ne s'est toutefois pas plié à cette injonction. Il a ainsi séjourné en Suisse, sans autorisation valable, du 10 août 2005 au 7 juillet 2008. Au cours de cette période, il a été brièvement mis en détention, du 14 au 23 avril 2008, en vue de son refoulement.
B.b Au terme d'une appréciation des preuves, il a été retenu que, bien que dûment informé du rejet de sa requête d'asile et de son devoir de quitter la Suisse le 9 août 2005 au plus tard, le prévenu avait délibérément décidé de ne pas se conformer à ces décisions. Depuis le 10 août 2005, il avait, avec conscience et volonté, continué à séjourner dans le pays sans être au bénéfice d'un titre de séjour. Il s'était mis de manière délibérée dans l'impossibilité de le quitter, en omettant toute démarche sérieuse en vue de l'obtention des papiers nécessaires. Il ne cachait d'ailleurs pas qu'il n'était pas disposé à quitter la Suisse.
B.c Le prévenu a été reconnu coupable d'infraction à l'art. 23 al. 1 4ème phrase LSEE du fait d'avoir séjourné illégalement en Suisse du 10 août 2005 au 31 décembre 2007. A raison du même comportement, il a été reconnu coupable d'infraction à l'art. 115 al. 1 let. b LEtr pour la période allant du 1er janvier 2008, date à partir de laquelle la LSEE a été remplacée par la LEtr, au 13 avril 2008 et celle allant du 24 avril 2008 au 7 juillet 2008.
B.d Estimant que les conditions de l'octroi d'un sursis n'étaient pas réalisées et que la possibilité de prononcer une peine pécuniaire ou un travail d'intérêt général devait être écartée, l'autorité cantonale a jugé que seule une peine privative de liberté de courte durée, au sens de l'<ref-law>, entrait en considération et que celle, de 4 mois et 15 jours, prononcée en première instance était adéquate et devait donc être maintenue.
C. X._ forme un recours en matière pénale au Tribunal fédéral. Contestant le bien-fondé de sa condamnation et se plaignant du refus du sursis, il conclut à l'annulation du jugement attaqué et à son acquittement, subsidiairement au renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite l'assistance judiciaire.
Des déterminations n'ont pas été requises.

Considérant en droit:
1. S'agissant des infractions qui lui sont reprochées, le recourant ne soulève pas formellement de griefs clairs. De sa motivation, on est toutefois fondé à déduire qu'il conteste avoir agi intentionnellement, plus précisément avoir eu conscience du caractère illégal de son comportement, qu'il estime que l'illégalité de ce dernier est même contestable dans son principe, vu la tolérance des autorités et l'impossibilité pour lui de quitter la Suisse, et qu'il devait au moins être admis qu'il était de bonne foi. Il résulte par ailleurs de son mémoire, que le recourant se plaint de ce que la peine infligée n'ait pas été assortie du sursis.
1.1 Le recourant ne saurait contester que, depuis l'échéance du délai qui lui a été imparti pour quitter la Suisse après le rejet de sa demande d'asile, il réside illégalement dans le pays, faute de toute autorisation d'y séjourner, et que son comportement est donc constitutif de l'infraction réprimée par l'art. 23 al. 1 4ème phrase LSEE, respectivement par l'art. 115 al. 1 let. b LEtr. Dans la mesure où il argue de la tolérance des autorités et de l'impossibilité pour lui de quitter le pays, sa critique est vaine. Selon les faits retenus, dont l'arbitraire n'est pas allégué et moins encore démontré conformément aux exigences de motivation de l'<ref-law> (cf. <ref-ruling> consid. 1.4 p. 287), il s'est délibérément mis dans l'impossibilité de quitter le pays, en omettant toute démarche qui eût permis l'exécution des décisions rendues en matière d'asile. A plus forte raison, ne peut-il, dans ces conditions, se prévaloir de sa bonne foi. De fait, il est établi que le recourant persiste depuis des années dans une attitude consistant à faire obstruction par tous les moyens à l'exécution des décisions rendues à son encontre. Il est non moins clairement établi qu'il a agi consciemment et volontairement, comme l'a constaté l'autorité cantonale au terme d'une appréciation des preuves, dont l'arbitraire, là encore, n'est même pas allégué. En tant qu'il vise à faire admettre que le comportement du recourant serait licite ou, du moins que ce dernier pouvait croire qu'il l'était, le recours, dont l'argumentation repose largement sur une rediscussion des faits, ne peut dès lors qu'être rejeté, dans la mesure où il est recevable.
1.2 Des faits retenus, il résulte que le recourant ne s'est jamais départi d'un comportement visant à faire échouer l'exécution des décisions relatives à sa présence en Suisse et qu'il n'a aucune intention de changer d'attitude, au contraire. En concluant, sur la base de ce constat, à un pronostic défavorable et en niant par conséquent que les conditions de l'octroi d'un sursis soient réunies, l'autorité cantonale n'a dès lors pas violé le droit fédéral.
Au reste, en l'absence de tout grief quant à la nature de la peine et à sa quotité, il n'y a pas lieu d'examiner ces questions.
2. Le recours doit ainsi être rejeté dans la mesure où il est recevable. Comme ses conclusions étaient d'emblée vouées à l'échec, l'assistance judiciaire ne peut être accordée (cf. <ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois arrêté en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour suprême du canton de Berne, 2ème Chambre pénale.
Lausanne, le 21 juillet 2009
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Angéloz