Faits:
A. A._ a été renvoyé en jugement devant le Tribunal correctionnel de l'arrondissement de Lausanne (ci-après: le Tribunal correctionnel) pour menaces, contrainte, contrainte sexuelle, viol subsidiairement actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, désagréments causés par la confrontation à un acte d'ordre sexuel et infraction à la loi fédérale sur les étrangers. Par jugement du 15 novembre 2011, le Tribunal correctionnel a libéré A._ des chefs d'accusation précités, à l'exception de l'infraction à la loi fédérale sur les étrangers. Pour cette infraction, le prénommé a été condamné à une peine pécuniaire de soixante jours-amende à 10 fr., assortie du suris et d'un délai d'épreuve de deux ans. Le Ministère public de l'arrondissement de Lausanne (ci-après: le Ministère public) et B._ ont formé appel contre ce jugement.
Le 7 mars 2012, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud (ci-après: la Cour d'appel pénale) a admis ces appels et réformé le jugement du Tribunal correctionnel dans le sens d'une condamnation de A._ à une peine privative de liberté de quarante mois pour contrainte sexuelle, viol et infraction à la loi fédérale sur les étrangers. Elle a également ordonné l'arrestation immédiate et la détention de A._ pour des motifs de sûreté. Seul le dispositif du jugement de la Cour d'appel pénale a été notifié le 8 mars 2012, le jugement d'appel complet ayant été expédié le 28 mars 2012.
B. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral de réformer ce jugement en ce sens qu'il est libéré des chefs d'accusation susmentionnés à l'exception de l'in-fraction à la loi fédérale sur les étrangers. Il sollicite l'octroi de l'assistance judiciaire. Il présente en outre une demande d'effet suspensif et une requête de mise en liberté provisoire. Le Ministère public et la Cour d'appel pénale ont été invités à se déterminer sur ce dernier point. Au terme de ses observations, le Ministère public conclut au rejet de la demande d'effet suspensif et de mise en liberté. Quant à la Cour d'appel pénale, elle se réfère au procès-verbal de l'audience d'appel, qui mentionne que A._ est placé en détention pour des motifs de sûreté en raison de ses attaches insuffisantes avec la Suisse. Le recourant a présenté des observations complémentaires.
C. Les considérants du jugement sur appel du 7 mars 2012 ont été expédiés le 28 mars 2012. Le recourant s'est déterminé devant la Cour de céans sur le considérant relatif à l'arrestation immédiate et à la détention pour des motifs de sûreté.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43; <ref-ruling> consid. 1 p. 331 et les arrêts cités).
1.1 La requête d'effet suspensif et de mise en liberté provisoire contenue dans le recours doit être comprise comme un recours contre la décision d'arrestation immédiate et de mise en détention pour des motifs de sûreté. Selon l'<ref-law>, le recours en matière pénale est ouvert contre les décisions rendues en matière pénale, dont font partie les décisions relatives à la détention provisoire ou pour des motifs de sûreté au sens des <ref-law> (<ref-ruling> consid. 1 p. 23).
1.2 La décision attaquée a été rendue en dernière instance cantonale et ne peut faire l'objet que d'un recours au Tribunal fédéral. Il en va de même si l'on considère la mise en détention du recourant comme une décision séparée de la juridiction d'appel, une telle décision n'étant pas sujette à recours sur le plan cantonal. La condition de recevabilité de l'<ref-law> est donc réalisée.
1.3 Pour le surplus, l'accusé a qualité pour agir en vertu de l'art. 81 al. 1 let. a et let. b ch. 1 LTF, le recours est formé en temps utile (<ref-law>) et les conclusions présentées sont recevables au regard de l'<ref-law>. Il y a donc lieu d'entrer en matière sur le recours en tant qu'il porte sur l'arrestation immédiate et la mise en détention pour des motifs de sûreté. Le présent arrêt se limite à ces questions, les autres éléments du dispositif de l'arrêt attaqué étant de la compétence de la Cour de droit pénal du Tribunal fédéral, qui statuera dans une procédure distincte (cf. art. 29 al. 3 et art. 33 du règlement du Tribunal fédéral [RTF; RS 173.110.131]).
2. La décision d'arrestation et de mise en détention du 7 mars 2012 ne comportait aucune motivation écrite, le jugement complet ayant été notifié trois semaines plus tard. Il convient de déterminer en premier lieu si cette façon de procéder est conforme aux exigences de l'<ref-law>, en relation notamment avec l'art. 29 al. 2 Cst. et les art. 3 al. 2 let. c et 226 al. 2 CPP. Le Tribunal fédéral peut examiner d'office et librement ces questions (cf. <ref-law>; <ref-ruling> consid. 2.5 p. 73 s.; <ref-ruling> consid. 8.2 p. 153; arrêts 1B_259/2009 du 17 septembre 2009 consid. 3, 1B_379/2011 du 2 août 2011 consid. 1 et les références).
2.1 Préliminairement, il y a lieu de relever que la décision d'arrestation immédiate et de mise en détention pour des motifs de sûreté peut se fonder sur l'<ref-law>, la condamnation du recourant à une peine privative de liberté de quarante mois constituant un motif de détention apparu en cours de procédure au sens de l'alinéa premier de cette disposition. La compétence pour rendre une décision en application de l'<ref-law> appartient en principe à la direction de la procédure, soit en l'espèce le président de la juridiction d'appel. Cela étant, rien ne s'oppose à ce que ce soit la juridiction in corpore qui statue sur ce point, dans le cadre du jugement sur appel.
2.2 Conformément à l'<ref-law>, les décisions qui peuvent faire l'objet d'un recours devant le Tribunal fédéral sont notifiées par écrit et elles doivent contenir "les motifs déterminants de fait et de droit" (let. b). Les décisions de mise en détention pour des motifs de sûreté prises en application de l'<ref-law> sont en outre soumises aux exigences de l'<ref-law>, applicable par analogie (arrêt 1B_564/2011 du 27 octobre 2011 consid. 3.1 et les références citées). Cette norme prévoit que le tribunal communique immédiatement et verbalement sa décision au ministère public, au prévenu et à son défenseur, ou par écrit si ceux-ci sont absents. Elle exige en outre que la décision portant sur la détention soit notifiée par écrit et brièvement motivée. Les exigences de motivation des décisions ont été déduites du droit d'être entendu, garanti par l'art. 29 al. 2 Cst. et l'art. 3 al. 2 let. c CPP. Selon la jurisprudence, le juge est tenu de motiver ses décisions, afin que le justiciable puisse les comprendre et exercer ses droits de recours à bon escient. Le juge doit ainsi mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Il n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 4.1 p. 88 et les arrêts cités).
2.3 En l'espèce, l'arrestation immédiate du recourant et sa mise en détention pour des motifs de sûreté ont été ordonnées dans le dispositif du jugement sur appel rendu le 7 mars 2012, dont les considérants n'ont pas été notifiés immédiatement. Il ressort certes du procès-verbal de l'audience d'appel que le condamné a été placé en détention pour des motifs de sûreté "en raison de ses attaches insuffisantes avec la Suisse". Il n'est cependant pas établi que ce document a été notifié régulièrement au recourant. Au demeurant, la motivation qu'il comporte est manifestement insuffisante au regard des exigences relevant du droit d'être entendu exposées précédemment. En effet, même si l'on peut déduire du procès-verbal en question que la Cour d'appel pénale retenait implicitement l'existence d'un risque de fuite au sens de l'<ref-law>, le recourant ignorait sur quels éléments se fondait cette appréciation. Une motivation complémentaire, même succincte, apparaissait pourtant nécessaire, notamment parce qu'il ressort du jugement de première instance que le recourant a certains liens avec la Suisse. En définitive, l'intéressé a été détenu pour des motifs de sûreté pendant plus de trois semaines sans qu'aucune motivation écrite suffisante de la mise en détention ne lui soit parvenue. Il y a donc eu, durant cette période, violation de l'<ref-law> et des art. 3 al. 2 let. c et 226 al. 2 CPP en relation avec l'art. 29 al. 2 Cst., ces dispositions exigeant qu'une décision de mise en détention soit notifiée par écrit et au moins sommairement motivée.
2.4 Malgré les violations précitées, un renvoi de la décision à l'autorité cantonale en application de l'<ref-law> ne se justifie plus, dans la mesure où le jugement complet a été expédié le 28 mars 2012. Le considérant 7 dudit jugement comporte en effet une motivation suffisante quant à la mesure de détention ordonnée et le recourant, qui n'invoque aucun grief relatif au droit d'être entendu, a pu se déterminer à cet égard dans la procédure devant le Tribunal fédéral. Cela étant, à l'instar de la violation de certains délais procéduraux, la violation des art. 3 al. 2 let. c et 226 al. 2 CPP en relation avec l'art. 29 al. 2 Cst. peut être réparée - au moins partiellement - par une constatation de celle-ci, une admission partielle du recours sur ce point et l'octroi de pleins dépens au recourant (cf. <ref-ruling> consid. 2.2 in fine p. 121 s. et les références citées).
2.5 Il convient encore de préciser ce qui suit pour les cas où la juridiction d'appel ordonne, dans le cadre de son jugement sur appel, l'arrestation du condamné et son placement en détention pour des motifs de sûreté. Pour satisfaire aux exigences susmentionnées, la juridiction d'appel doit communiquer immédiatement et verbalement sa décision au ministère public, au prévenu et à son défenseur, ou par écrit si ceux-ci sont absents. Elle est en outre tenue de rendre sur ce point une décision écrite et au moins sommairement motivée (cf. <ref-law>). Il n'est pas suffisant de prononcer une telle mesure dans le dispositif du jugement sur appel, dès lors que la motivation de ce jugement n'est pas notifiée immédiatement. Il y a donc lieu de rendre une décision séparée sur la détention, de sorte que le condamné soit en mesure de contester utilement cette mesure devant la Cour de céans. Conformément à la jurisprudence relative à l'<ref-law>, on peut admettre que cette décision soit notifiée après l'audience (cf. arrêt 1B_564/2011 précité consid. 3.1 et les références). Compte tenu des enjeux pour le condamné et du caractère sommaire de la motivation exigée, la décision devra cependant être expédiée dans les plus brefs délais.
3. Pour le surplus, l'arrestation immédiate du recourant et son placement en détention pour des motifs de sûreté sont motivés par l'existence d'un risque de fuite, contesté par le recourant.
3.1 Conformément à l'<ref-law>, la détention pour des motifs de sûreté peut être ordonnée s'il y a sérieusement lieu de craindre que le prévenu se soustraie à la procédure pénale ou à la sanction prévisible en prenant la fuite. Selon la jurisprudence, le risque de fuite doit s'analyser en fonction d'un ensemble de critères tels que le caractère de l'intéressé, sa moralité, ses ressources, ses liens avec l'État qui le poursuit ainsi que ses contacts à l'étranger, qui font apparaître le risque de fuite non seulement possible, mais également probable (<ref-ruling> consid. 4a p. 70 et la jurisprudence citée). La gravité de l'infraction ne peut pas, à elle seule, justifier la prolongation de la détention, même si elle permet souvent de présumer un danger de fuite en raison de l'importance de la peine dont le prévenu est menacé (<ref-ruling> consid. 3a p. 62; <ref-ruling> consid. 4a p. 70; <ref-ruling> consid. 3 p. 67). Il est sans importance que l'extradition du prévenu puisse être obtenue (<ref-ruling> consid. 3d p. 36 s.).
3.2 La Cour d'appel pénale estime que le risque de fuite est concret. Elle fonde son appréciation sur le statut du recourant en Suisse et sur le fait qu'il est sans emploi, de sorte qu'il lui serait facile de quitter le pays ou d'entrer dans la clandestinité, l'intéressé ayant d'ailleurs effectué de nombreux aller-retour avec le Kosovo. La juridiction d'appel relève en outre que le recourant ne s'était pas présenté lors de la lecture du jugement de première instance et qu'il a constamment nié les faits qui lui sont reprochés, si bien qu'il est vraisemblable qu'il tentera d'échapper à une sanction à laquelle il semble dénier toute pertinence, ce risque étant aggravé par l'importance de la peine prononcée. Le recourant ne remet pas en cause cette appréciation de manière convaincante. Il se prévaut de "nombreuses attaches" en Suisse, sans donner davantage d'indications à cet égard. Il soutient par ailleurs être resté en Suisse durant toute la procédure et avoir assisté aux différentes audiences, alors même qu'il était au courant des risques qu'il encourait. Il ne conteste cependant pas avoir fait défaut à la lecture du jugement de première instance, alors que le ministère public avait requis en vain son arrestation. Cet élément éveille certains doutes quant à sa volonté de se soumettre à la sanction encourue. De plus, l'intéressé est désormais conscient de l'ampleur de cette sanction, devenue bien plus concrète depuis sa condamnation en appel à une peine privative de liberté de quarante mois. Dans ces conditions, c'est à juste titre que la juridiction d'appel a retenu qu'il existait un risque sérieux de voir le recourant prendre la fuite ou disparaître dans la clandestinité pour échapper à cette sanction, de sorte que le recours doit être rejeté sur ce point.
4. Il s'ensuit que le recours doit être admis partiellement. Il est constaté que la notification tardive d'une décision écrite motivant la mise en détention pour des motifs de sûreté viole les art. 3 al. 2 let. c et 226 al. 2 CPP en relation avec l'art. 29 al. 2 Cst. La demande de mise en liberté immédiate est rejetée. Le présent arrêt peut être rendu sans frais (<ref-law>). Le recourant, qui obtient partiellement gain de cause avec l'assistance d'un avocat, a droit à des dépens, à la charge de l'Etat de Vaud (<ref-law>). Dans ces conditions, sa demande d'assistance judiciaire est sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis partiellement. Il est constaté que la notification tardive d'une décision écrite motivant la mise en détention du recourant pour des motifs de sûreté viole les art. 3 al. 2 let. c et 226 al. 2 CPP en relation avec l'art. 29 al. 2 Cst.
2. La demande de mise en liberté est rejetée.
3. Il n'est pas perçu de frais judiciaires.
4. Une indemnité de 2'000 fr. est allouée au conseil du recourant à titre de dépens, à la charge de l'Etat de Vaud.
5. Le présent arrêt est communiqué au mandataire du recourant, au Ministère public de l'arrondissement de Lausanne, par le Ministère public central du canton de Vaud, et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 19 avril 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Rittener