Faits: A. A._ a été renvoyé en jugement devant le Tribunal correctionnel de l'arrondissement de Lausanne (ci-après: le Tribunal correctionnel) pour menaces, contrainte, contrainte sexuelle, viol subsidiairement actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, désagréments causés par la confrontation à un acte d'ordre sexuel et infraction à la loi fédérale sur les étrangers. Par jugement du 15 novembre 2011, le Tribunal correctionnel a libéré A._ des chefs d'accusation précités, à l'exception de l'infraction à la loi fédérale sur les étrangers. Pour cette infraction, le prénommé a été condamné à une peine pécuniaire de soixante jours-amende à 10 fr., assortie du suris et d'un délai d'épreuve de deux ans. Le Ministère public de l'arrondissement de Lausanne (ci-après: le Ministère public) et B._ ont formé appel contre ce jugement. Le 7 mars 2012, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud (ci-après: la Cour d'appel pénale) a admis ces appels et réformé le jugement du Tribunal correctionnel dans le sens d'une condamnation de A._ à une peine privative de liberté de quarante mois pour contrainte sexuelle, viol et infraction à la loi fédérale sur les étrangers. Elle a également ordonné l'arrestation immédiate et la détention de A._ pour des motifs de sûreté. Seul le dispositif du jugement de la Cour d'appel pénale a été notifié le 8 mars 2012, le jugement d'appel complet ayant été expédié le 28 mars 2012. B. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral de réformer ce jugement en ce sens qu'il est libéré des chefs d'accusation susmentionnés à l'exception de l'in-fraction à la loi fédérale sur les étrangers. Il sollicite l'octroi de l'assistance judiciaire. Il présente en outre une demande d'effet suspensif et une requête de mise en liberté provisoire. Le Ministère public et la Cour d'appel pénale ont été invités à se déterminer sur ce dernier point. Au terme de ses observations, le Ministère public conclut au rejet de la demande d'effet suspensif et de mise en liberté. Quant à la Cour d'appel pénale, elle se réfère au procès-verbal de l'audience d'appel, qui mentionne que A._ est placé en détention pour des motifs de sûreté en raison de ses attaches insuffisantes avec la Suisse. Le recourant a présenté des observations complémentaires. C. Les considérants du jugement sur appel du 7 mars 2012 ont été expédiés le 28 mars 2012. Le recourant s'est déterminé devant la Cour de céans sur le considérant relatif à l'arrestation immédiate et à la détention pour des motifs de sûreté.