Nach Einsicht
in die Beschwerde gemäss Art. 72 ff. BGG gegen den Beschluss vom 23. März 2011 des Obergerichts des Kantons Zürich, das auf eine Berufung des Beschwerdeführers gegen seine erstinstanzlich angeordnete Entlassung aus dem fürsorgerischen Freiheitsentzug nach Art. 397a Abs. 1 ZGB in der Psychiatrischen Universitätsklinik Y._ nicht eingetreten ist und keine Kosten erhoben hat,

in Erwägung,
dass das Obergericht erwog, der Beschwerdeführer sei durch den kostenlos ergangenen Entlassungsentscheid nicht beschwert, weshalb auf die Berufung nicht einzutreten sei (Art. 59 ZPO),
dass die Beschwerde nach Art. 72 ff. BGG zum Vornherein unzulässig ist, soweit der Beschwerdeführer Schadenersatz von 200'000 Franken fordert, weil diese Forderung weder Gegenstand des kantonalen Verfahrens bildete noch Gegenstand des bundesgerichtlichen Verfahrens sein kann,
dass sodann die Beschwerde nach Art. 72 ff. BGG nebst einem Antrag eine Begründung zu enthalten hat, in welcher in gedrängter Form dargelegt wird, inwiefern der angefochtene Entscheid Recht (Art. 95 f. BGG) verletzt (Art. 42 Abs. 1 und 2 BGG), ansonst auf die Beschwerde nicht eingetreten wird (Art. 108 Abs. 1 lit. b BGG),
dass m.a.W. in der Beschwerdeschrift auf die Erwägungen des angefochtenen Entscheids einzugehen und im Einzelnen zu zeigen ist, welche Vorschriften und warum sie von der Vorinstanz verletzt worden sind (<ref-ruling> E. 1.4 S. 287),
dass auch Verfassungsrügen in der Beschwerdeschrift vorzubringen und zu begründen sind (Art. 106 Abs. 2 BGG), dass m.a.W. in der Beschwerdeschrift klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen ist, welche verfassungsmässigen Rechte und inwiefern sie durch den kantonalen Entscheid verletzt sind (<ref-ruling> E. 3.2 S. 88 mit Hinweisen; <ref-ruling> E. 1.4 S. 287 f.),
dass der Beschwerdeführer in seiner Eingabe an das Bundesgericht nicht in nachvollziehbarer Weise auf die obergerichtlichen Erwägungen eingeht,
dass er erst recht nicht nach den gesetzlichen Anforderungen anhand dieser Erwägungen aufzeigt, inwiefern der Beschluss des Obergerichts vom 23. März 2011 rechts- oder verfassungswidrig sein soll,
dass somit auf die - offensichtlich unzulässige und keine hinreichende Begründung enthaltende - Beschwerde in Anwendung von Art. 108 Abs. 1 lit. a und b BGG nicht einzutreten ist,
dass keine Gerichtskosten erhoben werden,
dass in den Fällen des Art. 108 Abs. 1 BGG das vereinfachte Verfahren zum Zuge kommt und die Abteilungspräsidentin zuständig ist,

erkennt die Präsidentin:
1. Auf die Beschwerde wird nicht eingetreten.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird dem Beschwerdeführer, der Psychiatrischen Universitätsklinik Y._ und dem Obergericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 8. Juni 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Füllemann