שוורץ נולד בשנת 1924 בעיר אלכסנדריה שבמצרים למשפחה יהודית. בשנת 1949 גורש שוורץ ממצרים בעקבות פעילות פוליטית ציונית. הוא היגר לאיטליה והתיישב בעיר מילאנו. שם, פתח חנות ספרים ואחר כך גלריה לאמנות הנושאת את שמו. הוא היה קשור אל קבוצת האמנים הסוריאליסטים ובייחוד אל מאן ריי, אנדרה ברטון ומרסל דושאן.