במשך השנים נוצרו קשרים הדוקים בין שוורץ לבין מוזיאון ישראל בירושלים. בשנת 1972 תרם שוורץ סט של העתקים מיצירות הרדי מייד של מרסל דושאן למוזיאון. בשנת 1991 תרם שוורץ למוזיאון ספרייה המכילה ספרים ספרי אמן, מכתבים וחומר תיעודי על תנועות הדאדא והסוריאליזם. אוסף אמנות גדול בן כ-700 יצירות אמנות הקשורות לתנועת אלו נתרם על ידו בשנת 1998. כ-250 מתוכם הוצגו בשנת 2000 בתערוכה ""לחלום בעיניים עצומות"". תצוגה מקיפה נוספת של העבודות נערכה בשנת 2007 בתערוכה ""סוריאליזם ומה שמעבר במוזיאון ישראל"". בשנת 2001 תרם שוורץ אוסף נוסף של ובו יצירות אמנות של אמנים ישראלים.