Михаэль Шварц родился в 1929 году в Зальцбурге (Австрия). Его дед по отцовской линии был владельцем одного из крупнейших универсальных магазинов Австрии начала века, а мать — сотрудницей этого же универмага. Помимо Михаэля, в семье был ещё оддин сын — Гидеон. В 1938 году семья Шварц бежала из Австрии, где к власти пришли нацисты, в подмандатную Палестину и поселилась в Хайфе. Там Михаэль учился в школе «Реали», под влиянием преподавателя Меира Яакова Кистера увлёкшись изучением арабского языка.