Ulamlar; bankacılar, sanayiciler ve diğer profesyonellerden oluşan zengin bir Polonyalı Yahudi aileydi. Ulam'ın yakın akrabaları "zengin mi zengin" idi. Babası Józef Ulam, Lwów'da doğdu ve bir avukattı ve annesi Anna (evlilik öncesi soyadı Auerbach) Stryj'de doğdu. Amcası Michał Ulam bir mimar, müteahhit ve kereste sanayicisiydi. 1916'dan 1918'e kadar Józef'in ailesi geçici olarak Viyana'da yaşadı. Döndükten sonra Lwów, şehrin Ukrayna kuşatması yaşadığı Polonya-Ukrayna Savaşı'nın merkez üssü oldu.