Linux on System z oppstod fra to separate bestrebelser på å portere Linux til IBMs største maskiner. Det første forsøket var «Bigfoot»-prosjektet. Det ble ledet av Linas Vepstas i slutten av 1998 og begynnelsen av 1999, frembragte en uavhengig Linux-distribusjon, men ble senere forkastet. Den 18. desember 1999 lanserte IBM en samling patcher til versjon 2.2.13 av Linux-kjernen, og dette ble begynnelsen på dagens Linuz on System z. Den formelle produktlanserinen var i 2000.