Ali Hassan Mwinyi ble født den 8. mai 1925 i Kivure i det britiske Tanganyikaterritoriet av muslimske foreldre. Han vokste opp på Zanzibar, gikk på skole der og begynte å utdanne seg til lærer. Han fikk et stipend som gjorde at han kunne fortsette studiene ved University of Durham i England. Han fullførte studiene der i 1945 og returnerte til Zanzibar.