Abeid Karume ble født i landsbyen Mwera på Zanzibar i 1905. Han hadde bare et par års skolegang og ingen formell utdannelse. Karune startet veldig ung å jobbe som sjømann, dette bragte han rundt i verden og han observerte styretsett og snakket med politikere og fagforeningleder i havnene han var innom. Blant annet fikk han et flere måneders opphold i London. Karume dro etterhvert tilbake til Zanzibar og ble involvert i fagforeningsarbeid.