Alomar vokste opp i New York og begynte å lære seg å spille gitar da han var ti år. Da han var 16 startet han som profesjonell musiker. På 1960-tallet deltok han på «Amateur Hour» på Apollo Theatre, hvor han etter hvert ble medlem av Apollos husband. Her spilte han med blant andre Chuck Berry og flere av de mest kjente soulartistene på den tiden. I 1968–69 var han på turne som en del av James Browns turne-band, men sluttet etter at han ble trukket i lønn på grunn av en mindre musikalsk feil. I 1969 var han med på å starte bandet Listen My Brother sammen med Luther Vandross, Fonzi Thornton og Robin Clark. Alomar og Clark giftet seg senere og fikk en datter sammen.