Da han la opp var Al gift med Diane Reynolds, og de to hadde tre døtre. Paret fikk senere to sønner.