Baker ble gift for tredje gang i 1993 med skuespiller Louie Ramsay. Han hadde fem døtre, fire med sin første kone og en med sin andre. Han døde av lungebetennelse i 2011, 80 år gammel.