Walker var gift fire ganger. Han giftet seg med den amerikanske popsangeren Kathy Young i 1965, de ble skilt i 1968. I 1971 giftet han seg med Julie Parker-Cann, de skilte seg få år senere. Han giftet seg for tredje gang med Brandy Nielsen i 1980, og de tok ut skilsmisse i 2003. I desember 2003 giftet han seg for fjerde gang, nå med en sanger som hadde deltatt på hans turné. I 2010 ble Walker diagnostisert med leverkreft, som han døde av i sitt eget hjem i Los Angeles den 7. mai 2011.