Link Wray vokste i hovedsak opp i Arizona. Da han var rundt åtte år hørte han for første gang en slidegitar med en svart musiker kalt . Familien flyttet senere til Accokeek i Maryland, en forstad til Washington, DC. De siste årene av sitt liv levde han med hustruen Olive i Danmark.