Narodil se 2. května 1929 ve městě Dunn v Severní Karolíně jako syn Freda Lincolna Wraye staršího a jeho manželky Lillian M. Coats. Ze tří čtvrtin je původem indián Shawnee. V dětství se s rodiči přestěhoval do Portsmouthu ve Virginii, kde jeho otec dostal práci v loděnici. Podle jeho vlastních slov se naučil hrát na kytaru ve svých osmi letech, kdy cestoval s artistickým představením Hambone. Jeho první skupina byla rozpuštěna poté, co byl Wray počátkem padesátých let povolán do Korejské války. Zde onemocněl tuberkulózou a strávil více než rok v nemocnici; jeho nemoc nakonec vedla ke ztrátě plic. Později spolu se svými bratry Vernonem (přezdívaný Lucky) a Dougem, doplněni o bratrance Shortyho Hortona a kamaráda Dixieho Neala, založili skupinu nazvanou Lucky Wray and the Lazy Pine Wranglers, která se brzy poté přejmenovala na Lucky Wray and the Palomino Ranch Hands. Skupina se specializovala na country hudbu a svou první nahrávku vydala v roce 1956 pro vydavatelství Starday Records.