Alison Krauss utmerket seg tidlig som en fremragende musiker. Alt som femåring begynte å lære klassisk fiolinspill, men konverterte til bluegrass da hun som 12-åring fikk høre noen kassetter med slik musikk hos sangeren og komponisten John Pennel. På den tiden vant hun Illinois State Fiddle Championship, og året etter ble hun kåret til beste felespiller ved National Flatpicking Championships i Winfield, Kansas. Hun spilte i flere band før hun i 1987, som 16-åring, ble leder for kvintetten Union Station. Hun har vært det siden, riktignok med skiftende medspillere. Like lenge har hun holdt fast ved plateselskapet Rounder Records. Hun har også spilt med en rekke andre berømte artister og grupper innen country og bluegrass som Dolly Parton, Emmylou Harris, Robert Plant, Ricky Skaggs og Kentucky Thunder, Del McCoury, Vince Gill og The Whites. Hun har også hatt sin bror Viktor (født 1969) som medspiller. Også han har hatt en lang karriere som profesjonell musiker og har siden 1985 spilt kontrabass i en rekke grupper innen bluegrass, jazz, country, pop og rock.