De fire som skulle bli til The Dillards hørte hjemme i Missouri. Dillard-brødrene vokste opp med musikk. Faren var en felespiller fra Tennessee; moren spilte gitar. Brødrene kom snart i kontakt med den betydelig eldre læreren og DJ-en Mitch Jayne, som spilte kontrabass – og noe senere mandolinisten Dean Webb. Også Webb hadde vokst opp med musikalske foreldre, men hans interesse for bluegrass skyldtes en annen mandolinist, den største av dem alle: Bill Monroe, og hans . Som musiker hadde Webb en fortid i samspill med Lonnie Hoppers og The Ozark Mountain Boys.