Som tenåring spilte Hillman mandolin i flere bluegrassgrupper – som The Scottsville Squirrel Barkers i 1962-63. Bernie Leadon i denne gruppen ble senere med og startet The Eagles, mens Hillman i 1964 ble medlem i The Byrds. Han fikk oppgaven som bassist, selv om han egentlig da bare kunne spille mandolin. Men han lærte seg raskt bass og spilte med The Byrds under deres mest fremgangsrike periode. I 1968 forlot han The Byrds og ble med i gruppen The Flying Burrito Brothers. Her fortsatte han viderutviklingen av countryrocken og spilte her fram til 1972.