David Van Cortlandt Crosby ble født den 14. august 1941 i Los Angeles, California, den andre sønnen til Academy Award-vinneren og filmfotografen Floyd Crosby og Aliph Van Cortlandt Whitehead, barnebarn til Cortlandt Whitehead, biskop i Pittsburgh. David Crosby var yngre bror av musikeren Ethan Crosby. De vokste opp i California. David gikk på forskjellige skoler, som the University Elementary School i Los Angeles, Crane Country Day School i Montecito og Laguna Blanca School i Santa Barbara. Crosby klarte ikke å ta eksamen på Cate School i Carpinteria.