Den vokser i åpen skog og kratt, på kalkholdig jord. I Frankrike og Rhindalen er den vanlig i duneikskog i sørskråninger sammen med andre varmekrevende busker og trær som naverlønn, italialønn, geitved, liguster, mahaleb, villkornell, vårkornell og berberis. Filtkorsved er utbredt i Sør- og Mellom-Europa, Nord-Afrika og Sørvest-Asia nordover til England. Den dyrkes i hager og er naturalisert i Norge og Sverige.