Davidsens mor var Gynette Bell som i 1657 på «St.Hans' morgen laae og fløed paa søen ved Bergen». Hun var antagelig av britisk avstamning. David hadde i alle fall én bror, nemlig borger og skipper Isak Davidsen i Bergen som senere kom til Tysøy i Os i Hordaland og Vibrandsøy i Haugesund. De hadde kanskje også en bror til, Samuel Davidsen i Bergen.