Можно провести опрос и большинство вам скажет, что бабой себя не считает. А это и есть показатель негативной окраски слова "баба"  По поводу женщины считаю слово как слово, но не в случае обращения. И даже не из-за того, что назвали не девочкой, обращение по половому признаку считается некультурным.