В отличие от вас, большинство не вкладывают в это слово обидный смысл. Да, человек с недостатком или проблемой- человек с дефектом. Разве нет?  что вы так завелись? Обычное слово. Пройдите по топу и потребуйте извинений у каждого, кто так написал, их тут немало, серых и цветных.