Это не просто "так говорят". Ни в одном словаре вы не найдете варианта "лОжить", хотя все мы его регулярно слышим на улицах. В отличие от "одеть" и "надеть". Да, одно слово произошло от "вежества" (устар.), а другое от "вежливости", но слова-то однокоренные  как ни крути. Поэтому форма "невежа" допустима для обоих значений.