Это Ваша проекция. Обычная фраза. Ничего в ней такого нет. У Вас почему-то вежливость про "отшить" и про "посторонних". Просто Вы привыкли, что нужно что-то объяснять, собирать какие-то аргументы, чтобы человека не обидеть. На самом деле, любой человек имеет право сказать "нет", не вдаваясь в объяснения, даже если он просто чего-то не хочет в данный конкретный момент. И нормальный человек это воспримет адекватно, потому что уважает и свое право сказать "нет", если нужно.