Как раз нерусскоязычные или недавно эмигрировавшие в Россию из стран, где русский используется, но не является родным, не понимают, откуда взялась эта фраза и что она значит. Те, для кого русский родной и кто всю жизнь прожил в России, понимают. Поэтому так и реагируют. Это то же самое, что начать материться с трибуны.