「他者」とは、「自分とは異なる存在」である。単に「私」（自己）以外の人間が「他者」であるとは限らず、「私」によって支配も回収もされることのない、「絶対的に他なるもの」も「他者」である。『全体性と無限』という書名が示すように、レヴィナスの哲学では「他者は決して全体性に回収されることのない無限の存在」とされている。
レヴィナスの言う「全体性」は広いイメージを持つ言葉であり、全体的な事柄、一つの価値観、全体主義（ナチズム）、世界全体なども指す。全体性または全体的価値観は、世界全体を捉えて意味付けし、全てを一つの価値の下に包み込む。そのような全体性に対し、「無限」であるものが「他者」であり、レヴィナスは「絶対的に異邦的なものだけが、私たちを教えることができる」と語っている。言い換えれば「他者」とは、全体性を超越している「異」であり、「いつまでも異なる存在」である。
レヴィナスによると、「他者」は「理解されえない、言い換えれば包括されることが不可能なものである」とされ、「所有を、私のさまざまな権能を拒む」とされている。すなわち「他者」は、「私」（自己）の内面を切り崩し、空にし、「私」として安住することを辞めさせ、「私」を超えたものを求めざるを得なくさせる。
「他者」は外部から現れるものであり、「世界の組織のなかでは、他者は無きにひとしい」とレヴィナスは言っている。
あるいは、「無限の責任を課す他者」こそが「他者」だと言う。「私」（自己）とは、「他者に対し無限の責任を負う」者であり、「私」と「他者」は非対称で不公平な関係にある。
成立経緯.
ユダヤ人だったレヴィナスは、第二次世界大戦中ナチス・ドイツのユダヤ人虐殺により、家族・親族・友人のほとんど全員を失っている。人間未満の扱いを受けたレヴィナスは、人間がどれほど無残に死んでも、「世界」が何事もなかったかのように続いていく事実を恐怖するようになった。レヴィナスが恐れたのは、明日自分が殺されるかもしれない事実、および、死と無関係に存在し続ける「世の中」だった。「世界」は、目的も意図もまったく理解不能なまま存在している恐ろしいものであり、そこにレヴィナスは絶対的な「他者」を見出した。