現実社会において人々が自身の感情や行為の適切性を測るためには何から独立した中立的な基準が必要であるのか?
スミスは、同感を通じて人々が自身の感情や行為が評価されていることを意識し、是認されることを望み否認されることを嫌っていると考えた。しかし、現実社会にはしばしば他人の間にも利害対立があるから、人々が自身の感情や行為の適切性を測るためには利害対立から独立した中立的な基準が必要である。スミスはこの基準を公平な観察者(英:impartialspectator)と呼び、人々が具体的な誰かの視線ではなく胸中の公平な観察者の視線を意識しながら行動していると考えた。
ただし、偶然(英:fortune)の下では、公平な観察者の評価と世間の評価とが異なる場合がある。スミスはこのような不規則性(英:irregularity)が社会的に重要な意味があると考え、偶然の下で公平な観察者の評価を重視する行為者を賢人(英:wiseman)、世間の評価を重視する行為者を弱い人(英:wealman)と呼んだ。人間は自己統制(英:self-command)によって胸中の公平な観察者の声に従おうとするが、激しい情念の下では自己欺瞞によって公平な観察者の声を無視しようとする矛盾した存在である。
『道徳感情論』は自愛心を主張するものとしてグラスゴー大学におけるスミスの後任者トマス・リードなどによって非難され、かつてはスミスの主著として読まれることも少なかった。