Han var en av de få britiske statsministrene som aldri giftet seg. Den neste ungkaren bak «den svarte døren» var Edward Heath. Balfour hadde blitt adlet i 1922 som jarl av Balfour og vicomte Traprain; disse titlene fikk spesielle arveregler slik at de kunne arves av hans bror.