Det gjorde honom alltid nedstämd.