Herr Portbury och jag åto alltid middag tillsammans i den stora , dystra matsalen.