Cuando los dirigentes de Quebec comenzaron a demoler los muros del antigua ciudad, Dufferin quedó consternado y les convenció para que pararan la demolición, arreglaran los destrozos y restauraran los muros.