Från riksdagens början utgjorde Fersenska palatset medelpunkten för den politiska skådebanan.