I 1884–1890 ble paléet bygget om til bruk for konserter ved arkitektene Johan Schrøder og Georg Wittrock for A/S Koncertpalaiset. I forlengelse av paléets havefasade oppførte arkitektene en stor konsertsal som la beslag på den tidligere haven. Samtidig ble halvparten av gittermuren mot Bredgade solgt (finnes i dag ved Søllerød slott) og to butikkpaviljonger med kupler ble oppført i en nyrokokkostil. De fleste rokokkorommene i selve hovedbygningen forble imidlertid uendret. Paléet ble heretter kjent som «Koncertpaléet» og konsertsalen med den fremragende akustikken ble et populært samlingssted i det københavnske kulturliv. I 1901 kjøpte Odd Fellow Ordenen bygningen og det skiftet da navn til «Odd Fellow paléet». Ordenen innredet en losjesal mm. i øverste etasje og lot paléet bli restaurert ved Christian Mandrup-Poulsen. I 1950-årene ble de festlige kuplene på butikkpaviljongene fjernet ettersom de var utette, og historismen i mellomtiden var kommet i miskreditt.