József nádor halála után, már 1847-ben megindult a gyűjtés szobrára, amit – mivel az 1848–1849. évi önvédelmi háború leverését követő önkényuralmi korszakban tilos volt személyt ábrázoló szobrok állítása – Albrecht főherceg parancsára már 1853-ban rendeltek meg. Eredetileg Schwanthaler Lajos müncheni szobrász készítette volna, azonban ő 1848-ban meghalt, így egy másik német szobrász jutott a megbízáshoz. Már 1849-ben is volt szándék a terület sétatérré alakítására, akkor a párizsi Jardin des plantes (növénykert) mintájára képzelték el a kivitelezést, 1855-ben pedig kettős fasor ültetését határozták el. De csak néhány év múltán alakították kertszerűvé a József teret. 1857-ben a szobrot körülvevő kert kivitelével Pecz Ármin ludoviceumi főkertészt bízták meg, Az ekkor még szerény sétatér kialakítását 1858 őszre fejezték be.