Egertorget er ikke noe egentlig torg, men et restareal som oppsto etter regulering i 1846, da «Slotsveien» (Karl Johans gate) ble forbundet med den gamle «Østre Gade». ble revet for å knytte gatene sammen. Sør for denne lå plassen «Stabellkroken», en del av passasjen som ble kalt «Krøllen». Stabellkroken ble til Egertorvet, oppkalt etter familien som eide gården vestenfor, som senere fikk adressen Karl Johans gate 20. Den tilhørte i 1804 kjøpmann Ole Eger (1777–1841) og ble overtatt av enken Margaretha Eger (1777–1867). Gategjennombruddet i 1846 rammet ikke denne gården, som senere tilhørte nevøene, bryggerieierne Herman (1816–1883) og Thorvald (1827–1901) Eger. De rev den gamle gården og oppførte en ny tre-etasjes forretningsgård. Den ble i 1890-årene om- og påbygget av konsul (for kongeriket Hawaii) Louis Samson (f. 1839). Her etablerte sønnen Wilhelm Bismarck Samson i 1894 bakeriet som fremdeles har utsalg på hjørnet mot Egertorget.