Das Palais Rechberg bestand einst aus zwei getrennten Häusern, eines an der Hackenstraße, das andere schloss sich, um die Ecke führend, daran an. Seit 1678 befanden sich beide Häuser im Besitz des kurfürstlichen Revisionsrates Johann Rudolf Wämpl, der an ihrer Stelle einen Neubau errichten ließ. Bedeutende Persönlichkeiten wie die Wittelsbacher Herzöge Albrecht Sigismund und Maximilian Heinrich, beides Bischöfe, waren hier Gast. 1688 erhielt Freiherr Gaudentius von Rechberg, kurfürstlich-königlich- bayrischer Kämmerer, das Anwesen als Geschenk in „Ansehung getreulich geleisteter Dienste“. Die Familie Rechberg beherbergte in ihrem Stadtpalais im Jahre 1800 den in der Schlacht bei Hohenlinden schwer verwundeten französischen General Louis Bastoul bis zu seinem Tode.