1783 befand sich an dieser Stelle - Salmgasse 2 - ein respektables Geb�ude, das im Besitz des Wiener Erzbischofs Kardinal Christoph Graf Migazzi war, weshalb es "Kardinalshaus" genannt wurde.
Das heute noch bestehende Geb�ude wurde zwischen 1828 und 1832 vom Baumeister Alois Ignaz G�ll f�r die Br�der Leonhard Walter und Wenzel Emanuel Brandler von Brandstein erbaut.
1856 kam das Palais in den Besitz von Hugo Carl F�rst und Altgraf Salm-Reifferscheid.