1783 befand sich an dieser Stelle - Salmgasse 2 - ein respektables Gebäude, das im Besitz des Wiener Erzbischofs Kardinal Christoph Graf Migazzi, weshalb es "Kardinalshaus" genannt wurde.
Das heute noch bestehende Gebäude wurde zwischen 1828 und 1832 vom Baumeister Alois Ignaz Göll für die Brüder Leonhard Walter und Wenzel Emanuel Brandler von Brandstein erbaut.
1856 kam das Palais in den Besitz von Hugo Carl Fürst und Altgraf Salm-Reifferscheid.