Zu Beginn des 20. Jahrhunderts wurde hier für die Industriellen-Familie Pollack-Parnau nach Plänen von Gotthilf und Neumann, die auch das benachbarte Palais Fanto errichteten, ein Palais erbaut.
Im Juli 1938 wurden das Gebäude und die Kunstsammlung der Familie, die nach Ungarn emigrierte, arisiert. Die Gauleitung der NSDAP richtete hier ihre Zentrale ein.