In der Literatur wird als Besitzer des Palais fälschlich Camillo Castiglioni, der oftmals angefeindete Inflationsmillionär der ersten Nachkriegszeit, angegeben. Castiglioni wohnte hier aber nur als Gast des Hausherrn und erwarb später das Palais Eugen Miller von Aichholz in der Prinz-Eugen-Straße 28.
Die Familie Pollack-Parnau emigrierte 1938, und das Gebäude wurde als NSDAP-Kreisleitungszentrale "arisiert". Im Jahr 1944 wurde das Gebäude durch einen Bombentreffer zerstört.
1958 wurde an dieser Stelle ein schmuckloses Bürohaus errichtet, das 2005 ausgedient hatte. Wir sind neugierig, ob sich der Neubau besser ins Ensemble des Schwarzenbergplatzes einfügen wird.