1862 kaufte der Reichsratsabgeordnete Zdenko Graf Sternberg die Liegenschaft und ließ das Gebäude für seine Zwecke erweitern. Sein Sohn Philipp ließ 1900 die Räume von Ludwig Richter in neobarocker Manier umgestalten.
Im ursprünglichen spätbarocken Bau verlebte der spätere Maler und Lithograph Joseph Kriehuber (1800-1876) einen Teil seiner Kindheit. Bis in die 1850er Jahre war Kriehuber einer der gefragtesten Porträtisten, Dann aber wurde die Fotografie allgemein bevorzugt, weil diese bei der Herstellung von Bildern rascher und billiger war. Weil die Aufträge immer weniger wurden, nahm der Künstler schließlich den Posten eines Zeichenlehrers im Theresianum an.