1903 wurde er von Gustav Mahler (s. Künstler ...) als Bühnenbildner an die damalige Hofoper geholt. wo er von 1905 bis 1909 als Vorstand des Ausstattungswesens tätig war.
Gemeinsam mit Mahler lieferte er einen entscheidenden Beitrag zur Befreiung des Musiktheaters aus der Bühnenpraxis des Späthistorismus und damit die Überwindung der "Guckkastenbühne".
Seine erste Arbeit war die Ausstattung für die Neuinszenierung von Richard Wagners "Tristan und Isolde" am 21. Februar 1903, die zu einem epochemachenden Ereignis wurde, bei dem es Roller verstanden hatte, die akustische und optische Vision zu einem einzigen großen Seelendrama zusammenzuschmelzen.
In der Ära Gustav Mahler stattete Roller bis 1907 insgesamt 16 Neuinszenierungen aus; es ist verwunderlich, in welcher raschen Folge diese durchgeführt wurden.
18 Februar1904 Hugo Wolf "Der Corregidor"; 3.Mai 1904 Giuseppe Verdi "Falstaff"; 7.Oktober 1904 Ludwig van Beethoven "Fidelio"; 23. Jänner 1905 Richard Wagner "Rheingold"; 6. April 1905 Hans Pfitzner "Die Rose vom Liebesgarten"; 4. Oktober 1905 Ermanno Wolf-Ferrari "Die neugierigen Frauen"; 14. November 1905 Richard Wagner "Lohengrin"; 24. November 1905 W. A. Mozart "Cosi fan tutte"; 21. Dezember 1905 W. A. Mozart "Don Giovanni"; 29. Jänner 1906 W. A. Mozart "Entführung aus dem Serail"; 30. März 1906 W. A. Mozart "Die Hochzeit des Figaro"; 1. Juni 1906 W. A. Mozart "Die Zauberflöte"; 3. November 1906 Hermann Goetz "Der Widerspenstigen Zähmung"; 4. Februar 1907 Richard Wagner "Die Walküre" und am 18. März 1907 Christoph Willibald Gluck "Iphigenie in Aulis".
Roller schuf auch die Bühnenbilder zu sämtlichen Erstaufführungen der Richard-Strauss-Opern zwischen 1909 und 1928.
Neben Max Reinhardt und Hugo von Hofmannsthal gehörte Alfred Roller zu den Gründern der Salzburger Festspiele.