Der Sohn eines vermögenden Hutmachers erhielt neben seiner Lehre des väterlichen Gewerbes Klavierunterricht und studierte Kompositions- sowie Harmonielehre. 1863 - Zieher war nun 20 Jahre jung - trat er zum erstenmal mit einem 40 Mann Orchester, das sein Vater finanziert hatte, im Dianasaal mit seinen ersten Kompositionen vor die Öffentlichkeit und erhielt sehr gute Kritiken.
Ab 1870 leitete Carl Michael Ziehrer immer wieder verschiedene Militärkapellen und unternahm zahlreiche Auslandstourneen. Den legendärsten Ruhm errang er mit den Musikern des Infanterie-Regiments Nr. 4 Hoch- und Deutschmeister, mit denen er 1893 bei der Weltausstellung in Chicago auftrat.