Le jeune Ziehrer effectue son apprentissage de la musique au conservatoire de Vienne, auprès de Simon Sechter, et commence à composer en 1862. L'année suivante (1863), il est repéré par l'éditeur qui décide de le publier, et à la fin de cette même année, il dirige son premier concert à Vienne, dans le but voulu par Haslinger de concurrencer les frères Strauss (Johann II, Josef et Eduard). En 1867, il prend la direction d'un nouvel orchestre viennois puis, de 1870 à 1873, il est le chef d'un orchestre militaire, toujours à Vienne (à noter que dans l'intervalle, après la mort d'Haslinger fin 1868, il est passé chez l'éditeur Ludwig Döblinger). Et en 1873, il devient le directeur musical d'un autre orchestre viennois, avec lequel il se produit lors de l'Exposition universelle de 1873 (à Vienne).