C'est à Budapest qu'il étudie le piano avec Thoman et la composition avec Koessler à l'Académie de musique, ainsi que le droit. A 16 ans, il obtient son diplôme au Conservatoire de Budapest. En 1909, il devient chef d'orchestre assistant à l'Opéra Comique de sa ville natale et de 1914 à 1922 chef d'orchestre et directeur à l'Opéra de la cour de Dresde. En 1922, il part aux Etats-Unis pour diriger l'Orchestre Symphonique de Cincinnati (il occupera ce poste jusqu'en 1931) et à cette date lui sera confié l'enseignement de la direction d'orchestre au Curtis Institute of Music de Philadelphie : figureront parmi ses étudiants Leonard Bernstein, Lukas Foss et plusieurs autres musiciens américains célèbres. Entre 1938 et 1948, il est chef et directeur musical de l'Orchestre symphonique de Pittsburgh et dirige au Met de 1949 à 1953. Cette année là, il assure la première américaine de The Rake's Progress de Stravinski.

Il atteint le sommet de sa carrière en devenant le chef permanent de l'Orchestre symphonique de Chicago qu'il dirige de 1953 à 1962 et dont il fait un orchestre de tout premier ordre aussi bien dans le répertoire classique que moderne, grâce à un perfectionnisme notoire qui lui a valu la réputation de maître tyrannique.

Sa direction s'impose pour sa précision et une pudeur expressive qui restituent les œuvres dans leur authenticité et leur pureté.

Il a dirigé la création d'œuvres de Béla Bartok (Concerto pour 2 pianos et orchestre), de Paul Creston, de Gian Carlo Menotti, d'Ottorino Respighi (Danses et airs antiques, suite n°2)… et aimait particulièrement R. Strauss, Bartok et Wagner.