Il étudie d'abord la musique à Presbourg, sa ville natale, puis travaille avec Bruckner à Vienne. Il devient violoncelliste à l'Opéra de Vienne, à l'époque où Mahler est directeur de cette institution, puis devient pédagogue et occupe des responsabilités dans différentes écoles ; en 1927, il devient directeur de la Hochschule für Musik de Vienne. Sa musique s'inscrit dans la lignée de celle de Max Reger. On doit à Schmidt de nombreuses pièces pour orgue, de la musique de chambre, quatre symphonies et l'oratorio le Livre aux sept sceaux.