Il apprend le violon et le cornet à piston avec son père, et le piano tout seul. Il commence à composer des pièces de musique de chambre, puis entre au Conservatoire royal de Copenhague.

De 1908 à 1914, il est chef d'orchestre au Théâtre royal, puis de 1915 à 1927, au Musikföreningen. Il va diriger aussi en Allemagne, aux Pays-Bas, en Suède et en Finlande, et sera nommé directeur du Conservatoire à la fin de sa vie.

Nielsen a été surnommé le "Sibelius" du Danemark, mais ses oeuvres majeures ne sont entrées au répertoire qu'après sa mort.