A l'âge de douze ans il étudie le piano, puis travaille à l'Université et au Conservatoire de Fribourg. Armin Jordan ne voulait pas faire de la musique son métier. Il poursuit ses études de médecine, de théologie et de droit, « avec toujours à côté un peu de musique. Puis, j'ai eu envie de diriger, et un professeur m'a conseillé d'entrer dans un théâtre et d'y faire peu à peu mes classes. (…) A 25 ans, j'ai donc abandonné tout le reste.»

En 1949, il forme un petit orchestre à Fribourg et commence la direction musicale, il suit les cours de direction d'orchestre au Conservatoire de Lausanne. de 1962 à 1967, il a l'occasion de remplacer fréquemment les chefs permanents, Nello Santi, Carlos Kleiber et Alberto Erede à l'Opéra de Zurich Il lui arrive de diriger l'après-midi Les Noces de Figaro de Mozart, et le soir Aïda de Verdi. Ce poste lui plaît énormément, mais, désireux d'évoluer, il va en 1968 à l'Opéra de Bâle. Pour des raisons de santé, il quitte ce poste en 1989.

En 1973, il est nommé directeur musical de l'Orchestre de Chambre de Lausanne. Il amène cet orchestre à un niveau excellent. En 1985, il va diriger l'Orchestre de la Suisse Romande avec lequel il effectue, la même année, une importante tournée aux Etats-Unis. Avec cette formation, il a réalisé de nombreux enregistrements, en particulier, Pelléas et Mélisande de Debussy (Grand Prix du disque français) et La Création de Haydn. De 1986 à 1992, il est chef d'orchestre invité de l'Ensemble Orchestral de Paris.

Armin Jordan dirige dans de nombreux endroits prestigieux : le Festival d'Aix-en-Provence, l'Opéra de Vienne, les Opéras de Hambourg, Munich, Bruxelles, Lyon… Il dirige régulièrement l'Orchestre National de France et l'Orchestre Philharmonique de Radio France.

Artiste aux possibilités multiples, il est à l'aise aussi bien dans le répertoire symphonique que dans la musique de chambre.

Armin Jordan a une conception bien particulière de son métier : « Après tout, nous ne faisons pas une note. Si on entendait en concert seulement les notes auxquelles pense le chef en dirigeant, on obtiendrait la première ligne de piccolo et les basses, mais entre les deux… C'est quand même un petit peu un métier de charlatan. Le Philharmonique de Berlin joue bien, même avec un mauvais chef, parce qu'il ne peut se permettre de jouer vraiment mal. Au fond, ce comportement n'est pas normal. Je préfèrerais qu'un bon orchestre joue mal avec un mauvais chef. »