John Harbison a étudié à Harvard et à Princeton, et abordé tous les styles de composition, passant des formes pré-classiques à l'atonalisme rigoureux du dernier Stravinski, via le jazz et Prokofiev.

Son activité de chef d'orchestre témoigne éclectisme similaire. A la tête d'ensembles tels que le Saint Paul Chamber Orchestra, le Haendel and Haydn Society, le Boston Symphony ou les Cantatas Singers, il a dirigé Monteverdi, les cantates de Bach, des motets du XVIIe siècle et de la musique contemporaine. John Harbison a reçu le Kennedy Center Friedheim First Price et le prix Pullitzer en 1987 pour sa cantate La Fuite en Egypte.

Il vit aujourd'hui dans sa ferme familiale du Wisconsin, où a régulièrement lieu le Token Creek Music Festival, qu'il a créé et qu'il dirige.