Il poursuit des études de piano avec Marcel Gazelle au Conservatoire de sa ville natale, il se consacre ensuite à des études de médecine et de psychiatrie qu'il achève en 1975.

C'est au cours de ses années universitaires qu'il fonde le Collegium Vocale de Gand (1969) et se fait remarquer par Gustav Leonhardt et Nikolaus Harnoncourt qui l'associent à la gravure de l'intégrale des Cantates de Bach.

La création de La Chapelle Royale en 1977, puis de l'Ensemble Vocal Européen en 1988, lui permettent d'explorer un répertoire allant de la Renaissance aux œuvres contemporaines.

Philippe Herreweghe dirige également des orchestres jouant sur instruments d'époque : ceux de la Chapelle Royale et du Collegium Vocale, mais aussi Concerto Köln, The Hanover Band, The Age of Enlightenment, le Freiburger Barockorchester… et des formations traditionnelles comme le Scottish Chamber Orchestra ou l'Ensemble Orchestral de Paris.

Philippe Herreweghe est d'autre part, avec George Benjamin, un des chefs invités de l'Ensemble Musique Oblique.

Avec le Théâtre des Champs Elysées, il fonde l'Orchestre des Champs Elysées en 1991 pour servir, sur instruments originaux, les répertoires classiques et romantiques de Haydn à Mendelssohn.

Sa discographie est aujourd'hui très importante et couvre des répertoires très variés (Josquin des Prés, Brahms, Dusapin, Schütz, Bruckner, Schoenberg, Weill…), il est depuis 1982, directeur artistique du Festival de Musique ancienne de Saintes. Philippe Herreweghe a été nommé en 1990 Personnalité musicale de l'année par le Syndicat de la Critique dramatique et musicale.