Après des études de médecine, Jeffrey Tate exerce à l'Hôpital Saint-Thomas de Londres. Parallèlement, il étudie la musique, et en 1970, il est engagé comme chef de chant, puis comme chef-assistant. au Covent Garden de Londres. Il y reste jusqu'en 1977 et travaille avec Georg Solti, Colin Davis, Rudolf Kempe, Carlos Kleiber et John Pritchard.

Dans le cadre des représentations commémorant le centenaire du Festspielhaus de Bayreuth, il est l'assistant de Pierre Boulez pour la Tétralogie (1976-1980), et pour le Lulu de Berg (1979) à l'Opéra de Paris. Il est également l'assistant de Karajan à Salzbourg et de John Pritchard à Cologne pour le cycle Mozart. Par la suite, il dirige d'importantes productions lyriques : le Don Juan de Mozart au MET (1983), Ariane à Naxos de Strauss à Paris (1984), il crée Le Retour d'Ulysse dans sa patrie de Monteverdi et Henze au Festival de Salzbourg (1985).

En 1985, il est nommé chef permanent de l'English Chamber Orchestra et premier chef invité au Grand Théâtre de Genève. De 1986 à 1993, il occupe les mêmes fonctions au Royal Opera House Covent Garden de Londres. Il prend la direction musicale de l'Orchestre Philharmonique de Rotterdam de 1991 à 1993.

De septembre 1989 à juin 1998, il est premier chef invité de l'Orchestre National de France. Il a dirigé avec cet orchestre 136 œuvres, notamment, en 1985 et en 1996 (Festival d'Orange) le Don Juan de Mozart ; en 1993, Jonny spielt auf de Krenek ; en juin 1994, la Tétralogie dans une nouvelle production scénique au Théâtre du Châtelet ; en 1995, Le Destin (Osud) de Janacek au Théâtre du Châtelet. En octobre 1996, à Radio France, dans un concert en hommage à Paris, avec l'Orchestre National de France et les Chœurs de Radio France, il donne l'œuvre de Delius, Paris, The Song of a great city, ainsi que des œuvres de Franck, Haydn et Florent Schmitt. En 1998, en Australie, il a dirigé la première Tétralogie complète dans la mise en scène de Pierre Stroesser.

En 1996, il a été nommé co-directeur du Festival d'été à Minneapolis. Depuis ses débuts à l'Opéra de Göteborg en 1978, Jeffrey Tate mène une carrière internationale à l'opéra comme au concert. Il participe, entre autres, aux Festival d'Aix-en-Provence et de Salzbourg.

Parmi ses nombreux enregistrements, citons, Les Contes d'Hoffmann d'Offenbach, Peer Gynt de Grieg, Lulu de Berg avec l'Orchestre National de France (Grand Prix du Disque en 1993), les Concertos pour piano de Mozart avec Mitsuko Ushida, l'intégrale des Symphonies de Mozart avec l'English Chamber Orchestra, la Symphonie n° 9 de Bruckner.