Am 15. September 1894 eröffnete das neugegründete Erfurter Stadttheater den Spielbetrieb im Gebäude am Dalbergsweg (dem späteren Opernhaus). Als Theaterorchester wurde die „Rudolph-Kapelle“, um Streicher erweitert, verpflichtet. Das bisher als Ausstellungs- und Unterhaltungsorchester tätige Blasorchester hatte sich aus der Vielzahl der in Erfurt etablierten Kapellen für die neuen Aufgaben in Oper und Operette empfohlen. Entscheidende Prägung erfuhr der später als „Städtisches Orchester“ bezeichnete Klangkörper, in dem wir den Ursprung des heutigen Philharmonischen Orchesters Erfurt finden, ab Mitte der zwanziger Jahre durch Franz Jung. 1924 kam er als 1. Kapellmeister an das Stadttheater in Erfurt und wurde bereits zwei Jahre später jüngster Generalmusikdirektor Deutschlands. Er setzte neue Akzente im Opern- und Konzertspielplan mit Werken von Gustav Mahler, Richard Strauss, Béla Bartók, Igor Strawinsky, Kurt Weill und dem Erfurter Komponisten Richard Wetz. Siegfried Wagner kam nach Erfurt und dirigierte seine Oper An allem ist Hütchen schuld. Paul Hindemith spielte hier sein Bratschenkonzert. Ab 1953 folgten am Pult des städtischen Orchesters für wenige Jahre Wilhelm Hübner, Walter König und Kurt Masur. 

Mit der Berufung Ude Nissens begann 1957 die zweite Ära einer langjährigen Prägung des Erfurter Theaters und seines Orchesters durch einen Dirigenten. Der Klangkörper wurde 1965 mit der Auszeichnung als bestes Theaterorchester und 1981 mit der Ernennung zum „Philharmonischen Orchester Erfurt“ gewürdigt, war Hauptträger der 1983 ins Leben gerufenen „Erfurter Tage zeitgenössischer Musik“. In den Sinfoniekonzerten kamen allein von den Erfurter Komponisten Johann Cilenšek und Kurt Kunert sieben Werke zur Uraufführung. Die beliebten Paradoxophoniekonzerte (eine Wortschöpfung Ude Nissens) wurden durch Fernsehproduktionen weit über Erfurt hinaus bekannt. Aufsehenerregenden Erfolg hatte 1988 die DDR-Erstaufführung des Requiems von Andrew Lloyd Webber unter der Leitung von Ude Nissen. 

1989 erfolgte der Stabwechsel an Wolfgang Rögner, der anlässlich der 1250-Jahrfeier der Stadt die Philharmonischen Festtage ins Leben rief. Im Mai 1994 wurde das Philharmonische Orchester Erfurt vom Deutschen Musikverleger-Verband für „Das beste Konzertprogramm“ der Saison 1993/94 ausgezeichnet. Walter E. Gugerbauer, der sich bereits mit dem Dirigat von Così fan tutte und Carmen dem Erfurter Publikum vorgestellt hatte, wirkte ab 2000 als Generalmusikdirektor am Theater Erfurt, 2014 folgte Joana Mallwitz. Mit Beginn der Spielzeit 2018/19 wurde Myron Michailidis zum Generalmusikdirektor berufen.

Gastspiele führten das Philharmonische Orchester Erfurt u.a. in die Partnerstadt Vilnius (Litauen), zum Internationalen Oratorien- und Kantatenfestival nach Wrocław (Breslau), in das BrucknerHaus Linz sowie wiederholt in die Tonhalle Zürich. Mit der 2005 in Erfurt uraufgeführten Oper von Philip Glass Waiting for the Barbarians gastierte das Theater Erfurt in Amsterdam und London. Gastspiele führten das Ensemble 2015/16 nach Antibes und 2018 nach Shanghai.