El 26 de Desembre de 1936, korespondiente al 12 de Tevet, la Orkestra de Palestina, fundada por el violinisto polonezo-djudio Bronislaw Huberman, selebro su primer konserto en Tel Aviv. En este tyempo, los muzisyenes djudios estavan espedidos de las orkestras de toda la Europa achakes del antisemitizmo kresiendo. Entre 1938 i 1945, la Orkestra de Palestina fue dirijida por Leo Kestenberg, un djudio alman ke no pudiya mas lavorar en su pais de orijin, la Alemanya. Malgrado ke el primer konserto fue dirijido por Arturo Toscanini, el famozo direktor de la Orkestra Senfonika de la NBC, William Steinberg fue el primer direktor prinsipal de la orkestra. En este primer konserto, la muzika prinsipal era del kompozitor alman Richard Wagner, i esto fue la vez de alkavo de Richard Wagner en esta orkestra, porke despues del Kristallnacht se defendiyo de djugar Wagner kaji asta oy.
Durante la Segunda Gerra Mundial, la Orkestra de Palestina salyo 140 vezes a la shena en frente de las tropas Aliadas, inkluzo un konserto delantre de la Brigada Djudia de la armada Britanika en El Alamein, Ejipto. Despues ke Israel deklaro su independensya, la orkestra se empeso a yamarse Orkestra Filarmonika de Israel (IPO).
Aparte de Toscanini, la OPI se asosyo kon otros grandes direktores i muzisyenes. Desde 1947 asta 1988, el aklamado kompositor Leonard Bernstein partajo su talento kon la OPI. En 1988, la OPI le ofresyo a Bernstein el titolo “Laureate Conductor”, un titolo ke Bernstein konservo asta su muerte dos anyos despues.
El selebro direktor de orkestra Zubin Mehta, fue nomado asesor musikal de la OPI en 1969, aviyendo partisipado komo direktor envitado desde 1961. En 1977, Mehta fue nomado direktor musikal i en 1981, tomo el titolo de “Direktor musikal para toda la vida”. Aunke el no era djudio, Mehta estuvo asosiyado kon la OPI durante sinko dekadas, realizando miles de konsertos en Israel i en el etranjero durante su mandato. Torno a Israel durante la Gerra de Sesh Diyas de 1967, para realizar varios konsertos para amostrar su solidaridad kon el puevlo israeli. En 1982, yevo la OPI al sud del Líbano, donde los arabos ke asistiyeron al konserto koryeron a la shena despues del konserto para abrasar a los muzisyenes. Durante la Gerra del Golfo de 1991, kon la menaza de los misiles Scud irakis ke estavan kayendo en el sentro de Israel, Mehta realizo un konserto kon la OPI i una odyensa ke tenian maskas de gas a sus lados.
Desde Oktubre, 2013, el pianisto i direktor de orkestra israelyano Lahav Shani (nasido en 1989) fue yamado komo direktor invitado. En enero de 2018, fue nominado Direktor de Muzika del IPO.
