Najczęściej nazywają amerykańskiego muzyka” konceptualnym improwizatorem” i jest w tym określeniem zarówno zachwyt dla sztuki, jaką prezentuje, jak subtelne określenie tego, co w swoim improwizowanym, jazzowym patosie artysta ma do przekazania. Bowiem Joe McPhee to wybitna osobowość nowoczesnego, awangardowego jazzu, multiinstrumentalista (także kompozytor i poeta),który karierę muzyka rozpoczynał od nauki gry na trąbce w zespole szkolnym, by potem ( w połowie lat 60-tych) grać zawodowo w zespole wojskowym US Army stacjonującym w Niemczech.
Joe McPhee zadebiutował w 1967 roku realizując album z Cliffordem Thorntonem oraz trasa koncertową z orkiestrą Matta Jordana. W końcu lat 60-tych sam zaczął uczyć się gry na saksofonie, eksperymentując nagrania solowe (bez akompaniamentu) oraz próbując lansować nawet własne własne zespoły. W aureoli niepokornego awangardzisty Joe McPhee realizował się także jako wykładowca ciekawych kursów (np. „Rewolucja w dźwięku” w Vassar College w latach 1969-71). Będąc postrzegany jako awangardzista jazzu chętnie zapraszany był do ultranowoczesnych projektów wybitnych innowatorów: grał Cliffordem Thorntonem, Don’em Cherry’m, legendarną, warsztatową Jazz Composers Orchestra (Carli Bley), w Europie (w latach 1975-77) grał ze Steve’em Lacym. Koncertował z własnym, skrajnie awangardowym trio oraz prowadził grupę, do której zapraszał wybitnych awangardzistów spod znaku AACM (np. Josepha Jarmana, Sunny’ego Murraya). Prezentując niezwykle nowatorskie podejście do tradycji jazzowej koncertował w prestiżowych salach koncertowych (od nobliwego Lincoln Center po serię koncertów w nowojorskim klubie Knitting Factory). Sporo koncertował i nagrywał, występując gościnnie z zespołami Jimmy’ego Giuffre’a, Raymonda Boni, Ingerbrit Haker Flaten, Anthony’ego Coxa, Billa Stewarta, Charlesa Moffetta, André Jaume’a, Daunika Lazro, Evana Parkera. Jego ciekawa dyskografia obejmuje m.in. takie znaczace dla nowego jazzu albumy, jak „ At WBAI’s Free Music Store” ,”Old Eyes”, „Topology”,” Oleo & A Future Retrospective”, „Linear B”,”Something”- z Andre Jaume i Anthony’m Coxem, „Impressioons Of Jimmy Giuffre”- z A.Jaume, „River Station”- z Jimmym Giuffre, „Sweet Freedon – Now What”, „Bricktop” – z Ingerbrit Haker Flaten, „Six Situation”, „Nation Time”, „Chicago Tenor Duets”-z Evanem Parkerem, „Zebulon”- z Michaelem Bisio, „The Dream Book”-z Dominicem Duvalem, „Soprano”, „In the Spirit”, “No Greater Love”, “Emancipation Proclamation: A Real Statement of Freedom” z Hamidem Drake’m, ”Grand Marquis” – z Johnnym McLellanen, “Manhattan Tango” -z Jérôme Bourdellonem, “Port of Saints”, “Voices & Dreams”, “Mister Peabody Goes to Baltimore”, “Remembrance”, ”Tales Out of Time”-z Peterem Brötzmannem, “A Parallax View”, Between”-z Sato Makoto, ”Everything Happens for a Reason”, ”In Finland”-z Matthew Shipp’em and Dominicem Duvalem, ”Next To You “, ”The Open Door”, ”Voices: 10 Improvisations”, “Red Morocco”, “Alto”, “Magic”- z Mikołajem Trzaską, “The Damage Is Done”,” Blue Chicago Blues”- z Ingebrigt Håker Flaten, “Creole Gardens”, “Brooklyn DNA”-z Ingebrigt Håker Flaten, “Red Sky”, “Sonic Elements”, “Live in Vilnius”) .