Archie Shepp postrzegany jest jako wszechstronny jazzman, jest wybitnym akademikiem, autorem poważnych rozpraw naukowych i genialnym muzykiem, który wyznacza dla jazzu nowe horyzonty. Zaczynał w zespołach koryfeuszy awangardowego jazzu: Cecila Taylora, Billa Dixona, Dona Cherry’ego, Johna Tchicai ,Roswella Rudda, Bobby’ego Hutchersona i Grachana Moncura. Wzbogacał swój repertuar włączając elementy rhythm and bluesa, rocka, bluesa i bopu. Powstały wspaniałe nagrania np. w duecie z Maxem Roachem, zestawy pieśni spiritual i bluesa z Horace’em Parlanem, impresyjne albumy z Mal Waldronem czy płyty zrealizowane w hołdzie Charliemu Parkerowi i Sidneyowi Bechetowi.
W czasie studiów ( literatury i dramatu) w Goddard College zaczął grać na różnych instrumentach, m.in. na saksofonie. Fascynowała go gra i stylistyka jazzu Johna Coltrane’a. Początkowo koncertował (jako klarnecista)z różnymi, amatorskimi zespołami tanecznymi, później (już jako saksofonista tenorowy) z grupami rhythm and bluesowymi. Kiedy zamieszkał w Nowym Jorku próbował znaleźć pracę jako aktor, w końcu jednak zmuszony był zarabiać na życie grając w zespołach latynoskich. Na początku lat 60-tych pojawiać począł się w zespołach znanych koryfeuszy awangardowego jazzu: grał Cecilem Taylorem (1960-62), Billem Dixonem (1962-63), Donem Cherrym i Johnem Tchicai (1963-64.,razem z Cherrym i Tchicai, został współliderem grupy The New York Contemporary Five. Odtąd zacznie zakładać własne zespoły, z których najciekawszymi ukazały się te, które powstały z udziałem Roswella Rudda (1964,1966), Bobby’ego Hutchersona (1965) i Grachana Moncura III (1966-69).Zainteresowania jazzem improwizowanym, strukturami free oraz kulturą afro-amerykańską spowodowały wyraźne, muzyczne odniesienia. Rozpoczął studia uniwersyteckie, rozwinął współpracę z podobnie podchodzącymi do afro-jazzu muzykami. Takie pojmowanie jazzu doprowadziło go w krąg muzycznych fascynacji Johna Coltrane’a. Poprzez Coltrane’a Shepp poznał Boba Thiele’a, producenta Impulse Records; niebawem został muzykiem tej prestiżowej dla jazzu oficyny. W 1965 roku wziął udział w Newport Jazz Festival i wystawił w Nowym Jorku swa sztukę „Juneburg Graduates Tonight „. Chociaż w latach 60-tych był ściśle związany z ruchem free-jazzowym, zdawał sobie sprawę z roli muzycznych korzeni jazzu, dlatego też do swojej muzyki zawsze włączał elementy wcześniejszych form jazzu i bluesa. O awangardzie jazzu wypowiadał się w kategoriach filozoficznych: „To nie jest ruch, ale stan umysłu. Jest to całkowite odrzucenie technologicznej precyzji i reafirmacja das Volk”. W 1965 roku, już jako uznany artysta, Archie Shepp rozpoczął okres udanych koncertów i nagrań. Zajmował się pisaniem muzyki, a także sztuk teatralnych, z których wiele odzwierciedlało jego przekonania polityczne i troskę o prawa człowieka. Pod koniec lat 60-tych wystąpił w Algierze (Algieria) na The Pan African Festival, zrealizował też kilka albumów w trakcie krótkiego pobytu w Paryżu. Wrócił do USA, gdzie zaangażował się w nauczanie muzyki oraz literatury i ostatecznie został wykładowcą na University of Massachusetts. Przez kolejnych dziesięć lat Archie Shepp wzbogacał swój repertuar, wcielając do niego pierwiastki rhythm and bluesa, rocka, bluesa i bopu. Niektóre nagrania dokonane w końcu lat 70-tych i na początku 80-tych dają wyobrażenie o skali jego zainteresowań: znalazły się wśród nich improwizowane albumy w duecie z Maxem Roachem, zestawy pieśni spiritual i bluesa z Horace’em Parlanem oraz płyty w hołdzie Charliemu Parkerowi i Sidneyowi Bechetowi. W latach 80-tych Archie Shepp postrzegany był jako jazzman wszechstronny, którego nie można jednoznacznie sklasyfikować, a który jest w stanie trafić w gusty szerokich kręgów publiczności. Mimo iż do swego instrumentarium dorzucił saksofon sopranowy, Archie Shepp nadal koncentruje się na tenorze, grając z niezwykłym bogactwem barw i tonów, tworząc dominujące sola przetkane żywymi frazami deklamacyjnymi, które podkreślają dramatyzm jego stylu.
