Zbyt wąskim jest określenie „pianista” dla wirtuozerii i twórczości Joe Zawinula. Rozpoczynał jako akordeonista, jako siedmiolatek rozpoczął naukę w wiedeńskim konserwatorium. Prawdziwą szkołą dla młodego, austriackiego muzyka były jednak sesje radiowe i taneczne, w których uczestniczył jako muzyk sesyjny. W 1952 roku uwagę na zdolnego pianistę zwrócił saksofonista Hans Koller, który przez kolejne lata jazzowo edukował Zawinula. W latach 1953-58 pianista grywał ze wszystkimi liczącymi się grupami Austrii, koncertując (także z własnym Trio) w klubach Niemiec i Francji. W 1959 roku Joe Zawinul otrzymał stypendium w prestiżowej Berklee Sc