Rypdal begynte som "Shadows-gitarist" tidlig på 1960-tallet og spilte blant annet i Vanguards. På 1970-tallet beveget han seg over i jazzrock og kunstrock. Rypdal studert komposisjon i Oslo under Finn Mortensen.