Schwebel s-a născut la Morgentown în Virginia de vest, în S.U.A., într-o familie de evrei ortodocși. A crescut în Georgia și apoi în cartierul Bronx din New York. Părinții săi s-au despărțit înca din copilărie și Schwebel a trebuit să muncească de copil și a învățat teatru. A început să picteze ca autodidact în timpul serviciului militar in armata americană (1953-1955), pe care l-a efectuat în Japonia în zilele Războiului din Coreea. A studiat apoi pictura la Kyoto cu artistul Zen Kimoru Kiwan, iar mai târziu la facultatea de istoria artei a Universității New York. În anii 1961-1962 a făcut o călătorie prin Europa.