ב-1940, תחת הכיבוש הסובייטי, נאסר על ידי השלטונות החדשים באשמת פעילות ציונית, ביחד עם מנהיגים ועסקני ציבור בולטים אחרים (ביניהם ד"ר ראובן רובינשטיין, הירש לוין, יעקב גולדברג, דוד איציקוביץ והמורה יהושע (איקא) גרינברג), וישב בכלא עד לפלישת גרמניה הנאצית לליטא ב-1941. צחוק הגורל הוא שעם כניסת הקלגסים הנאצים לקובנה, פרצו האסירים את גדרות הכלא וגרפונקל שוחרר... אך רק לתקופה קצרה שכן חיש מהר נכלא בגטו קובנה. שם שימש כממלא מקומו של יו"ר האלטסטנראט בגטו אלחנן אלקס, ולעיתים עמד בניסיונות קשים במגעיו עם הנאצים ואף עונה. בקיץ 1944, סמוך לחיסולו הסופי של הגטו, הועבר למחנה קאופרינג ליד דכאו שם היה כלוא עד לשיחרורו.