I juni 1941 kom det tyske angrepet og okkupert, og Vilnoghettoen ble etablert. Kovner oppholdt seg flere uker i et dominikansk kloster utenfor Vilnius, han hadde langt år og var forkledd som novise. Han returnerte til gettoen og fremførte sitt manifest muntlig til medlemmene av forskjellige ungdomsorganisasjoner. Kovner advarte ungdommene om at Hitler forsøkte å drepe alle jødene i Europa og selvforsvar var derfor eneste mulighet. Han organiserte og drev opplæring av undergrunnsbevegelsen i gettoen. Da gettoen ble «likviderte» flyktet Kovner og kameratene til skogs og dannet der en jødisk partisangruppe som etterhvert sluttet seg til sovjetiske partisaner. Abba Kovner kom snart til at en motstandsgruppe måtte startes. Han var en av lederne i partisangruppen Fareynigte Partizaner Organizatsye (FPO), og ledet blant annet angrep på tyske mål fra skogene rundt Vilno. Han mente jødene måtte kjempe som jøder og ikke bli absorbert i litauiske eller russiske partisangrupper. FPO sluttet seg etterhvert til andre partisaner og den sovjetiske hæren. Han har blitt beskyldt for voldshandlinger mot polske og litauiske sivile.