道光二十年（1840）第一次鸦片战争及咸丰四年（1854）天地会红巾军围攻广州期间，学海堂曾短暂停办，但由于时间短暂，影响较为有限。咸丰七年（1857）十一月，英法联军攻陷广州后占据了粤秀山，学海堂的日常活动被迫中断，直到十一年（1861）英法联军撤出广州后，学海堂才恢复办学活动。