张知本积极参加反蒋介石活动。1930年（民国19年），出席了反蒋的北平扩大会议。1931年（民国20年）2月，胡汉民遭蒋介石软禁，在广州组织反蒋的国民政府，张知本参加。九一八事变爆发后，中国国民党各派大同结，张知本为此进行了交涉，各派和解后的中国国民党第四次全国代表大会上，张知本当选候补中央执行委员。1932年（民国21年），张知本就任国民政府民众训练委员会主任委员，因与蒋介石在民众训练的手法上有分歧，故辞任。1933年（民国22年）1月，孙科就任立法院长，并兼任立法院宪法草案委员会委员长，张知本任该委