特派员、大本营参事、大本营海军处处长，负责处理海军事务。1924年（民国13年），任北伐讨贼军第2军第1师师长。
清党工作与上海防卫.孙文逝世后，杨虎同蒋介石接近，1926年（民国15年）任江西的国民革命军特务处处长。后来出任安徽省政府委员。1927年（民国16年）蒋介石发动四一二事件，杨虎参与，任上海警备司令。杨虎负责清党工作，获得「杀人如麻、人恐如虎」的评价当时，杨虎因同陈群在清党工作中杀人甚多，故因此功绩而成为蒋介石的义兄弟。1928年（民国17年）10月，杨虎任国民政府