虎祖籍安徽省旌德县江村，生于江西省广信府弋阳县陶湾。12岁到北京，后入同文书院学日语。1901年，他去日本考察政治。归国后，他被袁世凯聘为北洋编译局总办，兼任北洋官报总编。1902年，他辞职赴日本留学，1903年因病辍学而归国。其后他任清朝刑部主事、京师大学堂东文教习等职务。同时，他得到袁世凯、端方资助，在北京创立了三所女学传习所（内城女学传习所、外城女学传习所、中城女学传习所），成为当时学界着名的佳话。1907年，他再度留学日本。其间，他受到无政府主义和社会主义思想的影响。1909年，他参加了在比利时