四月二十八日（1871年6月15日），徐谦出生于江西南昌。四岁丧父，由母亲抚养长大。年少时，师从桐城派吴汝纶学习经史。光绪二十八年（1902年）在南京应乡试，中壬寅科举人。光绪二十九年（1903年）中癸卯科进士，殿试位列二甲第八名，同年闰五月，改翰林院庶吉士。进入京师大学堂仕学馆（光绪三十年四月归併入新成立的进士馆，但仕学馆仍分馆授课），攻读法律。当时进士馆的进士学生自居身份，不愿认进士馆教习为老师，并认为“教习”与翰林院庶常馆“教习庶吉士”一职名称类似，进士馆很快“将教习改称教员，学生改称学员，以明不敢当