年少丧父，以游荡不羁闻名县内，常与县内孩童玩骑马打仗游戏，孩童们皆以陶谦为首。前苍梧太守甘公看到陶谦后认为其相貌雄伟必有一番成就，而将女儿许配陶谦。婚后陶谦收起浪荡个性转为好学，先成诸生后举孝廉，封尚书郎，舒县令，再举茂才，封卢县令。为官清白，封幽州刺史，议郎。
转战南北.羌侵扰边境，朝廷派皇甫嵩出战，征召陶谦为扬武都尉，大破西羌。中平二年（185年）边章、韩遂作乱，朝廷派车骑将军张温与董卓出兵讨伐，张温征召陶谦与孙坚助战。期间陶谦不满张温无能，孙坚也多与颟顸专横的董卓意见相左