早年就参加中共在上海学生界组织的闹事，曾任“上海学生界救亡协会”格致公学小组的负责人，中共上海地下党格致公学党支部书记，中学区委委员、区委书记。此后，曾历任华中局城工部交通站负责人、城工部干事，上海地下党市委委员，中国共青团上海市工委秘书长等职。中华人民共和国建国后，他历任共青团中央驻世界青联代表，团中央国际部副部长、部长、中央委员、常委等职，后调任中共中央对外联络部五处处长等职。在“文化大革命”中，吴学谦受到打击，下放“五七干校”劳动。在1972年恢复工作后，出任中共中央对外联络部西亚非组组长、三局局长