学的业余球员，没有接受过专业训练。2002年的辽宁省运动会上，于贵君作为丹东队的前锋表现出色，被沈阳代表队的主教练段鑫相中进入沈阳金德梯队，开始接受职业足球训练。2004赛季，沈阳金德进行新老交替，于贵君被提升到一线队。 2004年5月2日，他在中国足协杯第二轮第一回合沈阳金德客场对阵陕西国力的比赛中首发登场，第一次代表球队在正式比赛亮相，他在上半场伤停补时阶段射进职业生涯的第一个进球，并在下半场贡献一次助攻，帮助球队2比1击败对手。 5月6日，他在第二回合又射进比赛的唯一一个进球，沈阳金德以两回合总比