状貌魁岸，性格宽厚，谦恭下人，而且又善射好施，因此深得人心，被人推荐给崔瑀，得到了崔瑀的信任。此后1249年崔沆嗣位，又成为崔沆的亲信。崔沆逝世后，其子崔竩执掌政权。崔氏政权的实际掌权者，金俊对此非常不满，1258年，金俊同林衍、柳璥、崔温等人，以三别抄军为主力发动兵变，杀死崔竩，崔氏政权覆灭。由于金俊在推翻崔氏政权、恢复王权的行动中有功，同其他同谋者一起被高丽高宗封为「卫社功臣」。金俊被授予教定都监的职位，掌握国家检察非违行动的权力，担当国事监督的大权。此后又被封为门下侍中、海阳侯，其权势拟于崔忠献，