常之之子，其先出自扶余氏，封国黑齿，子孙故以此为氏。黑齿氏世代为百济达率（相当于兵部尚书），高祖父黑齿文、曾祖父黑齿德（又名加亥）、祖父黑齿沙次（又名沙子），曾相继任达率。黑齿俊出自将门，弱冠即随梁王武三思征讨契丹，以军功授游击将军，行兰州广武镇将。圣历元年父亲黑齿常之沉冤得雪，被授于右豹韬卫翊府左郎将，不久迁任右金吾卫翊府中郎将、上柱国。神龙二年五月二十三日（706年7月7日）去世于洛阳县从善里府第，终年三十一岁。同年八月十三日安葬于北邙山。