部尚书孔奂之子。年轻时与兄孔绍新都以文词知名。十三岁时，隋朝灭陈，孔绍安徙居京兆鄠县，闭门读书，诵古文集数十万字，表兄虞世南叹异之。孔绍新曾对虞世南说：“本朝沦陷，分从湮灭，但见此弟，窃谓家族不亡矣！”时有词人孙万寿，与孔绍安结忘年之好，时人称为孙、孔。大业末年，孔绍安为监察御史。时太原留守李渊以拥隋为名用兵河东，诏孔绍安监李渊军，深得接遇。李渊受禅称帝建立唐朝，孔绍安从洛阳走小路来奔。李渊见之甚悦，拜内史舍人，赐宅一区、良马两匹、钱米绢布等。时夏侯端也曾为御史，监李渊军，先于孔绍安归朝，获授秘书监。孔绍安