北齐太子太保封隆之的孙子，封子绣之子，在隋朝作杨素的幕僚。其舅卢思道常说：“此子智识过人，必能致位卿相。”最初在隋朝任内史舍人，为杨素所器重，常跟他议论天下事。有一天，杨素摸着他的床说：“封郎终居此坐。”便将堂兄弟的女儿嫁他，成为杨素的侄女婿。大修仁寿宫就是封德彝的谋划。隋炀帝时，官拜内史舍人，为虞世基所倚重，对于隋末朝政昏乱负有一定责任。宇文化及发动政变后，他又投靠宇文化及，官拜内史令。宇文化及兵败后，封德彝与宇文士及归附唐朝，唐高祖拜封德彝内史舍人、内史侍郎。封德彝从秦王李世民东征王世充。武德八