杜如晦是唐代初年有名的宰相之一,他是杜吒的次子。杜吒在隋代的时候做过昌州长史,(位于湖北的枣阳),他应该是在隋大业以前担任过这个职务的。杜吒可能是在隋炀帝时期去世的,他有着至少三个儿子,历史上也没有记载他的婚姻情况。杜如晦最小的弟弟杜楚客,少年时期跟随着叔父杜淹,后来他的哥哥被王世充杀害以后,他逃离了这个地方。杜楚客可能就是在那个时候结婚生子的,在洛阳平定以后,劝说他的哥哥杜如晦为他的叔父杜淹求情。不过,起初杜如晦不太愿意,在杜楚客晓之以理,动之以情下,这才打动了杜如晦的内心。在杜淹获得释放以后,杜楚客决定辞去官职,归隐嵩山。在贞观四年的时候,杜如晦因病去世,时年46岁。杜如晦去世以后,李世民决定把他的弟弟杜楚客找回来,他一直和他的妻子生活在嵩山。李世民见到了杜楚客,说他很想念他的哥哥杜如晦,“为忆尔兄,意欲见尔,宜识朕意,继尔兄之忠义也,“。后来,杜楚客就被拜为蒲州刺史(治所在山西永济市西南蒲州镇),很有才能,也深得李世民的欣赏。不久以后,杜楚客被任命为魏王李泰的长史,这是个从四品的官职,还是比较高的。随后,杜楚客被拜为工部尚书,还管理魏王府的事务,但是因为受到了李泰事件的牵连,也由于杜如晦的原因,被免去了职务。最后一些年,杜楚客还担任了县令的职务,最后在永徽六年去世的,时年68岁。