六世祖裴诜是西晋太常卿，因为西晋动乱，到凉州避难。苻坚平定河西，裴诜东归故乡，因此居住在解县，家族世代以文学显名，五人被举荐为秀才，然后再被举荐为孝廉，当时的人赞美他们。裴佗的父亲裴景惠任州别驾。裴佗容貌魁梧，巍然有才具与名望，少年时学习杜预注释的《左传》、《毛诗》、《周易》，都能够揭示它们的宗旨和大致内容，被举荐为秀才，因为策试高中被任命为中书博士，转任转司徒参军、司空记室、扬州任城王元澄开府仓曹参军，又入朝担任尚书仓部郎中，代理河东郡太守，所在之处都被称道有政绩。回朝后，裴佗担任尚书考功郎中、河东邑