出自河东裴氏定着五房之一的东眷裴，北魏、西魏及北周官员。裴汉的祖父裴德欢曾任北魏魏中书郎和河内郡守，父亲裴静虑则是银青光禄大夫，赠汾州刺史，长兄裴宽官至骠骑大将军、开府仪同三司。他操守高雅，聪明好学，曾经看见别人创作百字诗，看过后就能背诵。魏孝武帝初年，以员外散骑侍郎为起家官。西魏大统五年（539年），裴汉除授大丞相府士曹行参军，补任墨曹参军。他擅长文书，见识高明，做事决断，大丞相府的人说：「太阳下文采最好的是裴汉。」大统十一年（545年），李远出镇弘农，启用他为司马。李远很器重他，不久加官安东