桓彝年少就丧父，家境贫寒，但安贫乐道。性格旷达开朗，年纪轻轻已获得很高名声，并有鉴人之才。年轻时就与庾亮深交、周顗所器重。晋惠帝时为州主簿，拜骑都尉。后随时任安东将军的晋元帝南渡，任逡遒县令。不久任丞相中兵属，累迁中书郎、尚书吏部郎，有名于朝廷。王敦之乱以后，王敦击败朝廷军队并执掌朝政，疑忌一众有名望的士族，桓彝因而称病辞职。及至太宁二年（324年），晋明帝快将讨伐王敦时，桓彝受命为散骑常侍，参与机密谋略。王敦之乱平定后，获封万宁男。及后出任宣城内史，任内亦有德政，受百姓爱戴。咸和二年（327年）