段佛荣担任豫州刺史，夏侯详为属城表。转任治中从事史，迁任别驾。齐朝时萧鸾为豫州刺史，厚遇夏侯详。萧鸾掌握政权，召还夏侯详到建康，对他有重任。夏侯详、裴叔业经常与萧鸾日夜商议自立为帝事。夏侯详说：「不为福始，不为祸先」。萧鸾于是派他出任征虏长史、义阳郡太守。建安戍被北魏包围，夏侯详为建安戍主，兼边城新蔡二郡太守，率光城郡、弋阳郡、汝阴郡之兵救援。夏侯详大军到达建安戍，北魏军撤退。北魏在淮上置荆亭戍，作为南征据点，夏侯详率精鋭兵士攻打，北魏军败，舍城逃走。建武末年，夏侯详召还为游撃将军，又出任南中郎司马