德戡幼年孤弱，以杀猪谋生。有个和尚释粲，与司马德戡母和氏私通，遂抚养教育他，通过如此解书计。开皇年间，司马德戡为侍官，渐迁至大都督。跟随杨素出讨汉王杨谅，充当内营左右，司马德戡俊辩多计，杨素很喜欢他。以勋授仪同三司。大业三年（607年），为鹰扬郎将。从隋炀帝讨辽左高句丽，进位正议大夫，迁武贲郎将。从隋炀帝至江都，领左右备身骁果万人，在城内宿营。因隋末大乱，司马德戡率骁果谋反，弑隋炀帝，与其党孟秉等推宇文化及为丞相。宇文化及首封司马德戡为温国公，食邑三千户，加光禄大夫，仍统本兵，宇文化及很猜忌他。后数日，