Род происходит, по апокрифическим сведениям родословной легенды, от думного дворянина "Михаила Ивановича Олсуфьева", помещика серпейского, за участие в разбитии под Молодями Девлет-Гирея, хана крымского (1572), получившего в Серпуховском уезде село Липицы с деревнями. По документам род прослеживается с начала XVII века.