Не был женат, но имел от дочери московского купца ЕЛИЗАВЕТЫ МИХАЙЛОВНЫ ГУСЯТНИКОВОЙ (Поповой?)(1756-1791) и от ТАТЬЯНЫ ФЕДОРОВНЫ ЯРОСЛАВОВОЙ шесть сыновей и двух дочерей, которым впоследствии присвоены были дворянское достоинство и фамилия Орловых. Так что это не просто воспитанники были, а незаконнорожденные дети его