Philip Garvey, 56, hans fru Ann, 55, och deras barn Emily, 23, och Daniel, 20, dog när deras plan kom ner i Somerset i november 2015.
De flög från Surrey till Devon.
Air Occidents Investigation Branch (AAIB) sade att det var möjligt att Garvey försökte starta landningen manuellt medan autopiloten fortfarande var på.
Garvey hade åkt från Fairoakes flygplats, nära familjens hem i Woking, och var på väg till Dunkeswell Aerodrome.
Enligt AAIB:s rapport var det en mulen och regnig dag och alla planerade flygningar vid Dunkeswell hade ställts in på grund av vädret.
Flera vittnen berättade för utredare att de hörde ett ljud som ett plan som gjorde "aerobatik" innan Piper Malibu Mirage dök upp från molnen och träffade marken nära Churchinford, söder om Taunton.
AAIB sade: "Bevisen från autopilot undersökning systemet föreslog att, som piloten vände på den slutliga inflygningen och började gå ner, autopiloten kanske inte har kopplats ur på grund av ett mentalt fel, felaktig knappval eller ett tekniskt fel."
Planet sågs snabbt klättra in i moln innan det kom ner.
AAIB drog slutsatsen att det var "omöjligt att med säkerhet avgöra orsaken till den första snabba klättringen" men sade att försök att åsidosätta autopiloten skulle ha fått planet att gå "näsa upp" eftersom det skulle kämpa för att upprätthålla sin inställda höjd.
Även om flygplanet fortfarande kunde ha varit kontrollerbart, stod det att "återhämtningen kan ha varit bortom hans förmåga".
Garvey hade varit pilot sedan 2012 och flugit till Dunkeswell 25 gånger sedan 2013, varav 14 gånger från Fairoaks.
Hans instruktörer berättade för utredarna att han var "mindre kapabel än genomsnittliga piloter vid multi-tasking och dålig på att prioritera särskilt när under tryck".
En annan instruktör sade Garvey "skulle ofta ha svårt att hantera ett ovanligt eller oväntat tillstånd".
En pilot som dog tillsammans med sin familj när planet han flög kraschade var "dålig under tryck", hans instruktörer har berättat utredare.