Gagarin la seg opp en betydelig formue, ved illegal handel og ved å unndra keiserriket meget av skatter og avgifter fra området. I 1714 ble tsar Peter I informert av finansinspektøren Aleksej Nesterov (henrettet 1722) om Gagarins bestikkelighet, men han viftet beskyldningene unna. Etter nye anklager ble Gagarin til slutt avsatt, og henrettet ved henging den 17. juni 1721 i St. Petersburg.