Jermolov ble presentert for Katarina av Grigorij Potemkin, utprøvd av Anna Protasova og erstattet i 1786 Aleksander Jermolov som generaladjutant og elsker. Han ledsaget henne på reisen til Krim i 1787. Han tapte sin stilling hos Katarina etter å ha vært utro med hoffdamen Sjtsjerbatova.