En 2011, il est mis en cause dans le cadre d'une accusation d'agression sexuelle à New York, ce qui le contraint à quitter la tête du FMI ; il bénéficie finalement d'un non-lieu au pénal, avant qu'un accord financier impliquant le versement de plus d’un million de dollars à la plaignante ne mette fin l'année suivante à la procédure engagée au civil. Il est par la suite mis en cause dans d'autres affaires de mœurs, qui se soldent par un classement sans suite ou une relaxe.