El FSB es la organización sucesora del Comité para la Seguridad del Estado (KGB) de época soviética. Poco después del fallido intento de Golpe de estado de 1991, —en el cual participaron algunas unidades del KGB y también su director Vladímir Kryuchkov— el KGB fue disuelto en noviembre de 1991. Tras el hundimiento de la antigua URSS, en su lugar fueron creadas dos nuevas agencias: el Servicio de Inteligencia Extranjera (SVR) y la Agencia Federal de Comunicaciones e Información del Gobierno (FAPSI). En enero de 1992 fue creada otra nueva agencia, el llamado "Ministerio de Seguridad", pero a raíz de la Crisis constitucional rusa de 1993 este organismo fue reorganizado y transformado en el Servicio General de Contrainteligencia (FSK). Esta nueva agencia continuó existiendo hasta que el 3 de abril de 1995 fue nuevamente reorganizada por Borís Yeltsin y reestructuró el FSK pasando a ser FSB.