Yagoda nació en el seno de una familia judía,concretamente era hijo de un joyero judío de Letonia y se unió a los bolcheviques en 1907.