Jagoda war für den Aufbau des sowjetischen Straflagersystems GULAG mitverantwortlich, welches vor allem zu Beginn der 1930er-Jahre für große Bauvorhaben herangezogen wurde. Er war auch an der als Entkulakisierung bezeichneten Vernichtung der wohlhabenderen Landbevölkerung ab 1929 beteiligt. 1931 verlor er einen Machtkampf gegen andere stv. OGPU-Vorsitzende und wurde zum zweiten Stellvertreter Menschinskis degradiert. Von 1931 bis 1933 war er für den Bau des Weißmeer-Ostsee-Kanals verantwortlich und anschließend bis 1934 für den Bau des Moskau-Wolga-Kanals. Bei beiden Projekten starben jeweils aufgrund schlechter Arbeitsbedingungen zehntausende Häftlinge. Für seine Leistungen beim Bau des Weißmeer-Ostsee-Kanals erhielt er den Leninorden. Er gehörte zusammen mit Maxim Gorki zu den Koautoren eines Buches über den Kanalbau, in dem die Arbeiten erheblich geschönt dargestellt wurden.