Vystudoval práva na univerzitě v Saratově, od roku 1962 byl členem KSSS. Od roku 1968 pracoval jako prokurátor v Uljanovsku. V roce 1983 byl jmenován do čela komise vyšetřující nelegální obchody s bavlnou v Uzbekistánu. Spolu s dalším vyšetřovatelem Nikolajem Ivanovem odhalili mimořádnou míru korupce a zneužívání moci, spojenou s osobou bývalého prvního tajemníka uzbecké komunistické strany Šarafa Rašidova. Skandál vedl k personálním změnám ve stranickém vedení a Gdljan se stal populárním představitelem perestrojky. V roce 1989 byl zvolen na Sjezd lidových poslanců a stal se členem Nejvyššího sovětu. Zároveň proti němu byla vedena kampaň, v níž byl obviněn z překračování pravomocí, na jaře 1990 byl vyloučen z komunistické strany a propuštěn z prokuratury, jednalo se i jeho zbavení poslanecké imunity. V době Srpnového puče byl mezi zatčenými demokratickými aktivisty, v roce 1992 obdržel za své postoje řád Obránce svobodného Ruska.