Po povprečnejši sezoni 1995 je Ladejo svoj povratek napravil na Evropskem dvoranskem prvenstvu 1996 v Stockholmu in s časom 46.12 prepričljivo premagal vso konkurenco. Na britanskem državnem prvenstvu je tekel svoj osebni rekord 44.66, a še vseeno zaostal za Rogerjem Blackom in zasedel drugo mesto. Drugo mesto je bilo vseeno dovolj za zagotovitev mesta na Poletnih olimpijskih igrah 1996 v Atlanti. Na svojih drugih olimpijskih igrah je Ladejo na 400 m izpadel že v četrtfinalu. Vtis je nato popravil v štafetni preizkušnji, v kateri je skupaj z Jamiejem Baulchem, Markom Hyltonom in Markom Richardsonom zmagal v svoji kvalifikacijski skupini. V polfinalu je britanska štafeta postavo malce spremenila, v Iwan Thomas-Baulch-Ladejo-Richardson, a še vseeno zasedla prvo mesto in se uvrstila v finale. Tam so Thomas, Baulch, Richardson in Black postavili čas 2:56.60 in zaostali zgolj za ameriško štafeto (2:55.99). Olimpijsko srebro je, tako kot štiri leta poprej v Barceloni, pripadlo tudi Hyltonu in Ladeju, čeprav v finalu nista tekla.