Mediauppspelning stöds inte på den här enheten
Richard och Peter Chambers, Rob Williams och Chris Bartley vann Storbritanniens tredje roddmedalj, med försvarare Danmark tar brons och Australien fjärde.
Mediauppspelning stöds inte på den här enheten
Chambers duo blev de första brittiska bröderna att vinna en olympisk medalj sedan Greg och Jonny Searle tog brons i de coxless fyra vid 1996 års OS i Atlanta.
Richard Chambers sade: " Det var verkligen brutalt. Vi bråkade bara och kämpade för att hamna i strid igen.
"Vi kämpade för att hålla takten i de andra besättningarna i första kvartalet av loppet men vi grävde våra klackar i och kämpade riktigt hårt."
Peter Chambers sade: " Vi är utslitna. Vi hade oturen att få ett silver med dessa villkor. Vi är förtjusta i silver, men vi ville ha guld.
"Fair spela för sydafrikanerna, de vann den rättvisa och fyrkantiga."
Williams sade: " Vi ville vinna. Vi måste vara glada över att få en medalj på våra OS hemma. Synd att vi inte vann, men vad kan du göra? Det är synd."
Den brittiska kvartetten, som tog brons vid förra årets VM, kom fram efter att ha vunnit vid
De följde upp en där de omarbetade Australien i final 250m, med den snabbaste tiden i semifinalen för att gå vidare till final.
De var långsamma ut ur kvarteren och var nere i femte som Danmark tog en tidig ledning på 500m.
Den brittiska båten kämpade tillbaka och var nära till nivå med Danmark och en återuppväckt sydafrikansk besättning när de gick in i finalen 500m.
Men de missade precis den sista stöten, och de blev lurade på linjen av Sydafrika.
Det var Sydafrikas första olympiska roddguld och den första medaljen av något slag för bröderna Chambers, Williams och Bartley.
Storbritanniens lättviktare mäns fyra vann silver när Sydafrika slog dem till guld med bara en kvarts sekund i en spännande final på Eton Dorney.