Rangers bekräftade att Jardine hade förlorat en 18-månaders kamp mot cancer på torsdag kväll.
Han var en del av deras Europacupvinnares Cup-vinnande lag 1972 och spelade 38 gånger för sitt land.
Han respekterades inte bara av Rangers fans utan också den bredare fotboll gemenskapen
Ibrox manager Ally McCoist sa att alla på Rangers var förkrossade över förlusten av "en legend" och "en stor man".
Och klubben sa att deras tankar var med hans fru Shona, barnen Steven och Nicola, hans barnbarn och vänner.
Hjärtan framförde också deras kondoleanser till hans familj, med Tynecastle klubben tillägger att de var djupt bedrövad över döden av en klubb legend.
Mediauppspelning stöds inte på den här enheten
Edinburgh-född Jardine började sin karriär med Rangers 1965 och fortsatte att göra över 600 framträdanden för Ibrox sidan.
Förutom att spela i klubbens europeiska triumf 1972, vann full-back tre topp-flight titlar, fem skotska Cup och fem skotska League Cups med Rangers.
En flytt till Hearts följde 1982 och, tillsammans med tidigare Rangers lag-kamrat Alex MacDonald, var han gemensam chef på Tynecastle mellan 1986 och 1988.
Under deras befäl förlorade Edinburghklubben på den skotska titeln den sista dagen av säsongen 1985-86, och Celtic drog fördel av Hearts nederlag i Dundee för att putta dem till kronan.
Jardines bidrag på fältet var dock en sådan term att han för andra gången vid 37 års ålder fick namnet Scotland's player of the year för andra gången. Hedern kom 11 år efter att han först vunnit utmärkelsen.
Efter att hans spelkarriär slutade, återvände han till arbetet för Rangers i olika roller. I november 2012 bekräftades att Jardine behandlades för cancer.
"Han respekterades inte bara av Rangers fans men också bredare fotboll gemenskapen och han är en enorm förlust för spelet," McCoist sade på Rangers webbplats.
"Jag hade förmånen att se Sandy spela för Rangers när jag var en ung pojke, Jag hade haft nöjet att arbeta med honom nära sedan jag återvände till klubben 2007 och han var en verkligt anmärkningsvärd människa.
"Hans prestationer både på och utanför planen är oöverträffade och jag var hedrad över att se honom som en vän.
"Han gav allt för denna stora klubb och arbetade outtröttligt i ett antal roller eftersom han ville se till att traditioner, historia och standarder på Rangers upprätthölls.
"Han sa nyligen att han var stolt över att vara en Ranger och ville bli ihågkommen för alltid som en Ranger. Ja Sandy, du kommer att gå ner i historien som en av de största genom tiderna och vi kommer att sakna dig fruktansvärt."
Under sin tid på Ibrox var Jardine en lagkamrat till Sir Alex Ferguson. Den förre chefen för Manchester United och hans hustru, Cathy, lade till sin egen hyllning.
"Från Cathy och jag, detta är några av de värsta nyheter vi har hört," sade han. "Sandy var en ädel och modig man.
"Den respekt han hålls i på Rangers är enorm. Han var en av de bästa spelarna någonsin att bära tröjan. För Shona och familjen uttrycker vi vår medkänsla och sorg."
Jardines internationella karriär sträckte sig över nio år och inkluderade framträdanden vid 1974 och 1978 års VM-turneringar. Han var kapten i sitt land vid nio tillfällen.
Campbell Ogilvie, den skotske FA-presidenten, uttryckte sitt deltagande. "Jag är oerhört ledsen över nyheten om Sandys bortgång", sade han.
"Jag har känt honom i mer än 40 år och fann honom vara lika varm och artig utanför fältet som han var pålitlig och elegant på det.
"Såväl som att vara en talisman för både Rangers och Heart of Midlotian under en lysande och varaktig spelkarriär, var han också en fantastisk tjänare till Skottlands landslag."
Den keltiska verkställande direktören Peter Lawwell hyllade också Jardine. "Detta är helt förödande nyheter," sade han.
"Han var en mycket fin man och det var ett privilegium att lära känna honom. Sandy var allmänt respekterad över hela spelet och han kommer tyvärr missas av oss alla. "
Tidigare Rangers, Hearts och Skottland försvarare Sandy Jardine har dött vid 65 års ålder.