MSP röstade med 59 till 56 för att avvisa att föra Anne McTaggarts Transplantation Bill framåt.
Holyroods hälsokommitté stödde målet, men inte detaljerna i lagförslaget.
Regeringens ändring som accepterades av fysiska planeringsorganisationer sade att det fanns "meriter" till ett sådant system och utlovade ett samråd.
Ändringsförslaget, som lämnats in av folkhälsominister Maureen Watt, gav uttryck för "allvarlig oro" över "den praktiska effekten av de specifika detaljerna" i lagförslaget i dess nuvarande form och hindrade det från att gå vidare till nästa behandlingsfas.
Watt sade dock att man borde överväga ett "genomförbart" system med undantag, och uppmanade regeringen att "börja arbeta för att förbereda ett detaljerat samråd" under nästa parlament.
SNP erbjöd ledamöterna en gratis omröstning i frågan, och 11 administrativa MSP röstade emot regeringens ändringsförslag, som vann endast med röster från konservativa och liberaldemokratiska medlemmar.
Den som vill donera sina organ efter döden måste för närvarande "opt-in" genom givarkortsschemat.
McTaggart föreslog att man skulle gå över till ett system med "mjuka undantag" som skulle göra det möjligt att använda delar av en död vuxens kropp vid transplantationer utan uttryckligt tillstånd.
Det skulle fortfarande ha varit möjligt för människor att välja organdonation, men lagförslaget skulle också ha gett vuxna möjlighet att utse någon att fatta beslut om tillstånd för deras räkning.
BMA Skottland hade uppmanat kust- och havsområden att stödja de allmänna principerna i Transplantation Bill, och kust- och havsområden från hela kammaren talade för det under debatten.
SNP MSP, inklusive Kenneth Gibson, Sandra White och Stewart Stevenson, uttalade sig för McTaggarts lagförslag och Gibson uppmanade medlemmarna att "stå upp och bli räknade".
Samtidigt som de och ett antal av sina kolleger röstade emot regeringens ändringsförslag såg de elva konservativa MSP:s och en liberaldemokrats röster till att lagförslaget inte kommer att gå vidare till nästa steg.
Watt sade: "Medan vi är mycket positiva till åtgärder för att öka organtillgången anser vi att ledamotens lagförslag inför det skotska parlamentet är allvarligt bristfälligt och faktiskt kan skada organdonationen.
"Många av de åtgärder som anges i lagförslaget kan göra saker och ting värre på grund av juridiska tvetydigheter och förseningar i beslutsprocesser.
– Vi är oroliga för att förslagen kring auktoriserade utredare (AIP) och fullmakter kommer att göra donationsvägen betydligt mer komplicerad och kan leda till att potentiella donatorer går förlorade.
"Vi är också oroliga för att bestämmelser om vuxna med arbetsoförmåga kan göra det svårt för sådana vuxna, eller deras släktingar, att välja bort dem och lämna dem "låsta" att donera."
Ministern sade att McTaggarts lagförslag hade "hjälpt till att höja debattens profil".
Hon sade att regeringens samråd skulle vara "ett tillfälle att söka allmänhetens åsikter i en rad frågor, inklusive mjuk opt-out, och bestämma vilka åtgärder den skotska regeringen bör vidta härnäst för att öka tillgången till organ".
McTaggart, som sannolikt inte kommer att återväljas till Holyrood i maj efter att ha placerats sist på labours Glasgow-lista, sade att resultatet var "djupt nedslående".
Hon sade: "Om regeringen menar allvar med att införa mjuk opt-out borde de ha tagit tillfället i akt att lägga fram ändringsförslag i steg två och steg tre, i enlighet med parlamentsförfarandet.
"Jag finner det häpnadsväckande att över 200 ändringar av lagförslaget om markreform redan har lämnats in, men SNP-regeringen finner min relativt korta och mindre komplexa räkning oföränderlig."
Den skotska regeringen sade att den skulle överväga att lägga fram ny lagstiftning om ett "opt-out" system för organdonation trots att fysiska och juridiska personer avvisar en labourmedlems lagförslag i frågan.