Före detta arbetsmarknadsminister i Nordirland, Lord Hain, sade att fredsprocessen "så lätt kunde upplösas".
Han sade att Brexit-lagen bör ändras för att stödja upprätthållandet av den öppna gränsen mellan Nordirland och Irland.
En regeringsminister sade att regeringen var fast besluten att bygga vidare på fredsprocessen.
De talade när kollegerna debatterade regeringens förslag till lagstiftning som kommer att tillåta Förenade kungarikets avresa från EU.
Bland flera ändringsförslag som föreslogs var lord Hains krav på premiärministern att stödja upprätthållandet av den öppna gränsen mellan Nordirland och Republiken Irland i enlighet med långfredagsavtalet.
Han sade: "Om folkomröstningen betyder Brexit till vilket pris som helst kan det mycket väl innebära en farligt hög kostnad för fredsprocessen i Nordirland."
"Bebyggelsen i Nordirland bygger på en känslig balans mellan de tre delarna i långfredagsavtalet - relationer inom Nordirland, mellan Belfast och Dublin, och Dublin och London," Lord Hain berättade kamrater.
"Brexit kommer att testa var och en av dessa relationer, och om regeringen strävar efter en hård Brexit det kan göra djupgående skada på alla tre."
Alla fysiska gränser kommer att skapa olust och skulle kunna destabilisera regionen och "oskadliga" fredsprocessen, varnade han.
Nordirlands minister Lord Dunlop sade att regeringen var absolut engagerad i att upprätthålla och bygga vidare på fredsprocessen.
Han sade: "Ingen vill se en återgång till det förflutnas gränser."
Men han sade att lagförslaget om två klausuler helt enkelt kommer att utlösa Brexitprocessen och inte behövde ändras för att införa ett åtagande om att upprätthålla en öppen gräns, och tillade: "Inget sådant åtagande är nödvändigt i detta lagförslag.
"Särskilt mot bakgrund av de starka försäkringar jag har gett, och vår önskan att hålla lagförslaget rent och enkelt."
Lord Hain, som drog tillbaka sitt ändringsförslag mot bakgrund av ministerns försäkringar, försökte senare ändra Brexit-lagen för att hålla Storbritannien kvar på den inre marknaden.
Efter en debatt förkastades detta av kollegerna mellan 299 och 136.
Andra ändringsförslag som kommer att behandlas av kolleger fokuserar på rättigheterna för EU-medborgare bosatta i Förenade kungariket att stanna kvar efter Brexit, och kräver av Labour en "betydande omröstning" om den överenskommelse som nåtts efter förhandlingarna.
Parlamentsledamöterna har redan röstat för regeringens Brexit-lag, som utarbetades efter det att Högsta domstolen beslutat att Theresa May inte kunde åberopa artikel 50 i Lissabonfördraget utan att rådfråga parlamentet.
Om herrarna stöder några ändringar av lagstiftningen, kommer den att återvända till underhuset där parlamentsledamöter kommer att besluta om de ska godta förslag från kollegerna.
Brexit kan innebära en "farligt hög kostnad" för freden i Nordirland, har en före detta minister varnat.