1859年4月26日にツァールスコエ・セローで、ミハイル・ニコラエヴィチ大公とその妻オリガ・フョードロヴナ妃（バーデン公女ツェツィーリエ）のあいだの第一子、長男として生まれた。家族からは「ビンボ」の愛称で呼ばれていた。1862年、父がカフカース副王に任命されたのに伴い、3歳のニコライは家族と一緒にティフリス（現在のトビリシ）に引っ越した。一家は20年以上にわたって任地で暮らしたため、ニコライも少年期と青年期をグルジア地方で過ごした。ニコライはスパルタ式教育を受けた。父ミハイルは軍事にばかり関心のある人物で、グルジア地方の統治に関してはまるで疎かった。母オリガは非常にしつけの厳しい母親で、家族全体を支配する傾向がある一方で、ニコライを溺愛していた。ニコライと母との関係は、現存する往復書簡からも窺われるように、近親相姦的ともいえるほど固く結びついたものだった。オリガは何かにつけて高いハードルを設ける人だったが、ニコライは常に母親を満足させる優秀な息子だった。一家の子供たちは首都の親族たちと接することのない環境で育ったため、ロシア皇帝一族の中では最も進歩的かつ自由主義的な思想を抱くようになった。一家の息子たちは家庭教師によって教育されたが、ニコライは才能ある生徒であり、多くの教師たちを満足させた。幼いころから美術、文学、建築その他の諸科学に関心を示した。しかし他の皇族男子と同じく、ニコライもまた軍人となることを望まれていた。1877年の露土戦争では、カフカース弓兵部隊の大軍勢を率いて戦った。この従軍体験はニコライのトラウマになり、これ以後は平和主義者になった。父ミハイルが1882年に国家評議会議長に任命されると、一家はサンクトペテルブルクに戻った。ニコライはマリヤ・フョードロヴナ皇后の近衛騎兵部隊に配属された。騎兵部隊では、ニコライはその飾り気のない性格から「フィリップ平等公」のあだ名を付けられた。1879年、20歳になったニコライは母方の伯父であるバーデン大公フリードリヒ1世の宮廷を訪れ、そこで大公の娘で従妹のヴィクトリアと恋に落ちた。しかしロシア正教会は教会法で従兄妹同士の結婚を禁止しており、このときもニコライの結婚に反対した。それでもニコライは伯父のアレクサンドル2世に結婚の許しを求め、ヴィクトリアと結婚できないならば一生独身で通すと脅しをかけたが、結局結婚は実現しなかった。ヴィクトリアは後にスウェーデン王グスタフ5世と結婚した。ニコライは1880年代になると二度目の花嫁探しを始め、今度はパリ伯フィリップの長女アメリー・ドルレアンとの結婚を望んだ。ところがロマノフ家はオルレアン家を軽蔑しており、またカトリック教徒のオルレアン家側もロシア皇族との結婚に際して求められる正教への改宗に難色を示したため、この縁談も破談となった。アメリーは後にポルトガル王カルロス1世と結婚した。ニコライはこれ以後二度と結婚を考えることはなかったが、その代わり多くの女性との情事を楽しんで過ごした。皇帝一族は、ニコライには何人かの私生児がいると考えていた。1910年になっても、ニコライはナタリヤ・バリャティンスカヤ公爵令嬢に熱烈な恋をしていた。
1994年に自由民主党と新党さきがけとの連立政権を組んだものの、翌年の第17回参院選で惨敗したことを受け、1996年に社会党は社会民主党に改称する。同年、社民党とさきがけの議員を糾合する新党として旧・民主党が発足するが、いわゆる「排除の論理」によって土井や村山富市党首らは新党への参加を拒否される。半数以上の議員を民主党に引き抜かれた社民党は党首を村山から土井に交代させて同年の第41回総選挙に臨むが、議席は解散前の30議席から15議席へと半減。しかし選挙敗北の責任は問われず、むしろ土井の党の大黒柱としての地位が強化される形となった。1998年、社民党は連立与党を離脱した。1999年10月、中国での建国50周年記念の軍事パレードに参加した。2000年に社会主義インターナショナルの副議長に就任し、2008年まで務める。  2001年に拉致被害者家族から、土井が直接返信を頼んだにも関わらず拉致問題解決協力への返事を無視しているとの声明が出される。2002年3月に辻元清美政策秘書給料略取事件で詐欺の指南役をかばったことから、土井事務所の政策秘書・五島昌子の関与が取りざたされる。2002年10月、北朝鮮による日本人拉致問題が明らかになり、それまで社民党が北朝鮮との友好や「過去の清算」を重視するあまり、拉致事件を追及するどころかこれに目をつむり、北朝鮮側を擁護してきたとの批判が強まる中、土井は北朝鮮から「拉致という事実はない」と言われ続けてきたので、追及を十分にできなかったと釈明し謝罪した。さらに土井は、党の公式サイトで北朝鮮による日本人拉致事件を「拉致は創作された事件」と主張した論文（月刊社会民主1997年7月号）を事件が明るみに出た後も、削除せず掲載し続けていたことについても謝罪した。これを受けて拉致被害者の親族らは、北朝鮮と太いパイプのあった土井に何度か拉致被害を相談に行ったが結局無視された経験があるため（拉致被害者はその後、自民党議員に相談するようになる）、「日本の政治家なのに日本国民の生命より北朝鮮側に気をつかっていたのではないか」「（謝罪は）今さら遅過ぎる」と述べた。さらに1989年7月、韓国の民主化運動で逮捕された在日韓国人政治犯29名の釈放を求めるという趣旨の要望書が、当時の土井を含めて日本社会党・公明党・社会民主連合・無所属の議員133名の署名とともに韓国政府へ提出された。このとき釈放要望対象となった政治犯29名の中に、辛光洙や拉致共犯者などが複数含まれていたため、2002年10月19日に当時官房副長官であった安倍晋三は土井に対し名指しで「極めてマヌケな議員」と評し、また日本共産党からも激しく批判された。土井は秘書を介して、慰安婦像設立を目指して活動していた当時の挺対協の代表である尹貞玉に対して頻繁に活動費として金銭授与を行なっていたとされる。2003年、静岡空港建設反対の国会議員署名活動で署名者に加わっている。しかしこれとは反対に、土井の選挙区近くへの建設が計画され、市民団体を中心に反対運動が繰り広げられたものの建設された神戸空港の建設には「地元経済への貢献」などを理由に賛成している。北朝鮮による日本人拉致問題に対する言動をはじめとする過去の北朝鮮寄りの姿勢や、朝鮮総連との親密な関係など、朝鮮半島政策をめぐって「親北」の立場を貫いてきたことを一因に社民党を孤立させ、没落へと追い込んだ戦犯とも評されており、2003年の第43回総選挙では自民党の大前繁雄に小選挙区で初めて敗北を喫した。比例復活により落選は免れたが、同年11月13日に党勢衰退の責任を取り党首を辞任した。