ピーター・トービンはレンフルーシャー州ジョンストンで生まれ、アイルランド系のカトリックの家庭で育った。4人の姉と3人の兄がいた。伝えられるところによれば、トービンはフランス外人部隊に所属していたが、後に脱走したとされる。トービンは扱いの難しい子供だった。1953年、彼が7歳のときに教護院に送られた。その後に少年院で服役し、さらに1970年にイングランドで住居侵入と偽造で有罪になり服役したと伝えられている。ジョンストンのアマチュアサッカーチーム「ソーン・アスレチック」 (英: Thorn Athletic) でまずまずの成功を収めた後、サセックス州ブライトンへ転居し、1970年8月6日にその地で17歳の事務員兼タイピストの女性と結婚した。2人は1年後に別居し、1971年に離婚した。1973年にトービンは30歳の看護師と再婚した。2人は一男一女をもうけたが、娘は生後間もなく死亡した。それから1976年に離婚し、妻は息子を連れて去っていった。その後、トービンは別の女性と関係を持ち、1987年12月に男の子が生まれた。1989年に2人は結婚した。新しい妻は当時17歳だった。1990年に2人はウェスト・ロージアン州バスゲイトへ転居した。その妻も1990年にトービンの元を去り、故郷のハンプシャー州ポーツマスへ帰っていった。後に、元妻は3人とも、トービンは魅惑的で身なりの良い人物であり、そこに魅力を感じていたが、結婚生活の最中で暴力的な性格になり、サディスティックな性質を見せたと語った。トービンは1991年5月にケント州マーゲイトへ転居し、1993年にハンプシャー州ハバントへ転居した。その付近には2人目の妻との間で生まれた息子が住んでいた。
人類で初めて月面を歩いた男に対して民主・共和両党からアプローチがあったが、宇宙飛行士から上院議員に転身した先輩のジョン・グレンやハリソン・シュミットらとは異なり、ニールは政治的な誘いは一切断った。彼は個人的には、「合衆国の正義」を基にアメリカが「世界の警察官」として行動することには反対だった。1971年には国家への貢献を表彰され、合衆国陸軍士官学校からシルヴァヌス・セイヤー賞(Sylvanus Thayer Award)を授かった。1972年には、アームストロング一族の出身地であるスコットランドのラングホルム(Langholm)に招待された。ニールは「この地が自分の遠い故郷である」と宣言し、この自治都市の初めての自由市民として認定された。儀式の中で、治安判事(Justice of the Peace)は「この地で見つけたすべてのアームストロングを絞首刑にせよ」という、400年前に施行され現在でも廃止されていない法律の条文を読み上げた。1979年、オハイオ州レバノン(Lebanon)の自宅の農場で農作業をしていた時のことである。刈取機から飛び降りた際、結婚指輪が機械に引っかかり、指輪をはめていた指が切断されてしまった。しかし彼は全く慌てることなく、すぐさま切断された指を拾うと氷に詰めて、ケンタッキー州ルイスビルのジューウィッシュ病院まで持って行き縫合手術を受けた。1991年、コロラド州アスペンで友人とスキーをしている際、軽い心臓発作に見舞われた。この1年後には父親が、さらに9か月後には母親が、同じ心臓発作で他界した。アームストロングは最初の妻ジャネットと38年の結婚生活の後1994年に離婚した。2人目の妻キャロル・ヘルド・ナイトと出会ったのは1992年のとあるゴルフトーナメントだった。この時は朝食で短い会話をしただけだったが、2週間後に彼女が自宅にいるとニールから「いま何をしているのか」という電話があった。「庭の桜の木を刈っているところだ」と答えると35分後にニールが手伝いに来た。1994年6月12日、ニールはオハイオで、この女性と2度目となる結婚式を挙げた。披露宴はカリフォルニア州のサン・イシドロ・ランチ(San Ysidro Ranch)で行なわれた。1994年、彼の自筆のサインが高額で売買され多数の偽物が出回っていることを知ってからは、サインの要求は一切断ることにした。eBayなどのオークション・サイトでは1,000ドルで取引されることもあり、乗組員のサインが書かれた11号の写真などの中には5,000ドルに達する物もあるという。そのため、以降ニールのところにサインをねだる手紙を送った者は「申し訳ありませんがサインはお断りしております」と丁重に書かれた定型文書を受け取ることになる。ニールのサイン拒否の方針はよく知られていることだが、それでも中には「誰かが（ニールが）サインをすることを妨害しているのなら、すぐにやめさせろ」などと言う者もいたため、作家のアンドリュー・スミスは2002年のリノ・エアレースで、改めて人々にニールはサインをする意図がないことを知らしめた。サインの他には、ボーイスカウトのイーグル賞受賞者への祝福の手紙を送ることも取りやめた。そのような手紙は受賞者を個人的に知る者から送られるべきだとニールは考えたからである。ニールはあまりにも有名になりすぎたため、彼の名声を利用したトラブルもまた、何年にもわたって発生するようになった。1994年にはホールマーク社(Hallmark Cards)が、彼の名前と "one small step" の一文を無許可で使用したとして、同社を訴えている。ニールのパデュー大学への寄付金の金額が公表されていないとして訴えられた件は、訴訟が却下された。このような問題が発生したことにより、ニールおよびNASAは宇宙飛行士の名前、写真、記録などの使用に許可を与えることに対して慎重になった。ただし非営利団体や公共的な組織に対しては、彼は常に使用許可を与えている。2005年5月には、妙な法律的闘争に巻き込まれることになった。20年来通っているマルクス・サイズモアという床屋がニールの髪を切った後、それを彼の許可を得ることなく、収集家に3,000ドルで売ったのである。ニールは床屋に対し、髪の毛を取り戻すか、もしくは彼が指定する慈善活動をしなければ訴えると通告した。サイズモアは髪の毛を取り戻すことは不可能だったので慈善活動のほうを選択した。ニールには、北アイルランドティロン州バリゴーレイ(Ballygawley, County Tyrone in Northern Ireland)の血が混ざっている（一般にアイルランド人は生真面目で融通がきかず、血の気が多いとされている）。立花隆は著書「読書脳」(2013年)の中で、アームストロングを「精神的に健康すぎるほど健康な人で、反面人間的面白みにはまるで欠けた人物。驚くほど自己抑制がきく人で、いかなる場面でもパニくるとか、感情が激するといったことがない。」と評している。