強く偏向したアルファ粒子を記録したとガイガーがラザフォードに告げたとき、ラザフォードは仰天した。後日のケンブリッジ大学の講義で、ラザフォードはこう述べている。それは人生でもっとも信じがたい出来事でした。 15インチ砲弾をティッシュペーパーに撃ち込んだら、跳ね返ってきて自分に当たったのです。いろいろ考えて、この後方散乱は1回の衝突によるものだと判断しました。計算してみると、原子の質量の大部分が小さな核に集中していないかぎり起こりえない結果だと分かったのです。そのときに原子には電荷を帯びた小さな質量中心があると考えるようになりました。—アーネスト・ラザフォードすぐに称賛が押し寄せた。土星型の原子模型を提案していた長岡半太郎は、1911年に東京からのラザフォードに宛てた手紙で「貴殿のシンプルな装置でのあざやかな成果、おめでとうございます」と書いた。天文学者のアーサー・エディントンはラザフォードの発見を、その昔デモクリトスが原子を提案して以来の重要な科学的成果と呼んだ。ラザフォードによる原子核の発見は、原子核物理学の幕開けを告げるものであった。
ニューヨークの小学校時代からの親友だった、ポールとアートは、1957年に「トム&ジェリー」を結成（ポールはジェリー・ランディス(Jerry Landis)、アートはトム・グラフ(Tom Graph)という芸名を使用）し、デビュー曲「ヘイ・スクールガール」を小ヒットさせた。その後、二人は大学での学業に専念した。サイモンはこの時期に、キャロル・キングとジェリー・ゴフィンらと仕事をしたりしている。二人は1963年に再びコンビを組み、1964年にグループ名をサイモン&ガーファンクルと改めて、アルバム『水曜の朝、午前3時』でデビューした。しかし、発売初年度の売上が3,000枚と惨憺たるものだったため、ポールはヨーロッパ放浪の旅へ出て、アートもデビュー前に通っていた大学院へと戻ってしまった。ポール・サイモンはイギリスではマーティン・カーシー、バート・ヤンシュ、アル・スチュアート、サンデイ・デニーらと交流を持った。やがてプロデューサーのトム・ウィルソンが、アルバム収録曲「サウンド・オブ・サイレンス（The Sound of Silence）」にエレキギターやドラムなどを加えてシングル発売したところ、これが66年に全米1位の大ヒットとなった。サイモン&ガーファンクルは、一躍人気フォークロック・デュオとなる。さらに66年には続けて「アイ・アム・ア・ロック」「早くうちへ帰りたい」がヒットした。なお、「キャシーの歌（Kathy's Song）」は、ポールがイギリスに長期滞在していた際に交際していたガールフレンドに贈った曲である。キャシーは、ポールが歌っていたパブで券もぎ係をしていた女性であった。また、「アメリカ」の歌詞で触れているKathyと同一人物で、2人でアメリカ旅行に出掛けた際に書いたとされている。ポールのアルバム『ポールサイモン・ソングブック（Paul Simon Song Book）』に、若かりし頃のポールとキャシーが写っている。その後も、ポールの哲学的内容の詞・曲とアートの歌声、そして2人のハーモニーが受けて「スカボロー・フェア／詠唱 (Scarborough Fair/Canticle)」「ミセス・ロビンソン (Mrs. Robinson)」などが大ヒット。1967年12月公開の映画『卒業』の音楽を担当し、映画の成功と共に劇中歌「サウンド・オブ・サイレンス」が大ヒットし、日本をはじめ世界的にも大きな成功を収めた。当時は「サイモンとガーファンクル」と表記されていた。だが、1970年発表のアルバム『明日に架ける橋 (Bridge Over Troubled Water)』の制作中に、ポールとアートの音楽に対する意見の違いが表面化した。『明日に架ける橋』は、全世界で売上が1,000万枚を超える大ヒットとなり、グラミー賞の最優秀レコード賞・最優秀アルバム賞を受賞したものの、このアルバムを最後に2人はそれぞれのソロ活動に入った。72年から73年にかけては、日本独自で「冬の散歩道」「エミリーエミリー」がシングル・カットされ、小ヒットしている。1972年6月14日、ベトナム反戦候補で民主党リベラル派の大統領候補ジョージ・マクガヴァン支援コンサートに揃って登場し「スカボロー・フェア」、「ボクサー」、「明日に架ける橋」などを歌った。ブラス・ロックのシカゴもマクガヴァン候補を熱烈に支援した。1975年には「マイ・リトル・タウン」をS&Gで録音し、それぞれのソロ・アルバム（ポール『時の流れに』、アート『愛への旅立ち』）に収録しているほか、1978年にアートが発表した『ウォーターマーク』に収録されている「ワンダフル・ワールド」では、ジェームス・テイラーと共にギターとボーカルでポールも参加しており、3人がハーモニーを披露している。1981年9月19日には、ニューヨークのセントラル・パークで再結成チャリティコンサートを開いて53万人もの観衆を動員し、世界ツアーを行った（1982年にはS&Gとして初来日し、後楽園球場と大阪スタヂアムでコンサートを行っている）。この時、ポールの作品にアートが参加する形でアルバム制作が行われたが、作品に対する意見の食い違いから、結局ポールのソロ・アルバム（『ハーツ・アンド・ボーンズ』）としてリリースされた。このアルバムに収録された曲のいくつかは、アートも録音に参加し、発売直前までに完成していた。その後、2人の間は疎遠になっていった。2003年には、ポールがソロとしてロックの殿堂入りした際に、「ガーファンクルとは仲直りしたい」とスピーチで述べているほど、2人の関係は冷え切っていた。近年は1993年、2003年と度々再結成を行い、全米ツアーなどを行っている。1993年12月1日には「Event of a lifetime Tour」の東京公演・福岡公演としてそれぞれ東京ドームと福岡ドームで再来日公演を行なった。2009年7月には16年ぶりの来日公演を行い、何回かの公演の合計で約15万人を動員する成功を収めた。2014年にはアートがインタビューで、近い将来デュオが再結成され、ツアーが実施されると信じると語った。アートはファンがツアーを望んでおり、自分の心はファンとともにあると述べている。彼らの作品は多くのミュージシャンにカバーされ、歌い継がれている。「明日に架ける橋」はアレサ・フランクリンのカバー・バージョンがよく知られ、「冬の散歩道」はバングルスのバージョンが全米2位を記録した。