ネッカーズルムは、"villa Sulmana"として、ロルシュ文書の贈与証明書中に、771年に記録されているのが文献上の初出である。この文書は、プリドロッホとその相続人である妻ブリトルートが、villa Sulmanaの全所領をロルシュ修道院に寄贈することを記したものである。旧市壁の南側にあたる現在のビンスヴァンガー通りから出土した出土品から、7世紀にはすでに、ここにフランク人の入植地があったことが証明されている。さらに、壺の破片などの考古学上の発見から、現在の市域には、その6000年前の新石器時代から多くの入植中心地が存在していたことが明らかとなった。この村は、シュタウフェン家の所領となり、1200年頃までにはレーエンとしてヴァインスベルク家が統治を始め、ショイアーベルクに城を築いた。1212年頃、エンゲルハルト・ヴァインスベルクがズルム河畔のニレの木の下に裁判所を設けた。市内の城の建設も13世紀には完成しており、おそらく12世紀から徐々に建設・拡大されたものと推測される。14世紀の初めに、この町は都市権と市場開催権を獲得し、この頃から、少なくとも10の塔を持つ市壁の建設が始まった。1335年にヴァインスベルク家は、ネッカーズルムを含む所領をマインツ大司教に売却し、大司教本部は15世紀中頃、遅くとも1483年までには、これをジッキンゲン家に担保として与えた。1400年頃に、マインツの領主はこの町に貨幣鋳造所を設けた。15世紀の半ばから終わりに、旧墓地の近くにある聖母教会（後に巡礼教会となった）の前身となる礼拝堂がシュタイナハに建設された。
ネッカーズルムは、ハイルブロンを上級中心都市とするハイルブロン＝フランケン地域連合の中級中心都市である。中級中心都市としてネッカーズルムが管轄するのは、ハイルブロン郡北東部、すなわちネッカーズルム近郊の、バート・フリードリヒスハル、エアレンバッハ、グンデルスハイム、ハルトハウゼン・アム・コッハー、ヤクストハウゼン、ランゲンブレタッハ、メックミュール、ノイデナウ、ノイエンシュタット・アム・コッハー、エートハイム、オッフェナウ、ウンターアイゼスハイム、ヴィッデルンである。
ネッカーズルムの市域は、中核市区と、アモールバッハ地区、ダーエンフェルト地区、オーバーアイゼスハイム地区からなる。ダーエンフェルト地区とオーバーアイゼスハイム地区は、1970年代の市町村再編時に、それぞれの地区の住民投票を経て合併したものである。中核市区は、さらに居住区で分割されることがある。シュードシュタット（市南部）、ノイベルク居住区などという呼び方がそれであるが、それぞれの境界が確定しているわけではない。
ネッカーズルムに隣接する市町村は、北西から時計回りに、バート・ヴィンプフェン、ウンターアイゼスハイム、バート・フリードリヒスハル、エートハイム、ノイエンシュタット・アム・コッハー、エーバーシュタット、エアレンバッハ（以上、いずれもハイルブロン郡）、およびハイルブロン（郡独立市）である。ネッカーズルムは、エアレンバッハおよびウンターアイゼスハイムと行政共同体を形成する。
イタリア南部のプッリャ州カステッラネータで生まれた。父親はイタリア人、母親はフランス人。父親は彼が11歳の時にマラリアで亡くなった。15歳で軍隊に入ろうとするが、胸囲が1インチ足りず、身体検査で不合格となる。結果的にジェノヴァで農学を学んだが、後にフランスに渡りパリでダンサーとして働くようになった。1913年に、友人の勧めによってアメリカのニューヨークに渡る。はじめは生活のために様々な仕事をしていたが、ボールルーム・ダンサーとしての仕事を得て、アルゼンチン・タンゴの名手として有名になった。当時、食事や踊りが楽しめるナイトスポットとして人気のあったNYのミュージックホール『マキシム』に専用のダンスルームを持ち、女性客相手のタクシー・ダンサーとして生計を立てていた。のちに発砲事件に巻き込まれ、ニューヨークを離れる。これは、ルドルフのダンス・パートナーと不倫関係にあった男性が、彼自身の妻に撃たれるというものだった。1917年にハリウッドに移り、映画『Alimony』にダンサーとして出演。その後数多くのサイレント映画に端役で出演。1919年には女優のジーン・アッカーと結婚するも、彼女はレズビアンであり関係は長く続かなかった。そんなある日、脚本家のジューン・マシスの目に留まり、彼女の推挙によりレックス・イングラム監督の『黙示録の四騎士』にアルゼンチン人役で出演、一躍スターとなる。それを見たアラ・ナジモヴァに気に入られ、彼女の主演作『椿姫』に相手役として出演。彼の魅力はそのエキゾチックな容姿で、『シーク』ではアラブ系の族長を、『血と砂』ではスペイン人の闘牛士を、『荒鷲』ではロシア人の貴族を演じ、同時代のセックス・シンボルとして絶大な人気を誇った。当時、劇場に出かける女性のほとんどが「彼がスクリーンから見つめる」という理由で綺麗に化粧をしていったという。1922年に『椿姫』の美術監督だったナターシャ・ランボヴァと再婚する。前妻との離婚が成立していなかったため重婚罪に問われ拘留されるが、翌年に正式に結婚した。しかし彼女は次第にルドルフの仕事に口出しをするようになり、それが元でパラマウントと揉めて映画出演を2年間止められてしまう。その間、彼は化粧品会社に名前を貸したり、ダンスツアーを行なった。ルドルフはナターシャと1925年に離婚し、ドイツ人女優ポーラ・ネグリと婚約した。1926年、胃潰瘍の手術後の経過が悪く、31歳で死去。葬儀の際には10万人のファンがあつまり、後追い自殺するものまで出たという。彼がスターであったのは実質5年間であった。彼の死後も毎年、命日になると花をささげに来る黒衣の美女が目撃されている。当初はプレス・エージェントが宣伝のために行ったようだが、以後はそれを模倣する者が行っている。