父親エイブラハムとは疎遠な関係であったとされる。幼少期は巡回裁判所の判事を務めていた父親と会話をする機会がほとんど与えられなかったことがその原因に挙げられる。エイブラハムとロバートの親子関係はトーマス（ロバートの祖父）とエイブラハムの親子関係に似ていた。ロバートは「私の幼年時代から青年時代初期にかけて、出廷したり政治的なスピーチをしたりで、彼はほとんど絶えず家に居なかった」と述べており、また、後年にイリノイ州各地を旅行するためにサドルバッグに荷物を詰めている場面が特に鮮明な記憶として残っていると振り返っている。ただ、エイブラハムはロバートの存在を誇りに思い、輝ける人物であるとみており、息子について将来は自分の政治的ライバルになり得るとも考えていた。ウィリーやタッドと違い、父親と強い信頼関係を築けなかったが、ロバートは父親を偉大な人物として賞賛し、その死に際しては公然と泣きくれた。リンカーン大統領銃撃事件の日の夜はフォード劇場で観劇する両親に同行する誘いを受けていたが、「ここ最近、出征してで多くの時間を過ごしたばかりなので疲れがたまっている」との理由で断っていた。