Rayburn var kun gift i en kort periode med Metze Jones, søster til kongressmann John Marvin Jones, og døde barnløs av kreft. Han ble tildelt Kongressens gullmedalje posthumt.