I 1954 ble Hyman samboer med den den norske sjømannen Rolf Sirnes (1926–2004) fra Haugesund. Gjennom dette partnerskapet lærte han seg norsk. Sirnes og Hyman var partnere i 50 år, fra 1954 til 2004, og bodde sammen på Manhatten i New York City. Paret skjulte parholdet i mange år, og sto først offentlig fram i år 2000.