Willumsen var fra 1963 gift med lyrikeren Jess Ørnsbo. Lyrikeren Tore Ørnsbo er deres sønn.