Su padre abandonó su familia cuando Toole era joven, y él afirmaría años después que su madre era una fanática religiosa, y que su hermana lo vestía con ropas femeninas.