Mest kjent er han likevel for sin poesi, og spesielt to lange dikt, «» og «». Begge diktene ble skrevet med en stil som var påvirket av John Bunyans i Tiyo Sogas oversettelse på Xhosa. I begge diktene presenterer Gqoba argumenter fra både et kristent og et mer hedensk ståsted, og han lar de kristne argumentene vinne til slutt.