Den matematiske siden ved landmåling førte ham til å utforske en geometrisk tolking av komplekse tall, og han leverte i 1797 en grunnleggende avhandling: Det Kongelige Danske Videnskabernes Selskab, publisert i 1799. Siden avhandlingen var skrevet på dansk, forble resultatene relativt ukjente, og Jean Robert Argand og Carl Friedrich Gauss kom senere, uavhengig av Wessel, frem til de samme metodene. I dag regnes imidlertid Wessel som opphavsmann til ideen om å representere komplekse tall som punkter i et koordinatsystem med den reelle delen av tallet på den ene aksen og den imaginære delen på den andre.