Imidlertid var han ikke velsett av Akademiet, som blant annet anklaget han for forsømmelser i sin stilling som lærer. De ville heller ikke gi ham reisestipend. Lillie søkte forgjeves om stillingen som statsbyggmester i København i 1788. Han gikk konkurs to ganger og etter den siste dro han i 1798/1799 til Lübeck, hvor han fikk arbeide hos sin venn C.F. Hansen. På et senere tidspunkt ble han selvstendig arkitekt i Holstein, hvor han oppnådde å bli statsarkitekt i Lübeck fra 1813.