Planeringsinspektionen har stött rådets beslut att kräva att fastigheten nära Crymych rivs.
Ägarens Charlie Hague och Megan Williams hävdade att det halmväggade huset hade låg miljöpåverkan.
Men inspektörerna sade att det inte innebar någon ändring av reglerna för byggande på landsbygden.
"Det finns ingen riktig motivering för fördelarna med utvecklingen med låga effekter i detta fall för att denna fråga ska ges tillräcklig tyngd och för att uppväga den politik som syftar till att kontrollera utvecklingen på landsbygden", styrde planeringsinspektören, Iwan Lloyd.
Ägarna hade bott i en husvagn i fyra år, innan de flyttade in i det nya hemmet strax innan deras son Eli föddes.
Skulptören Hague tillbringade mer än ett år med att skapa en våningsbostad av lokalt material.
Paret fick hjälp av vänner och släktingar i grannbyn Lammas eko.
Men Pembrokeshires råd inledde ett verkställighetsförfarande tidigare i år, efter att ha beslutat att det var en otillåten bostad byggd på öppen landsbygd.
Vice rådschef Rob Lewis sa att han välkomnade planeringsinspektörens beslut.
"Planering är en rigorös process med tydliga riktlinjer och om det ska verkställas rättvist måste också upprätthållas av alla", sade han.
Enligt exekutionstiteln får paret två månader på sig att riva fastigheten.
Rådet kommer emellertid nu att överväga en ansökan om retroaktiv planering för huset.
"Det kommer att övervägas på sina meriter", sade Mr Lewis.
Ett par i Pembrokeshire som byggde ett "hobbit-liknande" ekohus utan att planera för godkännande har förlorat en rivningsappell.