Fartyget - som tros vara "Skördaren", från Milford Haven - hamnade i trubbel på klipporna vid St Davids huvud omkring 14:30 BST på torsdag.
Den räddade mannen fördes till sjukhus men förklarades död, medan sökandet efter en andra man skalades tillbaka på fredag eftermiddag.
Vrak från båten har hittats över en fyra kilometer (6,4 km) område.
Polisinspektör Gareth Walters kallade det en "tragisk händelse".
Alex Smith, National Maritime Operations Controller för kustbevakningen sade: "Trots en intensiv sökning inklusive helikopter, RPLI livbåtar och kustbevakning räddningsteam har vi inte kunnat hitta den återstående saknade besättningen."
Fem livbåtar, en kustbevakning helikopter med termiska bildkameror och klipplag har varit inblandade i sökandet.
På tal till BBC Radio Wales tidigare på fredagen, Jim Phillips, från RNLI i St Davids, sade en medlem av allmänheten på kustvägen såg båten krossas på en klippa med två personer i vattnet vid cirka 14:40 BST.
Fartyget låg ungefär 1,6 kilometer ut till havs nära Abereiddi.
Phillips sa att när räddningsarbetarna kom till platsen hade det sjunkit och allt som fanns kvar på vattnets yta var skräp.
Dyfed-Powys-polisen vädjade om att alla vittnen skulle träda fram.
En fiskare har dött och en annan saknas fortfarande efter att en båt sjönk i Pembrokeshire, polisen har bekräftat.