Faits : A. Le 23 octobre 2013, dans le cadre de poursuites visant X._, l'Office des poursuites de la Veveyse a procédé à la détermination du minimum vital du poursuivi. Arrêtant ses charges à 2'700 fr. par mois, il a ordonné la saisie des indemnités de chômage dépassant cette somme, dès le 1er octobre 2013. Statuant le 5 novembre 2013 sur une demande de révision du poursuivi, l'Office a maintenu sa décision. Le 9 décembre 2013, saisi d'une nouvelle demande de révision, l'Office a annulé la saisie pour le mois d'octobre 2013 et a confirmé, pour le surplus, sa décision du 5 novembre 2013. B. Le poursuivi a déposé une plainte contre la décision du 9 décembre 2013, s'en prenant en substance au maintien de la saisie dès novembre 2013. Statuant le 19 mars 2014, la Chambre des poursuites et faillites du Tribunal cantonal de l'Etat de Fribourg a rejeté la plainte, considérant que le minimum vital n'était pas atteint par la saisie prononcée. C. Par mémoire du 31 mars 2014, le plaignant interjette un " recours " au Tribunal fédéral contre cet arrêt. Il conclut en substance à son annulation, à ce qu'il soit constaté que la saisie ordonnée entame son minimum vital et, partant, à ce qu'elle soit fixée en conséquence. Invités à se déterminer, l'Office des poursuites de la Veveyse a conclu au rejet du recours et la Chambre des poursuites et faillites a renoncé à formuler des observations.