Faits : A. A._ (1975) et B._ (1978) se sont mariés en 2010. Un enfant, C._ (2012), est issu de cette union. Les parties vivent séparées depuis le 25 août 2016. B. Par ordonnance de mesures protectrices de l'union conjugale du 18 août 2017, le Président du Tribunal civil de l'arrondissement de l'Est vaudois a notamment dit que l'entretien convenable de l'enfant C._, arrêté à 2'000 fr., était intégralement à la charge de la mère et astreint celle-ci à contribuer à l'entretien de son époux par le versement d'une pension mensuelle de 500 fr., à compter du 1 er mai 2017. Statuant sur appels des deux conjoints, le Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud a, par arrêt du 16 novembre 2017, réformé l'ordonnance du premier juge en ce sens que le père était condamné à verser une contribution d'entretien en faveur de l'enfant de 800 fr. par mois à compter du 1 er mai 2017 et qu'aucune pension n'était due entre les conjoints. C. Par acte du 4 janvier 2018, l'époux exerce un recours en matière civile au Tribunal fédéral. Il conclut à ce qu'il soit dit qu'il ne doit aucune contribution d'entretien en faveur de son fils et à ce que son épouse soit astreinte à lui verser une pension de 1'300 fr. par mois, dès le 1 er janvier 2017. Subsidiairement, il conclut à l'annulation de l'arrêt querellé et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Invitées à se déterminer sur la requête d'effet suspensif assortissant le recours, l'intimée n'a pas déposé d'observations et l'autorité cantonale s'en est remise à justice. D. Par ordonnance du 30 janvier 2018, le Président de la II e Cour de droit civil a admis la requête d'effet suspensif. Par courrier du 16 février 2018, l'intimée a requis le retrait de l'effet suspensif. Invités à se déterminer sur cette requête, le recourant a conclu à son rejet et la juridiction précédente s'en est remise à justice. E. Par ordonnance du 18 avril 2018, le Juge instructeur de la II e Cour de droit civil a attribué l'effet suspensif au recours pour les contributions d'entretien arriérées, et non pour les aliments dus à partir du mois de février 2018. Des observations sur le fond n'ont pas été requises.