A.- C._ souffre depuis sa naissance d'une malformation de la main droite, d'une asymétrie thoracique, d'une scoliose lombaire et d'une syphose dorsale. Il est en outre daltonien. Ces atteintes à la santé ont notamment conduit l'assurance-invalidité à prendre en charge un stage dans un centre de l'Office romand d'intégration professionnelle Y._, suivi d'un apprentissage de dessinateur en bâtiment, achevé en 1983. L'assuré a exercé cette profession jusqu'au 30 septembre 1996 et se trouve sans emploi depuis lors. Le 5 décembre 1997, il a demandé à l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office) de lui allouer une rente d'invalide. Ce dernier a demandé un rapport médical au docteur D._, de l'Hôpital orthopédique X._ et s'est renseigné auprès du dernier employeur de l'assuré. Par décision du 4 janvier 1999, il a refusé l'allocation d'une rente, au motif que l'infirmité de l'assuré ne l'empêchait pas d'exercer sa profession et que la perte de son travail en 1996 était due à des facteurs conjoncturels. B.- Par jugement du 1er décembre 1999, le Tribunal des assurances du canton de Vaud a rejeté le recours de C._ contre cette décision. C.- L'assuré interjette recours de droit administratif contre ce jugement, dont il demande l'annulation. Il conclut au renvoi de la cause à l'office pour instruction complémentaire et nouvelle décision, ainsi qu'à l'allocation de dépens pour la procédure fédérale. L'intimé conclut au rejet du recours, alors que l'Office fédéral des assurances sociales ne s'est pas déterminé.