Sachverhalt: A. A._ (Versicherter, Kläger, Beschwerdeführer) war über seine Arbeitgeberin C._ GmbH bei der B._ AG (Versicherung, Beklagte, Beschwerdegegnerin) mit einer fixen Lohnsumme von Fr. 100'800.-- für die Dauer von 730 Tagen bei einer Wartefrist von 30 Tagen gegen Lohnausfall versichert. Am 6. August 2012 begab sich der Versicherte wegen starker Migräneschmerzen und 39 Grad Fieber in das Spital U._. Dort wurde eine therapieresistente Migräne sowie ein viraler Infekt diagnostiziert und der Versicherte blieb bis am 8. August 2012 hospitalisiert. Eine Assistenzärztin attestierte ihm eine 100%ige Arbeitsunfähigkeit bis 10. August 2012. Am 14. August 2012 begab sich der Versicherte zu seiner Hausärztin Dr. D._, FMH Allgemeine Medizin. Die Hausärztin diagnostizierte ein Erschöpfungssyndrom nach febrilem Infekt, wahrscheinlich viral bedingt und eine chronische Migräne. Sie attestierte dem Versicherten auf dem ihr von der Versicherung zugestellten Formular eine 100%ige Arbeitsunfähigkeit bis 19. August 2012 sowie eine 50%ige Arbeitsunfähigkeit vom 20. August bis "wahrscheinlich Ende Oktober 2012". Die Frage, wann mit einer Arbeitsaufnahme zu rechnen sei, beantwortete die Ärztin mit "ab November 2012". Der Versicherte nahm seine Arbeitstätigkeit in der Folge nicht wie vorhergesagt wieder voll auf. Am 30. Oktober 2012 attestierte ihm seine Hausärztin eine 50%ige Arbeitsunfähigkeit vom 1. bis 16. November 2012 und eine 25%ige Arbeitsunfähigkeit vom 17. bis 30. November 2012. Die Versicherung teilte dem Versicherten mit Schreiben vom 8. November 2012 mit, dass er aufgrund der ihr vorliegenden medizinischen Akten in der jetzigen oder auch in einer anderen in Frage kommenden Tätigkeit ab 1. Dezember 2012 vollumfänglich arbeitsfähig sei. Sie werde bis zum 30. November 2012 Taggelder im Umfang von 50% leisten und den Fall danach abschliessen. Der Versicherte begab sich zwischen dem 21. August 2012 und dem 11. Dezember 2012 insgesamt 13 Mal in eine Gesprächstherapie bei Dr. E._, FMH Psychiatrie und Psychotherapie. Im Winter 2012/2013 litt der Versicherte an rezidivierenden viralen Infekten. Seine Hausärztin attestierte ihm vom 1. Dezember 2012 bis 31. Januar 2013 eine 50%ige Arbeitsunfähigkeit. Im Februar stufte sie ihn trotz weiterhin eingeschränkter Leistungsfähigkeit als zu 100% arbeitsfähig ein, was sie der Versicherung in einem schriftlichen Bericht am 5. März 2013 mitteilte. Mit Schreiben vom 27. Mai 2013 informierte die Versicherung den Versicherten, dass ihr Vertrauensarzt nach erneuter Prüfung der Unterlagen das Resultat der ersten Einstellung bestätige und sie daher am Fallabschluss per 30. November 2012 festhalte. Am 3. Juni 2013 attestierte die Hausärztin dem Versicherten eine 50%ige Arbeitsunfähigkeit vom 1. März 2013 bis 30. Juni 2013. Am 6. September 2013 attestierte sie sodann eine 50%ige Arbeitsunfähigkeit vom 15. Juli 2013 bis 30. August 2013 und sandte am 11. September 2013 einen Bericht an Dr. F._, FMH Chirurgie, der von der Rechtsschutzversicherung des Versicherten mit der Beurteilung der Arbeitsunfähigkeit beauftragt worden war. Dr. F._ verfasste eine Stellungnahme, welche die Versicherung ihrem Vertrauensarzt Dr. G._ wiederum zur Stellungnahme unterbreitete. Mit Schreiben vom 9. April 2014 teilte die Versicherung dem Versicherten erneut mit, dass sie an ihrem Entscheid vom 27. Mai 2013 festhalte und keine Taggeldleistungen erbringe. Der Fall bleibe abgeschlossen. Diese Haltung bestätigte die Versicherung auf erneute Anfrage des Versicherten mit Schreiben vom 15. April 2015. B. B.a. Mit Klage vom 2. September 2015 beantragte der Versicherte dem Sozialversicherungsgericht des Kantons Basel-Stadt, (1) es sei die Beklagte zu verpflichten, ihm die vertraglichen Leistungen bei Krankheit im Umfang von mindestens Fr. 37'383.55 auszurichten, (2) es seien die nachzuzahlenden Leistungen seit 1. Dezember 2012 mit 5% zu verzinsen, (3) es sei die Beklagte zur vollständigen Edition ihrer Unterlagen zu verpflichten und (4) es sei ihm Gelegenheit zu geben, zur Höhe der geschuldeten Leistungen Stellung zu nehmen. Die Beklagte beantragte Abweisung der Klage, eventuell sei ein psychiatrisches Gutachten in Auftrag zu geben. Mit Replik und Duplik hielten die Parteien an ihren Anträgen fest. Mit der Duplik reichte die Beklagte ihr Dossier und eine Stellungnahme von Dr. H._, FMH Psychiatrie und Psychotherapie, vom 12. März 2016 ein. Der Kläger nahm mit Eingabe vom 13. Juni 2016 zum Dossier der Beklagten Stellung. B.b. Mit Urteil vom 14. September 2016 hiess das Sozialversicherungsgericht die Klage teilweise gut und verpflichtete die Beklagte, dem Kläger den Betrag von Fr. 18'917.-- zuzüglich Zins zu 5% seit 27. Mai 2013 zu bezahlen. Im Übrigen wies es die Klage ab. Die Parteikosten wurden wettgeschlagen. Das Sozialversicherungsgericht ging davon aus, dass der Kläger für den Eintritt des Versicherungsfalles behauptungs- und beweispflichtig sei. Es hielt fest, dass der Anspruch auf Versicherungsleistungen bis 30. November 2012 unbestritten, jedoch für die Zeit vom 1. Dezember 2012 bis 31. Oktober 2013 das Ausmass der tatsächlichen Arbeitsunfähigkeit zu klären sei, wobei die Beklagte am 8. November 2012, als sie dem Kläger die Leistungseinstellung mitteilte, nicht über genügend objektiven Anhalt in den medizinischen Unterlagen verfügt habe, um ihre Leistungseinstellung zu begründen. Das Sozialversicherungsgericht gab sodann die vertraglichen Bestimmungen über die Leistungsvoraussetzungen wieder und kam aufgrund der von der Beklagten mit der Duplik eingereichten Stellungnahme zum Schluss, die von der Hausärztin für die Arbeitsunfähigkeit gestellte psychiatrische Diagnose habe nicht zugetroffen. Aufgrund dessen, dass der Kläger nicht verpflichtet war, ein ärztliches Zeugnis einer psychiatrischen Fachärztin beizubringen und die Beklagte das Dossier ihrer Vertrauensärztin Dr. H._ erst im Frühling 2013 vorgelegt habe, könne ihre Stellungnahme vom 12. März 2016 frühestens ab dem 14. Mai 2013 berücksichtigt werden; der Kläger sei in seinem Vertrauen auf das Ausreichen seiner hausärztlichen Zeugnisse bis 14. Mai 2013 zu schützen. Der entsprechende Taggeldanspruch sei ab 27. Mai 2013 zu verzinsen, weil die Beklagte ihre Leistungspflicht mit Schreiben von diesem Datum zu Unrecht definitiv verneint habe. C. Mit Beschwerde in Zivilsachen stellt der Kläger die Anträge, (1) das Urteil des Sozialversicherungsgerichts des Kantons Basel-Stadt vom 14. September 2016 sei aufzuheben, (2) die Beklagte sei zu verpflichten, ihm die vertraglichen Leistungen bei Krankheit im Umfang von mindestens Fr. 37'383.55 auszurichten, (3) es seien die nachzuzahlenden Leistungen ab 1. Dezember 2012 mit 5% zu verzinsen, (4) die Beschwerdegegnerin sei zur Bezahlung einer Parteientschädigung für das vorinstanzliche Verfahren zu verpflichten, (5) eventuell sei die Sache zur weiteren Abklärung und neuer Entscheidung an die Vorinstanz zurückzuweisen. Der Beschwerdeführer rügt, die Vorinstanz habe den Sachverhalt willkürlich festgestellt und den Untersuchungsgrundsatz verletzt, indem sie auf eine Parteibehauptung - nämlich die Stellungnahme der Vertrauensärztin der Beschwerdegegnerin - abgestellt und die Bestätigung der behandelnden Ärzte, namentlich der Psychiaterin Dr. E._ vom 22. September 2014, unbeachtet gelassen bzw. sie nicht als Zeugin aufgeboten habe. Er rügt den Schluss der Vorinstanz als widersprüchlich und daher willkürlich, dass die anfänglich genügenden ärztlichen Bescheinigungen der Hausärztin zum Nachweis der Arbeitsunfähigkeit auf einmal nicht mehr genügen sollten; wenn ein Versicherer eine fachärztliche Beurteilung für notwendig halte, habe er die Möglichkeit, den Versicherten für eine Begutachtung aufzubieten, was hier nicht erfolgt sei. Der Beschwerdeführer rügt sodann, dass die Vorinstanz Art. 41 VVG verletzt habe mit der Ansicht, die Beschwerdegegnerin habe ihre Leistungen nicht per 1. Dezember 2012 definitiv abgelehnt, sondern erst ab 27. Mai 2013 und beanstandet als nicht nachvollziehbar, dass ihm nicht im Ausmass seines Obsiegens eine Parteientschädigung zugesprochen wurde. Die Beschwerdegegnerin beantragt in ihrer Antwort, (1, 2) das vorinstanzliche Urteil sei zu bestätigen und (3) sie sei auch nicht zur Ausrichtung einer Parteientschädigung zu verpflichten, (4) eventualiter sei die Sache an die Vorinstanz zur weiteren Abklärung zurückzuweisen. Sie stellt sich auf den Standpunkt, der Beschwerdeführer habe den Eintritt des Leistungsfalles lediglich behauptet und sie habe diese Behauptung für die Zeit ab 1. Dezember 2012 durch die Stellungnahmen ihrer Vertrauensärztin Dr. H._ substanziiert bestritten, die Befragung der behandelnden Ärztinnen als Zeuginnen sei nicht erforderlich gewesen und die Vorinstanz habe auch kein Bundesrecht verletzt, wenn sie dem Beschwerdeführer keine Parteientschädigung zusprach. Das Sozialversicherungsgericht des Kantons Basel-Stadt bemerkt in der Vernehmlassung, es hätte dem Beschwerdeführer nach der Praxis eine reduzierte Parteientschädigung zugesprochen werden müssen, was versehentlich unterlassen worden und zu korrigieren sei. Im Übrigen beantragt die Vorinstanz unter Hinweis auf den angefochtenen Entscheid die Abweisung der Beschwerde.