Sachverhalt:
A.
Das Obergericht des Kantons Zürich verurteilte X._ am 10. Februar 2015 zu einer Freiheitsstrafe von 30 Monaten. Mit Verfügung vom 27. Juli 2015 lud das Amt für Justizvollzug des Kantons Zürich X._ zur Verbüssung der Freiheitsstrafe per 1. Dezember 2015 vor. Wegen einer bevorstehenden Operation wurde der Strafantritt auf Gesuch von X._ hin auf den 31. Mai 2016 vertagt. X._ verlangte hierauf erneut eine Verschiebung, da er für eine vollständige Rekonvaleszenz noch eine Schonfrist von mindestens einem Jahr benötige. Das Amt für Justizvollzug lehnte dies ab, ebenso die Direktion der Justiz und des Innern des Kantons Zürich.
B.
X._ zog die ablehnende Verfügung an das Verwaltungsgericht des Kantons Zürich weiter, das seine Beschwerde am 22. November 2016 abwies. Es setzte den Termin des Strafantritts auf den 13. Dezember 2016 an.
C.
X._ gelangt mit Beschwerde in Strafsachen an das Bundesgericht. Er verlangt vorerst aufschiebende Wirkung und sodann Aufhebung des Urteils des Verwaltungsgerichts vom 22. November 2016, die Rückweisung an die Vorinstanz und eine Anweisung an diese, seine Hafterstehungsfähigkeit durch eine neurologisch-psychiatrische Abklärung zu überprüfen. Er ersucht um unentgeltliche Rechtspflege.
D.
Mit Zwischenverfügung vom 9. Januar 2017 hat das Bundesgericht der Beschwerde aufschiebende Wirkung zuerkannt.
Erwägungen:
1.
1.1. Der Beschwerdeführer macht geltend, ihm sei ein eiergrosser Tumor aus dem Vorderhirnlappen entfernt worden. Dies könne zu einer organisch bedingten Persönlichkeitsveränderung geführt haben. Der Haftantritt belaste schon einen gesunden Menschen nachhaltig. Für eine nach einer derartigen Hirnoperation physisch und psychisch angeschlagene Person seien drastische Veränderungen mit Folgeschäden fast schon zu erwarten. Es brauche eine neurologisch-psychiatrische Untersuchung, um die Hafterstehungsfähigkeit abklären zu lassen. Ein solches Gutachten sei bereits vom Bezirksgericht Zürich angefordert worden. Dessen Ergebnisse könnten auch hinsichtlich des Strafantritts relevant sein. Die Vorinstanz verneine zu Unrecht, dass der Strafvollzug sein Leben oder seine Gesundheit durch die feststellbaren Stimmungsschwankungen, die eingeschränkte Impulskontrolle sowie die depressiven und resignativen Verstimmungen und klaustrophobischen Anwandlungen mit beträchtlicher Wahrscheinlichkeit gefährde. Sie verlasse sich darauf, dass die Strafvollzugsanstalt bei allfälligen Problemen in der Lage sein werde, mit geeigneter medizinischer Hilfe, nicht zuletzt auch einer in der Nähe liegenden psychiatrischen Klinik, zu intervenieren. Das sei abenteuerlich, da nicht automatisch davon ausgegangen werden könne, dass die eingetretenen Folgen reversibel sein würden. Die von der Vorinstanz ebenfalls angeführte medizinische Eintrittsuntersuchung sei jedenfalls nicht ausreichend, da die notwendigen Abklärungen nach intensiven Untersuchungen und nach einer mindestens mehrwöchigen Beobachtungs- und Testphase riefen.
1.2. Der Vollzug von Strafen und somit auch der hier fragliche Strafantritt richten sich nach kantonalem Recht (Art. 372 Abs. 1 StGB, Art. 439 Abs. 1 und 2 StPO).
Nach § 48 Abs. 3 der Justizvollzugsverordnung des Kantons Zürich vom 6. Dezember 2006 (JVV/ZH) kann das Amt für Justizvollzug auf Gesuch der verurteilten Person den Strafantritt auf einen späteren Termin verschieben, wenn dadurch erhebliche Gesundheitsrisiken oder andere erhebliche, nicht wiedergutzumachende Nachteile vermieden werden und weder der Vollzug der Strafe in Frage gestellt noch erhöhte Risiken für Dritte entstehen.
Das öffentliche Interesse am Vollzug rechtskräftig verhängter Strafen und der Gleichheitssatz schränken den Ermessensspielraum der Vollzugsbehörde hinsichtlich einer Verschiebung des Strafvollzugs nach der bundesgerichtlichen Rechtsprechung erheblich ein. Der Strafvollzug bedeutet für den Betroffenen immer ein Übel, das vom einen besser, vom andern weniger gut ertragen wird. Die blosse Möglichkeit, dass Leben oder Gesundheit des Verurteilten gefährdet sein könnten, genügt nicht für einen Strafaufschub auf unbestimmte Zeit. Eine Verschiebung des Vollzugs einer rechtskräftigen Strafe auf unbestimmte Zeit kommt nur ausnahmsweise infrage. Dafür wird verlangt, dass mit beträchtlicher Wahrscheinlichkeit damit zu rechnen ist, der Strafvollzug gefährde das Leben oder die Gesundheit des Verurteilten. Selbst in diesen Fällen ist eine Interessenabwägung vorzunehmen, wobei neben den medizinischen Gesichtspunkten die Art und Schwere der begangenen Straftat und die Dauer der Strafe mitzuberücksichtigen sind (BGE 108 Ia 69 E. 2b und c S. 71 f.; Urteile 6B_606/2013 vom 27. September 2013 E. 1.2; 6B_377/2010 vom 25. Mai 2010 E. 2.1).
1.3. Das Bundesgericht überprüft die Anwendung kantonalen Rechts - von hier nicht relevanten Ausnahmen abgesehen - nur auf Willkür oder andere verfassungsmässige Rechte (vgl. Art. 95 BGG; BGE 141 IV 305 E. 1.2; 140 III 385 E. 2.3; je mit Hinweisen). Die Feststellung des Sachverhalts kann vor Bundesgericht ebenfalls nur gerügt werden, wenn sie offensichtlich unrichtig und damit willkürlich ist (Art. 97 Abs. 1 BGG; BGE 141 IV 317 E. 5.4 mit Hinweisen). Willkür liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 141 IV 305 E. 1.2 mit Hinweisen). Hinsichtlich der Verletzung von Grundrechten und von kantonalem Recht gilt eine qualifizierte Rügepflicht. Das Bundesgericht prüft Rügen nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden sind (Art. 106 Abs. 2 BGG).
1.4. Die Vorinstanz erwägt, leide die verurteilte Person an physischen, psychischen oder geistigen Störungen, so heisse dies in der Regel nicht, dass die Strafe nicht vollzogen werden könnte, sondern vielmehr, dass der Strafvollzug in angepasster Form durchzuführen sei. Unbestritten habe der Beschwerdeführer eine schwere Operation hinter sich. Ebenso unbestritten sei diese erfolgreich verlaufen und der Heilungsverlauf habe sich bislang komplikationslos gestaltet. Aus chirurgischer Sicht spreche somit nichts für eine Hafterstehungsunfähigkeit des Beschwerdeführers. Die von diesem geltend gemachten psychischen Folgen liessen nicht den Schluss zu, dass mit beträchtlicher Wahrscheinlichkeit damit zu rechnen wäre, der Strafvollzug gefährde sein Leben oder seine Gesundheit. Einerseits werde sein Gesundheitszustand im Rahmen einer eingehenden Eintrittsuntersuchung durch Fachpersonal überprüft werden. Andererseits befinde sich die Srafvollzugsanstalt Realta in unmittelbarer Nähe der Psychiatrischen Klinik Beverin, was die erforderliche Betreuung bzw. einen angepassten Strafvollzug ermögliche. Die Akten würden keine Hinweise dafür liefern, dass der Beschwerdeführer zurzeit auf eine sehr engmaschige oder stationäre medizinische Betreuung bzw. auf eine medizinische Betreuung angewiesen sei, die ihm im Strafvollzug bzw. namentlich in Zusammenarbeit mit der Klinik Beverin nicht gewährt werden könnte. Inwiefern der durch den Strafantritt entstehenden Belastungssituation im Rahmen des Strafvollzugs und des möglichen Beizugs von Fachkräften und der Infrastruktur der Klinik Beverin nicht genügt werden könnte, sei den Vorbringen des Beschwerdeführers nicht zu entnehmen.
1.5. Mit seiner Kritik zeigt der Beschwerdeführer nicht auf, dass die Erörterungen der Vorinstanz und das Ergebnis willkürlich, also schlechterdings unhaltbar wären. Insbesondere vermag er nicht schlüssig zu begründen, dass ein Strafantritt unweigerlich eine beträchtliche Gefahr für sein Leben oder seine Gesundheit bedeuten würde, der mit dem angepassten Strafvollzug nicht begegnet werden könnte. Seine Ausführungen, wonach es geradezu abenteuerlich sei, automatisch davon auszugehen, dass die eingetretenen Folgen reversibel wären, finden in den Akten keine Grundlage. Vielmehr legt die Vorinstanz plausibel dar, dass neben einer zweckentsprechenden therapeutischen Behandlung auch die Möglichkeit und Gewähr für einen den Umständen angemessenen Vollzug der Strafe bestehe, sodass sich kein Aufschub der Strafe aufdränge.
Nicht zu beanstanden ist zudem, dass die Vorinstanz auf die Einholung des beantragten neuropsychiatrischen Gutachtens verzichtete. Die Vorinstanz betont, dass der Beschwerdeführer vor Antritt des Strafvollzugs einer Eintrittsuntersuchung unterzogen werden wird, bei der die vorliegenden ärztlichen Berichte zu berücksichtigen seien. Ein neuropsychiatrisches Gutachten wurde gemäss dem angefochtenen Entscheid bereits im aktuell gegen den Beschwerdeführer laufenden Strafverfahren in Auftrag gegeben. Dieses wird gegebenenfalls auch für die medizinische Eintrittsuntersuchung beizuziehen sein. Die Vorinstanz weist zudem darauf hin, dass das medizinische Fachpersonal der Justizvollzugsanstalt auch ärztliche und psychiatrische Untersuchungen und Abklärungen veranlassen kann (vgl. angefochtener Entscheid E. 2.3). Falls notwendig können für die Prüfung der Hafterstehungsfähigkeit bei Strafantritt daher auch Spezialisten herangezogen werden. Die Prüfung der Hafterstehungsfähigkeit erfolgt entgegen dem Beschwerdeführer nicht zwingend einzig auf der Grundlage der Kenntnisse eines Allgemeinarztes.
2.
Die Beschwerde ist abzuweisen. Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege ist gutzuheissen, da von seiner Bedürftigkeit auszugehen ist (vgl. angefochtener Entscheid E. 5.2.2) und sein Rechtsbegehren nicht aussichtslos war (Art. 64 Abs. 1 und 2 BGG). Dem Rechtsvertreter des Beschwerdeführers ist für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse eine angemessene Entschädigung auszurichten.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen.
3.
Es werden keine Gerichtskosten erhoben.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Gerichtskasse eine Entschädigung von Fr. 3'000.-- ausgerichtet.
5.
Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 6. Februar 2017
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Die Gerichtsschreiberin: Unseld