Sachverhalt:
A. Das Bezirksgericht Zürich verurteilte X._ am 2. September 2009 wegen Widerhandlungen gegen das Betäubungsmittelgesetz zu einer Gesamtstrafe von 21 Monaten Freiheitsstrafe, teilweise als Zusatzstrafe zum Strafbefehl der Staatsanwaltschaft Zürich-Sihl vom 18. September 2008, unter Anrechnung von 168 Tagen erstandener Haft. Weiter sprach das Bezirksgericht eine Busse von Fr. 200.-- gegen ihn aus. Den Vollzug der Freiheitsstrafe schob es im Umfang von zwölf Monaten auf, setzte die Probezeit auf vier Jahre fest und ordnete für die übrigen neun Monate den Vollzug an. Es widerrief ausserdem die Gewährung des bedingten Vollzugs der Geldstrafe von 30 Tagessätzen zu Fr. 60.-- gemäss Strafbefehl der Staatsanwaltschaft Zürich-Sihl vom 18. September 2008. Ferner zog es drei SIM-Karten, fünf Mobiltelefone, die beschlagnahmten Betäubungsmittel sowie eine Barschaft von Fr. 400.-- ein.
B. X._ erhob gegen dieses Urteil Berufung beim Obergericht des Kantons Zürich, beschränkt auf die Fragen des Vollzugs der ausgefällten Strafe sowie der Kostenfolgen. Unangefochten geblieben und in Rechtskraft erwachsen sind der Schuldspruch sowie der Beschluss betreffend Einziehung der Betäubungsmittel, Mobiltelefone und Barschaft.
Das Obergericht überprüfte die gesamte Strafzumessung aufgrund des inneren Zusammenhangs mit dem bedingten Strafvollzug. Ebenfalls überprüfte es den Widerruf des Strafbefehls sowie die Gesamtstrafenbildung. Mit Urteil vom 30. April 2010 sprach es in der Folge dieselbe Sanktion wie die Vorinstanz aus.
C. X._ führt Beschwerde in Strafsachen beim Bundesgericht. Er beantragt, das vorinstanzliche Urteil sei aufzuheben und der Vorinstanz zur Neubeurteilung zurückzuweisen. Zudem sei der unbedingt zu vollziehende Teil der Freiheitsstrafe so zu bemessen, dass ihm ein über die erstandenen 168 Tage Haft hinausgehender Strafvollzug erspart bleibe. X._ verlangt zudem sinngemäss die Gewährung der unentgeltlichen Rechtspflege.
D. Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1. 1.1 Der Beschwerdeführer macht geltend, er habe sich "seit jeher" nicht gegen den Schuldspruch und die Bemessung der Freiheitsstrafe verwehrt. Es gehe ihm jedoch darum, dass seine Lebensumstände mit einem weiteren Strafvollzug von etwas über drei Monaten (102 Tagen) nicht erneut destabilisiert würden. Er wolle nicht für die gesamte Strafe den bedingten Strafvollzug gewährt bekommen. Bei einem neuerlichen Vollzug der ausgefällten Strafe werde er jedoch mit grosser Wahrscheinlichkeit seine Stelle als Wagenreiniger bei der SBB verlieren. Dies fördere geradezu ein künftiges Fehlverhalten, was weder general- noch spezialpräventiv sinnvoll erscheine. Dem spezialpräventiven Zweck sei das grössere Gewicht beizumessen, zumal er aus dem Arbeitsleben herausgerissen werde. Generalpräventive Überlegungen dürften nur insoweit in die Strafe einfliessen, als damit eine schuldangemessene Strafe nicht überschritten werde. Durch den Wechsel von einem amtlichen zu einem erbetenen Verteidiger tue er zudem kund, als Vater eines in der Schweiz lebenden Kindes willens zu sein, Verantwortung zu tragen und im hiesigen Rechtssystem zu bestehen (Beschwerde, S. 3 f.).
1.2 Gemäss <ref-law> misst der Richter die Strafe nach dem Verschulden des Täters zu. Er berücksichtigt die Beweggründe, das Vorleben und die persönlichen Verhältnisse des Schuldigen. Es liegt im Ermessen des Sachrichters, in welchem Umfang er die verschiedenen Strafzumessungsfaktoren, worunter auch die Strafempfindlichkeit fällt, berücksichtigt. Die Strafrechtliche Abteilung des Bundesgerichts greift auf Beschwerde in Strafsachen hin nur in die Strafzumessung ein, wenn die Vorinstanz den gesetzlichen Strafrahmen über- oder unterschritten hat, wenn sie von rechtlich nicht massgebenden Kriterien ausgegangen ist oder wesentliche Gesichtspunkte ausser Acht gelassen beziehungsweise in Überschreitung oder Missbrauch ihres Ermessens falsch gewichtet hat (<ref-ruling> E. 2.1 mit Hinweisen).
1.3 Die Forderung des Beschwerdeführers, wonach der zu vollziehende Teil der Strafe auf die bereits erstandenen 168 Tage Haft zu begrenzen sei, geht an der Sache vorbei. Gemäss <ref-law> müssen bei der teilbedingten Freiheitsstrafe sowohl der aufgeschobene wie auch der zu vollziehende Teil mindestens sechs Monate betragen. Diese Bedingung wäre bei einer zu vollziehenden Freiheitsstrafe von lediglich 168 Tagen (entsprechend rund 5 1⁄2 Monaten) nicht erfüllt. Der Beschwerdeführer zeigt ausserdem in keiner Weise auf, inwiefern die Vorinstanz ihr Ermessen bei der Strafzumessung überschritten oder missbraucht hätte.
1.4 Das Bundesgericht äusserte sich in den letzten Jahren in verschiedenen nicht publizierten Entscheiden zum Strafzumessungsfaktor der Strafempfindlichkeit (vgl. hierzu das Urteil 6B_470/2009 vom 23. November 2009 E. 2.5 mit Hinweisen auf Lehre und Rechtsprechung). Dabei hielt es fest, dass die Verbüssung einer Freiheitsstrafe für jeden in ein familiäres Umfeld eingebetteten Beschuldigten mit einer gewissen Härte verbunden sei. Als unmittelbare gesetzmässige Folge jeder Sanktion dürfe diese Konsequenz daher nur bei Vorliegen aussergewöhnlicher Umstände erheblich strafmindernd wirken.
1.5 Solche aussergewöhnlichen Umstände werden vom Beschwerdeführer nicht aufgezeigt und sind auch nicht ersichtlich. Es ist unbestritten, dass ein Strafvollzug für den Beschwerdeführer sowie seine Angehörigen in beruflicher, finanzieller und allenfalls psychischer Hinsicht eine Belastung darstellen wird. Dies stellt jedoch eine unvermeidbare Konsequenz der freiheitsentziehenden Sanktion dar. Die Vorinstanz darf bei dieser Sachlage, ohne ihr Ermessen zu verletzen, eine über das normale Mass hinausgehende Strafempfindlichkeit des Beschwerdeführers verneinen.
2. Die Beschwerde ist abzuweisen. Bei diesem Verfahrensausgang sind die Kosten des Verfahrens vor Bundesgericht dem Beschwerdeführer aufzuerlegen (<ref-law>). Da das Rechtsmittel von vornherein aussichtslos war, kann dem Gesuch um unentgeltliche Rechtspflege nicht entsprochen werden (<ref-law>). Den finanziellen Verhältnissen des Beschwerdeführers ist mit herabgesetzten Gerichtskosten Rechnung zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 17. August 2010
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Favre Keller