Faits: A. Par jugement du 2 mars 2012, le Tribunal correctionnel genevois a condamné X._ pour abus de confiance à une peine privative de liberté de 24 mois avec sursis pendant 3 ans. B. Par arrêt du 8 mars 2013, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a rejeté l'appel formé par X._. En bref, il en ressort les éléments suivants. Il est reproché à X._ d'avoir, de concert avec A._, alors qu'il avait proposé à B._ un investissement dit de « levier » et demandé à D._ de créer la société C._ à cette fin, décidé B._ à procéder au versement d'un montant total de 400'000 euros sur le compte de D._, puis d'avoir intentionnellement décidé D._ à effectuer divers retraits et émettre divers chèques sans rapport avec l'investissement promis à B._. Il lui est également reproché d'avoir, toujours de concert avec A._ et sous le même prétexte d'un investissement de levier, décidé B._ à verser un montant de 600'000 euros en faveur de la société E._, de 80'000 euros en faveur de A._ et de 30'000 euros en faveur de son avocat, puis d'avoir chargé A._ ou de l'avoir laissé effectuer divers retraits en espèces et versements sans rapport avec l'investissement promis. L'ensemble des montants a bénéficié directement ou indirectement à X._, A._ ou D._. Dans sa déclaration d'appel qu'il avait motivée, X._ a conclu à son acquittement. Il contestait notamment une partie des faits tels que retenus par le jugement de première instance, soit en particulier d'avoir décidé D._ à disposer du montant de 400'000 euros hormis 10'000 euros qui lui étaient dus à titre de commission et d'avoir déterminé A._ à effectuer des retraits pour ses dépenses personnelles sur le montant de 600'000 euros. Il contestait également que les montants versés par B._ fussent destinés à un investissement de levier et prétendait qu'ils avaient été payés pour régler des commissions et des honoraires. La Chambre pénale d'appel et de révision a ordonné l'ouverture d'une procédure écrite. Dans son mémoire d'appel, X._ a maintenu ses conclusions et a requis l'ouverture de débats, demande qu'il a réitérée par courrier subséquent. C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut, sous suite de frais et dépens, principalement à son acquittement ou à tout le moins à son acquittement partiel et à l'allocation d'une indemnité de 37'570 fr. avec intérêts, subsidiairement au renvoi de la cause à l'autorité inférieure pour nouvelle instruction et nouveau jugement. Il sollicite par ailleurs l'assistance judiciaire. Invités à déposer des observations sur le recours, la cour cantonale a conclu à son rejet alors que le Ministère public s'en remet à justice. X._ a renoncé à se déterminer sur ces écritures.