Sachverhalt: A. X._ ist seit dem 27. Mai 2009 in Haft. Er wurde verdächtigt, mit einem Messer den Betreiber eines Kebapstands angegriffen zu haben. Am 19. Oktober 2009 lehnte der Präsident des Strafgerichts des Kantons Basel-Landschaft gestützt auf ein psychiatrisches Gutachten die Haftentlassung ab, bewilligte jedoch das Gesuch um Verlegung in eine geeignete Massnahmevollzugsanstalt. Mit Urteil vom 9. März 2010 sprach das Strafgericht X._ vom Vorwurf der Tätlichkeit, der versuchten einfachen Körperverletzung mit einem gefährlichen Gegenstand, der versuchten Nötigung, der Beschimpfung und des Konsums von Betäubungmitteln wegen Schuldunfähigkeit frei (Art. 19 Abs. 1 StGB). In Bezug auf weitere angeklagte Delikte, so insbesondere jenes der versuchten vorsätzlichen Tötung, wurde er mangels Beweisen ebenfalls freigesprochen. Mit Verfügung vom 9. April 2010 ordnete die Präsidentin der Abteilung Zivil- und Strafrecht des Kantonsgericht Basel-Landschaft die Verlängerung der Sicherheitshaft bis zur zweitinstanzlichen Hauptverhandlung, maximal jedoch um 6 Monate, an. Sie stellte fest, dass die Verlegung in eine geeignete Massnahmevollzugsanstalt bereits bewilligt worden sei, und bat die Behörden des Straf- und Massnahmevollzugs, dies so rasch als möglich umzusetzen. B. Mit Beschwerde in Strafsachen an das Bundesgericht vom 12. Mai 2010 beantragt X._, die Verfügung des Kantonsgerichts sei aufzuheben und er selbst sei aus der Haft zu entlassen. Eventualiter sei das Kantonsgericht anzuweisen, ihn entweder innert 30 Tagen in eine geeignete Massnahmevollzugsanstalt zu verlegen oder aber aus der Haft zu entlassen. Das Kantonsgericht beantragt in seiner Vernehmlassung die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Staatsanwaltschaft des Kantons Basel-Landschaft schliesst auf Abweisung der Beschwerde. Der Beschwerdeführer hält in seiner Stellungnahme dazu an seinen Anträgen und Rechtsauffassungen fest.