Sachverhalt: A. B._ (Beschwerdegegner) war seit dem 1. Januar 2004 in der Versicherungsagentur von A._ (Beschwerdeführer) als Verkaufsleiter und EDV-Verantwortlicher tätig. Anfangs Februar 2005 erkrankte er und war bis Ende Dezember 2005 arbeitsunfähig. Mit Schreiben vom 30. Juni 2005 kündigte der Beschwerdeführer das Arbeitsverhältnis auf den nächstmöglichen Zeitpunkt, nämlich auf Ende Dezember 2005. Er stellte dem Beschwerdegegner aber in Aussicht, ihn ab Januar 2006 zu geänderten Bedingungen weiter zu beschäftigen und legte ihm am 16. Oktober 2005 den Entwurf eines neuen Anstellungsvertrages vor. Da der Beschwerdegegner diesen ablehnte, endete das Arbeitsverhältnis am 31. Dezember 2005. B. Der Beschwerdegegner verlangte vom Beschwerdeführer vor dem Kantonsgericht Glarus Fr. 30'000.-- Lohnnachzahlung nebst Zins und die Ausstellung eines modifizierten Lohnausweises. Das Kantonsgericht sprach ihm Fr. 4'583.10 netto nebst Zins zu und verpflichtete den Beschwerdeführer, einen entsprechend modifizierten Lohnausweis auszustellen. Mit kantonaler Berufung verlangte der Beschwerdegegner vor dem Obergericht des Kantons Glarus zusätzlich Fr. 16'000.-- netto nebst Zins, während der Beschwerdeführer mit Anschlussberufung die Abweisung der Klage beantragte. Das Obergericht hiess die Berufung gut und wies die Anschlussberufung ab. Es verpflichtete den Beschwerdeführer dem Beschwerdegegner Fr. 20'583.10 netto nebst Zins zu bezahlen und einen entsprechenden Lohnausweis auszustellen. C. Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht im Wesentlichen, die Klage abzuweisen. Der Beschwerdegegner schliesst auf kostenfällige Abweisung der Beschwerde, soweit darauf einzutreten ist, während das Obergericht auf Vernehmlassung verzichtet hat.