Fix math errors in EM algorithm