%WER 30.18 [ 7474 / 24761, 1166 ins, 3100 del, 3208 sub ] %SER 61.41 [ 1606 / 2615 ] Scored 2615 sentences, 0 not present in hyp. ================================================================================ ALIGNMENTS Format: , WER DETAILS ; reference ; on ; the ; first ; line I ; S ; = ; = ; S ; D and ; hypothesis ; on ; the ; third ; ================================================================================ 138263, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ================================================================================ 136261, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'Friday'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'friday'}]} ================================================================================ 130541, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'comcast'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'comcast'}]} ================================================================================ 129573, %WER 46.15 [ 6 / 13, 0 ins, 4 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rainy'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 134684, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138833, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'ingredient'| ; 'filler': ; 'baking ; soda ; for ; baking ; powder'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 136645, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ================================================================================ 140726, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ================================================================================ 140232, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'blanket'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'blanket'}]} ================================================================================ 139204, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; []} ================================================================================ 134375, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; "master's ; bedroom"}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 130955, %WER 57.14 [ 8 / 14, 0 ins, 5 del, 3 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'food_type'| ; 'filler': ; 'boiled ; vegetables'}]} = ; S ; = ; S ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ; ; ; ; ; ================================================================================ 131985, %WER 0.00 [ 0 / 18, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'monday'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}| ; {'type': ; 'time'| ; 'filler': ; 'six ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'monday'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}| ; {'type': ; 'time'| ; 'filler': ; 'six ; am'}]} ================================================================================ 139114, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'sonys'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} ; ; ; ; ================================================================================ 140224, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133113, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 138387, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_name'| ; 'filler': ; 'bagmati ; express'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'bangalore'}]} ; ================================================================================ 140993, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129603, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 134001, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'greet'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 136372, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ================================================================================ 128982, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 135793, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'delivery'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; []} ; ; ; ================================================================================ 130753, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'twitter'}]} = ; = ; = ; = ; = ; = ; S ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'twitter'}]} ================================================================================ 136468, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; [{'type': ; 'change_amount'| ; 'filler': ; 'twenty ; percent'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 134524, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'bay ; area'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'bay ; area'}]} ================================================================================ 135411, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134625, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ; ; ; = ; = ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} ================================================================================ 133065, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 129450, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'elaborate'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'elephant'}]} ================================================================================ 140793, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}]} = ; S ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 137181, %WER 50.00 [ 9 / 18, 0 ins, 5 del, 4 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'wings ; with ; french ; fries'}| ; {'type': ; 'business_name'| ; 'filler': ; 'chinese ; food ; store'}]} = ; S ; = ; S ; = ; = ; = ; = ; S ; D ; D ; D ; = ; = ; = ; S ; D ; D {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'chinese'}| ; ; ; ; {'type': ; 'business_name'| ; 'filler': ; 'chinese'}]} ; ; ================================================================================ 132266, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'todo'}]} = ; S ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 134897, %WER 20.00 [ 2 / 10, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'dinky ; donuts'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; S {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; "jason's ; deli"}]} ================================================================================ 129847, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 130015, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'mexico'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'mexican'}]} ================================================================================ 135736, %WER 35.29 [ 6 / 17, 0 ins, 4 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'boss'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'boss'}| ; {'type': ; ; ; ; ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 134176, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bathroom'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bathroom'}]} ================================================================================ 139392, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_agency'| ; 'filler': ; 'uber'}]} ================================================================================ 133555, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'aircel'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 138606, %WER 58.33 [ 7 / 12, 1 ins, 0 del, 6 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'two ; thousand ; and ; sixteen'}]} ; = ; = ; = ; S ; = ; = ; S ; = ; S ; S ; S ; S ; I {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurant'}| ; {'type': ; 'place_name'| ; 'filler': ; 'us'}]} ================================================================================ 136375, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 140879, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 133293, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 135536, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131936, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; show'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ; ================================================================================ 134499, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 132577, %WER 78.57 [ 11 / 14, 0 ins, 8 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'keep ; reading'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 128890, %WER 60.00 [ 6 / 10, 4 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'time'| ; 'filler': ; 'six ; pm'}]} = ; S ; = ; S ; = ; = ; I ; I ; I ; I ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'umbrella'}| ; {'type': ; 'time'| ; 'filler': ; 'six ; pm'}]} ================================================================================ 139908, %WER 33.33 [ 5 / 15, 0 ins, 5 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'getting ; ready'}| ; {'type': ; 'time'| ; 'filler': ; 'five ; pm'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'time'| ; 'filler': ; 'five ; pm'}]} ================================================================================ 137765, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 141616, %WER 15.38 [ 2 / 13, 0 ins, 0 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rainy'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; S {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 138013, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129754, %WER 60.00 [ 6 / 10, 3 ins, 0 del, 3 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'pav ; bhaji'}]} ; ; ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; I ; I ; I {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'cook'}| ; {'type': ; 'food_type'| ; 'filler': ; 'burger'}]} ================================================================================ 132860, %WER 60.00 [ 6 / 10, 0 ins, 4 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'addcontact'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'cleveland ; ohio'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 132471, %WER 63.64 [ 7 / 11, 3 ins, 0 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'audiobook_name'| ; 'filler': ; 'history ; of ; rome'}]} ; ; ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; S ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'audio ; book'}| ; {'type': ; 'music_genre'| ; 'filler': ; 'pop'}]} ================================================================================ 137704, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137526, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'round ; here'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'shops'}]} ; ================================================================================ 132874, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 132563, %WER 0.00 [ 0 / 15, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 136006, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 137842, %WER 54.55 [ 6 / 11, 0 ins, 5 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'email_address'| ; 'filler': ; 'tim@hotmail ; dot ; com'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ; ; ; ; ; ================================================================================ 138764, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ; ; ; ================================================================================ 132514, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'hallway'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'hall'}]} ================================================================================ 135904, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'suqcom'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'subway'}]} ================================================================================ 136244, %WER 46.15 [ 6 / 13, 0 ins, 2 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'eight ; hundred ; and ; eighty ; nine'}]} = ; S ; = ; S ; = ; = ; S ; = ; = ; = ; S ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'eight ; hundred ; am'}]} ; ; ================================================================================ 139980, %WER 20.00 [ 2 / 10, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'one ; hour'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; S {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'two ; hours'}]} ================================================================================ 130207, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'russia'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'russia'}]} ================================================================================ 140859, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 135547, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 133919, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'fifteen ; minutes'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'fifteen ; minutes'}]} ================================================================================ 131142, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'us'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'us'}]} ================================================================================ 138640, %WER 57.14 [ 8 / 14, 0 ins, 4 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; "justin ; bieber's"}| ; {'type': ; 'song_name'| ; 'filler': ; 'sorry'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; episode'}]} ; ; ; ; ================================================================================ 131250, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'person'| ; 'filler': ; 'dr ; smith'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'person'| ; 'filler': ; 'dr ; smith'}]} ================================================================================ 128596, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'movie'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'california'}]} ================================================================================ 139621, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 128976, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 137133, %WER 10.00 [ 1 / 10, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'bohemian ; raphsody'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'bohemian ; rhapsody'}]} ================================================================================ 140559, %WER 50.00 [ 5 / 10, 0 ins, 1 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'happy ; birthday'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} ; ================================================================================ 136506, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} ; ; ; = ; = ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'dollars'}]} ================================================================================ 129657, %WER 7.14 [ 1 / 14, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'harry ; potter'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'harry ; potter'}]} ================================================================================ 137445, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'instagram'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; []} ; ; ; ================================================================================ 136008, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 129246, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'amy'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 133013, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} ================================================================================ 140391, %WER 705.56 [ 127 / 18, 124 ins, 0 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'nine ; am'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; ; ; ; ; ; 'date'| ; 'filler': ; 'wednesday'}]} ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; I ; I ; I ; I ; I ; = ; = ; S ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'nine ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; ' ================================================================================ 141234, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'stores'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'stores'}]} ================================================================================ 128744, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} ================================================================================ 129764, %WER 70.00 [ 7 / 10, 3 ins, 0 del, 4 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'italian ; cafe'}]} ; ; ; = ; S ; = ; = ; = ; = ; S ; = ; S ; S ; I ; I ; I {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'london'}| ; {'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ================================================================================ 129387, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 136776, %WER 23.08 [ 3 / 13, 0 ins, 0 del, 3 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'convert'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'uk'}| ; {'type': ; 'place_name'| ; 'filler': ; 'us'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; S {'scenario': ; 'datetime'| ; 'action': ; 'convert'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'york'}| ; {'type': ; 'time_zone'| ; 'filler': ; 'euros'}]} ================================================================================ 132434, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; []} ================================================================================ 137294, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'ingredient'| ; 'filler': ; 'oats'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 131008, %WER 35.71 [ 5 / 14, 0 ins, 5 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'soccer ; match'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'tonight'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'timeofday'| ; 'filler': ; 'tonight'}]} ================================================================================ 140067, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'morgan ; freeman'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ================================================================================ 135651, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'trump'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'trump'}]} ================================================================================ 129350, %WER 25.00 [ 4 / 16, 0 ins, 1 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'the ; presidential ; election'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; year'}]} = ; S ; = ; S ; = ; = ; = ; = ; S ; D ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'presidential ; ; election'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; year'}]} ================================================================================ 136238, %WER 20.00 [ 3 / 15, 0 ins, 1 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'dentist ; appointment'}| ; {'type': ; 'time'| ; 'filler': ; 'two ; hours'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'dentist ; appointment'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ; ================================================================================ 138704, %WER 27.27 [ 3 / 11, 0 ins, 0 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'next ; three ; months'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'next ; three ; hours'}]} ================================================================================ 133171, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum ; cleaner'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} ; ================================================================================ 134295, %WER 0.00 [ 0 / 17, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'london'}| ; {'type': ; 'place_name'| ; 'filler': ; 'manchester'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'london'}| ; {'type': ; 'place_name'| ; 'filler': ; 'manchester'}]} ================================================================================ 129411, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_descriptor'| ; 'filler': ; 'christian'}]} = ; = ; = ; = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'christian'}]} ================================================================================ 132569, %WER 78.57 [ 11 / 14, 0 ins, 8 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'keep ; reading'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 132777, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'poker'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ================================================================================ 140605, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'city'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 131567, %WER 20.00 [ 3 / 15, 0 ins, 2 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'personal_info'| ; 'filler': ; 'work ; phone ; number'}| ; {'type': ; 'person'| ; 'filler': ; 'emilia'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'personal_info'| ; 'filler': ; 'work'}| ; ; ; {'type': ; 'person'| ; 'filler': ; 'emilia'}]} ================================================================================ 135317, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'two'}]} ================================================================================ 140382, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'silent'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ; ; ; ================================================================================ 130225, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 137377, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'valet ; service'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ; ; ; ; ================================================================================ 139271, %WER 30.00 [ 3 / 10, 0 ins, 0 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_on'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'smart ; socket'}]} = ; S ; = ; S ; = ; = ; S ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'smart ; socket'}]} ================================================================================ 138904, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'ten ; day'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tuesday'}]} ; ================================================================================ 141633, %WER 37.50 [ 6 / 16, 0 ins, 4 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'barcelona'}| ; {'type': ; 'time'| ; 'filler': ; 'two ; days ; from ; now'}]} = ; S ; = ; = ; = ; = ; S ; = ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; ; ; ; ; 'two ; days ; from ; now'}]} ================================================================================ 137856, %WER 60.00 [ 6 / 10, 0 ins, 4 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'largest ; desk'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ================================================================================ 137572, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'academy ; awards'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 133367, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'pasta'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'pasta'}]} ================================================================================ 132722, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'chicago'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'taco'}]} ================================================================================ 134715, %WER 33.33 [ 3 / 9, 1 ins, 0 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeout'}]} ; = ; = ; = ; S ; = ; = ; = ; = ; S ; I {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'take ; out'}]} ================================================================================ 133220, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'home'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'home'}]} ================================================================================ 134428, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 130591, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 128898, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'bbc'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'bbc'}]} ================================================================================ 138517, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 138275, %WER 66.67 [ 6 / 9, 4 ins, 0 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; ; ; ; ; 'person'| ; 'filler': ; 'jane'}]} = ; S ; = ; S ; = ; = ; I ; I ; I ; I ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'person'| ; 'filler': ; 'jane'}]} ================================================================================ 139703, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 135456, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'bbc ; world'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}]} ; ================================================================================ 140820, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'amazon ; forest'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 130970, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 135438, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138652, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 138636, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 136197, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'supervision'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ================================================================================ 134218, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'beijing'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'beijing'}]} ================================================================================ 135762, %WER 33.33 [ 5 / 15, 0 ins, 1 del, 4 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; "to ; do's"}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}| ; ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 133638, %WER 45.45 [ 5 / 11, 0 ins, 2 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'papa ; pear ; saga'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'app_name'| ; 'filler': ; 'pandora'}]} ; ; ================================================================================ 132100, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'meatballs'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'meatballs'}]} ================================================================================ 128771, %WER 88.89 [ 8 / 9, 5 ins, 0 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'boss'}]} ; ; ; ; ; = ; S ; = ; S ; = ; = ; = ; = ; S ; I ; I ; I ; I ; I {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'boss'}| ; {'type': ; 'time'| ; 'filler': ; 'one ; hour'}]} ================================================================================ 138198, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'coworker'}]} = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'pawel'}]} ================================================================================ 136096, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'dance'}]} ================================================================================ 128657, %WER 73.33 [ 11 / 15, 0 ins, 9 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bedroom'}| ; {'type': ; 'time'| ; 'filler': ; 'nine ; thirty ; pm'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ================================================================================ 136392, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 132088, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'family'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'family'}]} ================================================================================ 132757, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'sweater'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 130443, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133754, %WER 18.75 [ 3 / 16, 0 ins, 2 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'living ; room'}| ; {'type': ; 'color_type'| ; 'filler': ; 'green ; and ; red'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'living ; room'}| ; {'type': ; 'color_type'| ; 'filler': ; 'red'}]} ; ; ================================================================================ 135807, %WER 30.77 [ 4 / 13, 4 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 139866, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'location'}]} = ; = ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ================================================================================ 138723, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 136628, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'cassie'}| ; {'type': ; 'person'| ; 'filler': ; 'tom'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'cassie'}| ; {'type': ; 'person'| ; 'filler': ; 'tom'}]} ================================================================================ 132493, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 129578, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "bob ; smith's"}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'boss'}]} ; ================================================================================ 130160, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; "india's"}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ================================================================================ 132165, %WER 66.67 [ 10 / 15, 0 ins, 9 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'ella ; fitzgerals'}| ; {'type': ; 'song_name'| ; 'filler': ; 'get ; happy'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ================================================================================ 131657, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 135516, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'yesterday'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'yesterday'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ================================================================================ 131926, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'politics'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'politics'}]} ================================================================================ 133245, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'place_name'| ; 'filler': ; 'tucson'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'place_name'| ; 'filler': ; 'tata'}]} ================================================================================ 131606, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'theaters'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; []} ; ; ; ================================================================================ 138236, %WER 61.54 [ 8 / 13, 0 ins, 7 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'every ; time ; i ; see ; you'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 136280, %WER 57.14 [ 8 / 14, 4 ins, 1 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; ; ; ; ; 'place_name'| ; 'filler': ; 'japan'}| ; {'type': ; 'place_name'| ; 'filler': ; 'south ; korea'}]} = ; S ; = ; S ; = ; = ; I ; I ; I ; I ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'japan'}| ; {'type': ; 'place_name'| ; 'filler': ; 'jodhpur'}]} ; ================================================================================ 131837, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bathroom'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bathroom'}]} ================================================================================ 137026, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'laos'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ================================================================================ 133378, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'jcpenney'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'jcpenney'}]} ================================================================================ 129127, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 129962, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 134910, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'lunch ; meeting'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ; ================================================================================ 133339, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'degree'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 134819, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133771, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'sara'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'sarah'}]} ================================================================================ 130416, %WER 40.00 [ 4 / 10, 0 ins, 0 del, 4 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'kate ; middleton'}]} = ; S ; = ; S ; = ; = ; = ; = ; S ; S {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'kim ; kardashian'}]} ================================================================================ 129463, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 139695, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 130003, %WER 66.67 [ 10 / 15, 0 ins, 5 del, 5 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'todays'}| ; {'type': ; 'place_name'| ; 'filler': ; 'new ; york ; city'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; S ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; episode'}]} ; ; ; ; ; ================================================================================ 137959, %WER 85.71 [ 12 / 14, 6 ins, 2 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; ; ; ; ; 'one ; ; ; hundred ; and ; one ; point ; nine'}]} = ; S ; = ; S ; = ; = ; S ; = ; I ; I ; I ; I ; = ; I ; I ; = ; = ; S ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'morning'}| ; {'type': ; 'date'| ; 'filler': ; 'one ; thousand ; nine ; hundred ; and ; ninety'}]} ; ; ================================================================================ 133930, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} ================================================================================ 129572, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rainy'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'raining'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 140853, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; []} ================================================================================ 129656, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rock'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ; ; ; ================================================================================ 129876, %WER 32.00 [ 8 / 25, 0 ins, 6 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'mehta'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'time'| ; 'filler': ; 'five ; hundred ; and ; twenty ; pm'}]} = ; = ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'time'| ; 'filler': ; 'five ; thirty ; ; ; pm'}]} ================================================================================ 131691, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ================================================================================ 137167, %WER 40.00 [ 4 / 10, 0 ins, 1 del, 3 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'orange ; tx'}]} = ; S ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ; ================================================================================ 131826, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}]} ================================================================================ 133144, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ================================================================================ 141600, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} ================================================================================ 139025, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'london'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'london'}]} ================================================================================ 130093, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 132869, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 131717, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'dentist ; appointment'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'dentist ; appointment'}]} ================================================================================ 130414, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 140929, %WER 55.56 [ 5 / 9, 1 ins, 0 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'angeline'}]} ; = ; S ; = ; S ; = ; = ; S ; = ; S ; I {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; year'}]} ================================================================================ 134763, %WER 33.33 [ 6 / 18, 0 ins, 0 del, 6 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'fringe'}| ; {'type': ; 'place_name'| ; 'filler': ; 'edinburgh'}| ; {'type': ; 'date'| ; 'filler': ; 'next ; year'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'friend'}| ; {'type': ; 'person'| ; 'filler': ; 'adam'}| ; {'type': ; 'date'| ; 'filler': ; 'next ; year'}]} ================================================================================ 138487, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'twelve ; pm'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'twelve ; pm'}]} ================================================================================ 129588, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum ; cleaner'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} ; ================================================================================ 140195, %WER 33.33 [ 5 / 15, 0 ins, 2 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'song_name'| ; 'filler': ; 'born ; to ; run'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'business_type'| ; 'filler': ; 'restaurant'}]} ; ; ================================================================================ 136575, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 137245, %WER 654.55 [ 144 / 22, 142 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}| ; {'type': ; 'person'| ; 'filler': ; 'jesse'}]} ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}| ; {'type': ; 'event_name'| ; ' ================================================================================ 139714, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'grand ; rapids ; mi'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'grand ; rapids ; mi'}]} ================================================================================ 137725, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'stop ; play'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'settings'| ; 'entities': ; []} ; ; ; ; ================================================================================ 131529, %WER 46.15 [ 6 / 13, 4 ins, 0 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}| ; {'type': ; ; ; ; ; 'place_name'| ; 'filler': ; 'berlin'}]} = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; = ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday'}| ; {'type': ; 'place_name'| ; 'filler': ; 'berkeley'}]} ================================================================================ 130139, %WER 21.43 [ 3 / 14, 1 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday ; party'}| ; {'type': ; 'date'| ; 'filler': ; 'thirtieth'}]} ; = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday ; party'}| ; {'type': ; 'date'| ; 'filler': ; 'the ; thirty'}]} ================================================================================ 137187, %WER 14.29 [ 2 / 14, 0 ins, 1 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'car ; payment'}| ; {'type': ; 'date'| ; 'filler': ; 'twelfth'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'call'}| ; ; {'type': ; 'date'| ; 'filler': ; 'twelfth'}]} ================================================================================ 140354, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 138726, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140244, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139276, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'kitchen'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'kitchen'}]} ================================================================================ 130617, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'running'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ; ; ; ================================================================================ 130244, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 138773, %WER 50.00 [ 7 / 14, 1 ins, 1 del, 5 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'convert'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'time_zone'| ; 'filler': ; 'pacific'}]} ; = ; = ; = ; S ; = ; = ; S ; = ; S ; D ; = ; S ; = ; S ; I {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}| ; ; {'type': ; 'time'| ; 'filler': ; 'six ; am'}]} ================================================================================ 130099, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 132674, %WER 13.33 [ 2 / 15, 0 ins, 1 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york ; city'}| ; {'type': ; 'transport_type'| ; 'filler': ; 'train'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}| ; ; {'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ================================================================================ 141299, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'logic'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 139839, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137022, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'laos'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; []} ; ; ; ================================================================================ 134610, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'twitter'}| ; {'type': ; 'business_name'| ; 'filler': ; '@nsa'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; '@nsa'}]} ================================================================================ 136928, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "mark ; lanegan's"}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ================================================================================ 134714, %WER 80.00 [ 8 / 10, 4 ins, 0 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "jessica ; snout's"}]} ; ; ; ; = ; S ; = ; S ; = ; = ; = ; = ; S ; S ; I ; I ; I ; I {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "jeff's"}| ; {'type': ; 'personal_info'| ; 'filler': ; 'phone ; number'}]} ================================================================================ 137066, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ================================================================================ 129723, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'coffee_type'| ; 'filler': ; 'without ; sweetener'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ; ; ; ; ================================================================================ 137747, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 131718, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'dentist ; appointment'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ; ; ; ; ================================================================================ 132846, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'jingle ; bells'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 131881, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133405, %WER 42.86 [ 6 / 14, 0 ins, 4 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'megatel'}| ; {'type': ; 'date'| ; 'filler': ; 'last ; week'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'last ; week'}]} ================================================================================ 135166, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 131097, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'pause'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ; ; ; ================================================================================ 134546, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'beijing'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'beijing'}]} ================================================================================ 133948, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'rice'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'rice'}]} ================================================================================ 140716, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138523, %WER 0.00 [ 0 / 12, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'one ; hundred ; and ; one'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'one ; hundred ; and ; one'}]} ================================================================================ 141295, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'logic'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'grocery'}]} ================================================================================ 132590, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}| ; {'type': ; 'relation'| ; 'filler': ; 'dad'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}]} ; ; ; ; ================================================================================ 139982, %WER 20.00 [ 2 / 10, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'one ; hour'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'one ; hour'}]} ================================================================================ 141496, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 130931, %WER 33.33 [ 5 / 15, 0 ins, 5 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'poker ; face'}| ; {'type': ; 'artist_name'| ; 'filler': ; 'lady ; gaga'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'artist_name'| ; 'filler': ; 'lady ; gaga'}]} ================================================================================ 135419, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140745, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; S ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 137823, %WER 72.22 [ 13 / 18, 0 ins, 9 del, 4 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'paris'}| ; {'type': ; 'transport_name'| ; 'filler': ; 'eurostar'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; weekend'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'weekend'}]} ; ; ; ; ; ; ; ; ; ================================================================================ 130457, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}]} ================================================================================ 141499, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134844, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'date'| ; 'filler': ; 'april ; fourth'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'date'| ; 'filler': ; 'april ; fourth'}]} ================================================================================ 131452, %WER 60.00 [ 6 / 10, 4 ins, 0 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'this ; week'}]} = ; S ; = ; S ; = ; = ; I ; I ; I ; I ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'beatles'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 129366, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 138503, %WER 27.78 [ 5 / 18, 0 ins, 4 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'thursday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'thursday'}]} ; ; ; ; ================================================================================ 134146, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'sixth ; street'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 135687, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'dislikeness'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 133125, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}]} ================================================================================ 129817, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; podcast'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ; ================================================================================ 135025, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} ================================================================================ 128576, %WER 4.55 [ 1 / 22, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'person'| ; 'filler': ; 'pawel'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'ten ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'person'| ; 'filler': ; 'paul'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'ten ; am'}]} ================================================================================ 136856, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 133431, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'ten'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; S ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 134356, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'julie ; smith'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'julie ; smith'}]} ================================================================================ 134880, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'At&t'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} ; ; ; ; ================================================================================ 139127, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'this ; place'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; []} ; ; ; ; ================================================================================ 130922, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139556, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'latte'}]} ================================================================================ 138509, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ================================================================================ 129270, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'china'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ================================================================================ 133594, %WER 42.86 [ 6 / 14, 0 ins, 5 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'online ; bookstore'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; S ; D {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; ; ; ; ; 'business_name'| ; 'filler': ; 'alabama'}]} ; ================================================================================ 134121, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'boston'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'boston'}]} ================================================================================ 141502, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 130378, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'errands'}| ; {'type': ; 'date'| ; 'filler': ; 'Saturday'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} ; ; ; ; ================================================================================ 137964, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 140097, %WER 42.86 [ 6 / 14, 0 ins, 4 del, 2 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'convert'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'california'}| ; {'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} = ; S ; = ; S ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; ; ; ; ; 'new ; york'}]} ================================================================================ 137270, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'euro'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'dollar'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'euro'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'dollar'}]} ================================================================================ 133051, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 130018, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'mexico'}]} = ; S ; = ; S ; = ; = ; S ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'mexico'}]} ================================================================================ 129671, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 132845, %WER 30.00 [ 3 / 10, 0 ins, 0 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'jingle ; bells'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; S {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'michael ; jackson'}]} ================================================================================ 138051, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ================================================================================ 138990, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}]} ================================================================================ 141462, %WER 27.27 [ 3 / 11, 0 ins, 1 del, 2 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'last ; two ; months'}]} = ; S ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'last ; week'}]} ; ================================================================================ 137880, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ================================================================================ 132526, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'robot ; roomba'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'room'}]} ; ================================================================================ 136984, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 130441, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137674, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'schedules'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 135871, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 130658, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'convert'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ================================================================================ 140216, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'tic ; tac ; toe'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'tic ; tac ; toe'}]} ================================================================================ 129088, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 139895, %WER 64.29 [ 9 / 14, 0 ins, 4 del, 5 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'audiobook_name'| ; 'filler': ; 'davinci ; code'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'angelina ; jolie'}]} ; ; ; ; ================================================================================ 130141, %WER 7.14 [ 1 / 14, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday ; party'}| ; {'type': ; 'date'| ; 'filler': ; 'thirtieth'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday ; party'}| ; {'type': ; 'date'| ; 'filler': ; 'thirteenth'}]} ================================================================================ 139953, %WER 54.17 [ 13 / 24, 0 ins, 10 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'two ; hours'}| ; {'type': ; 'event_name'| ; 'filler': ; 'violin ; lesson'}| ; {'type': ; 'time'| ; 'filler': ; 'four ; pm'}| ; {'type': ; 'place_name'| ; 'filler': ; 'musicworkz'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; = ; D ; D ; D ; D ; D ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; ; {'type': ; ; ; ; ; ; 'time'| ; 'filler': ; 'four ; pm'}]} ; ; ; ; ================================================================================ 140669, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_on'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'wemo'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'wemo_on'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'wemo'}]} ================================================================================ 135061, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 130890, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'andy'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'handy'}]} ================================================================================ 133214, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'jogging ; playlist'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ================================================================================ 140228, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 135872, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ================================================================================ 139592, %WER 20.00 [ 2 / 10, 0 ins, 0 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} ================================================================================ 141225, %WER 85.00 [ 17 / 20, 0 ins, 14 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'exhibition ; two ; thousand ; and ; seventeen ; mass'}| ; {'type': ; 'date'| ; 'filler': ; 'mar ; twenty ; five'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ; ; ; ; ================================================================================ 137150, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 138822, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}]} ================================================================================ 130230, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131354, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} ================================================================================ 131015, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'snow ; tyres'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 130439, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131645, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 140462, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} ================================================================================ 139033, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131599, %WER 50.00 [ 6 / 12, 0 ins, 2 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'audiobook_name'| ; 'filler': ; 'biography ; of ; jackie ; kennedy'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; S ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'michael ; jackson'}]} ; ; ================================================================================ 137707, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; "louie's"}]} = ; S ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 133298, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 136740, %WER 28.57 [ 4 / 14, 0 ins, 1 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'person'| ; 'filler': ; 'george ; adams'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointments'}| ; {'type': ; 'event_name'| ; 'filler': ; 'appointment'}]} ; ================================================================================ 139336, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 130739, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}]} ================================================================================ 136175, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 141425, %WER 20.00 [ 3 / 15, 0 ins, 2 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'time'| ; 'filler': ; 'three ; o ; clock'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'time'| ; 'filler': ; 'three'}]} ; ; ================================================================================ 137476, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "ben's"}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "ben's"}]} ================================================================================ 132746, %WER 46.15 [ 6 / 13, 0 ins, 0 del, 6 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'roast'}| ; {'type': ; 'ingredient'| ; 'filler': ; 'potatoes'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; = ; S ; = ; S {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}| ; {'type': ; 'place_name'| ; 'filler': ; 'rome'}]} ================================================================================ 139309, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'coffee ; pot'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ; ; ; ; ================================================================================ 130384, %WER 69.23 [ 9 / 13, 8 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'pounds'}]} ; ; ; ; ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I ; I ; I ; I ; I {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'dollar'}]} ================================================================================ 129353, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum ; cleaner'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum ; cleaner'}]} ================================================================================ 132787, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'dislikeness'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139722, %WER 25.00 [ 3 / 12, 0 ins, 2 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'sirius ; xm ; radio ; channel'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'radio ; ; ; channel'}]} ================================================================================ 135385, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139789, %WER 40.00 [ 6 / 15, 0 ins, 0 del, 6 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'uberpool'}| ; {'type': ; 'place_name'| ; 'filler': ; 'long ; island ; bar'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; S ; = ; S ; S ; S {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_agency'| ; 'filler': ; 'uber'}| ; {'type': ; 'time'| ; 'filler': ; 'two ; to ; eleven'}]} ================================================================================ 137141, %WER 133.33 [ 8 / 6, 7 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'beatles'}| ; {'type': ; 'order_type'| ; 'filler': ; 'delivery'}]} ================================================================================ 137754, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140279, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 135249, %WER 46.67 [ 7 / 15, 0 ins, 6 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'metropolitan ; opera ; house'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ; ; ; ; ; ; ================================================================================ 137970, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131735, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 131565, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; []} ================================================================================ 137380, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'russia'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'russia'}]} ================================================================================ 138770, %WER 14.29 [ 2 / 14, 0 ins, 0 del, 2 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'convert'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'time_zone'| ; 'filler': ; 'pacific'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'time_zone'| ; 'filler': ; 'pacific'}]} ================================================================================ 137934, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'steak'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ; ; ; ================================================================================ 129034, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'boston'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'boston'}]} ================================================================================ 139089, %WER 70.00 [ 7 / 10, 4 ins, 0 del, 3 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} ; ; ; ; = ; S ; = ; S ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 136436, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 136940, %WER 81.25 [ 13 / 16, 0 ins, 10 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'keep ; playing'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'war ; and ; peace'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ================================================================================ 138211, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 140543, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ================================================================================ 132614, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 138690, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook ; account'}]} = ; = ; = ; S ; = ; = ; = ; = ; S ; D {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} ; ================================================================================ 139486, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 132003, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ================================================================================ 131642, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 137875, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ================================================================================ 131899, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138223, %WER 9.09 [ 1 / 11, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; [{'type': ; 'change_amount'| ; 'filler': ; 'by ; fifty ; percent'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; [{'type': ; 'change_amount'| ; 'filler': ; 'to ; fifty ; percent'}]} ================================================================================ 133409, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'musical ; events'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ================================================================================ 138394, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} ================================================================================ 140878, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 135775, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; []} ================================================================================ 141265, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} ================================================================================ 138812, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139616, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'car ; radio'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'car'}]} ; ================================================================================ 133444, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 129805, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} ================================================================================ 131268, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 131486, %WER 0.00 [ 0 / 15, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'coffee ; machine'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'coffee ; machine'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} ================================================================================ 136419, %WER 64.29 [ 9 / 14, 0 ins, 8 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "jay's"}| ; {'type': ; 'personal_info'| ; 'filler': ; 'phone ; number'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 137769, %WER 15.38 [ 2 / 13, 0 ins, 1 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'nine ; hundred ; and ; eighty ; nine'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'nine ; hundred ; and ; ninety'}]} ; ================================================================================ 132559, %WER 0.00 [ 0 / 15, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 133739, %WER 54.55 [ 6 / 11, 0 ins, 5 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'email_address'| ; 'filler': ; 'newmail@gmail ; dot ; com'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ; ; ; ; ; ================================================================================ 136857, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 140182, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'haircut'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'haircut'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}]} ================================================================================ 130121, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'jazz'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 134540, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129709, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'limelight'}| ; {'type': ; 'artist_name'| ; 'filler': ; 'rush'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 130862, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'france'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'france'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 133243, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 136913, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'bazaar ; highway'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; []} ; ; ; ; ================================================================================ 135732, %WER 35.29 [ 6 / 17, 0 ins, 4 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'boss'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 135082, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'deliver'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'delivery'}]} ================================================================================ 129596, %WER 50.00 [ 5 / 10, 0 ins, 1 del, 4 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum ; cleaner'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ; ================================================================================ 138473, %WER 37.50 [ 6 / 16, 0 ins, 3 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'honey ; mustard ; wing ; combo'}| ; {'type': ; 'drink_type'| ; 'filler': ; 'sprite'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; = ; S ; = ; S {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'pizza'}| ; ; ; ; {'type': ; 'order_type'| ; 'filler': ; 'delivery'}]} ================================================================================ 130596, %WER 71.43 [ 10 / 14, 0 ins, 8 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'app_name'| ; 'filler': ; 'netflix'}| ; {'type': ; 'device_type'| ; 'filler': ; 'ps ; four'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 140973, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'bill ; malinda'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ; ; ; ; ================================================================================ 132270, %WER 41.67 [ 5 / 12, 1 ins, 0 del, 4 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'saturdays ; are ; in ; march'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; S ; S ; I {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'saturday'}| ; {'type': ; 'date'| ; 'filler': ; 'march'}]} ================================================================================ 136887, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'blue'}]} ================================================================================ 133870, %WER 42.86 [ 6 / 14, 4 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; episode'}| ; {'type': ; 'podcast_name'| ; 'filler': ; 'friends'}]} ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; I ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; episode'}| ; {'type': ; 'player_setting'| ; 'filler': ; 'start'}| ; {'type': ; 'media_type'| ; 'filler': ; 'youtube'}]} ================================================================================ 138826, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}]} ================================================================================ 140246, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 141220, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; []} ================================================================================ 133075, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 138210, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 132096, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 136735, %WER 14.29 [ 2 / 14, 0 ins, 1 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'person'| ; 'filler': ; 'george ; adams'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'person'| ; 'filler': ; 'silvia'}]} ; ================================================================================ 131430, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; []} ================================================================================ 131942, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'boil'}| ; {'type': ; 'food_type'| ; 'filler': ; 'egg'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'boil'}| ; {'type': ; 'food_type'| ; 'filler': ; 'egg'}]} ================================================================================ 139709, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'robert'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'robert'}]} ================================================================================ 129981, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'led ; zeppelin'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 128580, %WER 9.09 [ 2 / 22, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'person'| ; 'filler': ; 'pawel'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'ten ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'relation'| ; 'filler': ; 'family'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'ten ; am'}]} ================================================================================ 133783, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 132337, %WER 133.33 [ 8 / 6, 5 ins, 0 del, 3 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ; ; ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'in ; an ; hour'}]} ================================================================================ 136202, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 141016, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133931, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} ================================================================================ 139077, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 137548, %WER 23.53 [ 4 / 17, 0 ins, 4 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "tomorrow's"}| ; {'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}| ; {'type': ; 'weather_descriptor'| ; 'filler': ; 'hot'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "tomorrow's"}| ; {'type': ; 'weather_descriptor'| ; 'filler': ; ; ; ; ; 'hot'}]} ================================================================================ 133696, %WER 68.75 [ 11 / 16, 0 ins, 7 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'comfort ; my ; ears'}| ; {'type': ; 'artist_name'| ; 'filler': ; 'arijit ; singh'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'aran'}]} ; ; ; ; ; ; ; ================================================================================ 135165, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 131933, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 132031, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 132162, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 129470, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ================================================================================ 137993, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 141577, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funny'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} ; ; ; ================================================================================ 130390, %WER 61.11 [ 11 / 18, 0 ins, 9 del, 2 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'yesterday'}| ; {'type': ; 'time'| ; 'filler': ; 'noontime'}| ; {'type': ; 'place_name'| ; 'filler': ; 'times ; square'}]} = ; S ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'yesterday'}]} ; ; ; ; ; ; ; ; ; ================================================================================ 132109, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'meatballs'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 133286, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} ================================================================================ 130683, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'old ; music'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ================================================================================ 139149, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 130783, %WER 55.56 [ 5 / 9, 4 ins, 0 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'twitter'}]} ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'japan'}]} ================================================================================ 138204, %WER 83.33 [ 20 / 24, 0 ins, 18 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'james ; and ; alice'}| ; {'type': ; 'event_name'| ; 'filler': ; 'brunch'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ================================================================================ 137432, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 131965, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} ================================================================================ 138528, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'tic ; tac ; toe'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'tic ; tac ; toe'}]} ================================================================================ 132730, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'dalida'}]} = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_descriptor'| ; 'filler': ; 'umbrella'}]} ================================================================================ 131604, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 139428, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 129059, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; "adele's"}]} = ; S ; = ; S ; = ; = ; = ; = ; S {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'adele'}]} ================================================================================ 137629, %WER 57.14 [ 8 / 14, 0 ins, 4 del, 4 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'breakfast'}| ; {'type': ; 'place_name'| ; 'filler': ; "tiffany's ; house"}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; S ; S {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; ; ; ; ; 'place_name'| ; 'filler': ; 'breakfast ; city'}]} ================================================================================ 135397, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131207, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'risotto'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'vegetables'}]} ================================================================================ 133127, %WER 30.77 [ 4 / 13, 4 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'date'| ; 'filler': ; ; ; ; ; 'friday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}]} ================================================================================ 131443, %WER 83.33 [ 5 / 6, 4 ins, 0 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'audio ; book'}]} ================================================================================ 134154, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ; ; ; ================================================================================ 130914, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'newest ; provider'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ; ================================================================================ 131001, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'football'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'football'}]} ================================================================================ 139933, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; []} ; ; ; = ; = ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'friends'}]} ================================================================================ 139269, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'favourite'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 134316, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 135357, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134329, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'nine ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'nine ; am'}]} ================================================================================ 139459, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133042, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'katy ; perry'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'katy ; perry'}]} ================================================================================ 129665, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'room'}]} ================================================================================ 132000, %WER 71.43 [ 10 / 14, 0 ins, 8 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'us ; dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'pound'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 138725, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129046, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; []} ================================================================================ 139396, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'room'}]} ================================================================================ 137607, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 130165, %WER 46.67 [ 7 / 15, 0 ins, 2 del, 5 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'thirteenth ; june'}| ; {'type': ; 'event_name'| ; 'filler': ; 'election ; result'}]} = ; S ; = ; S ; = ; = ; = ; = ; S ; D ; = ; S ; = ; S ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; ; {'type': ; 'news_topic'| ; 'filler': ; 'election'}]} ; ================================================================================ 134244, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 130115, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'billy ; crytals'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ================================================================================ 140356, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 138656, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; "rehman's"}]} = ; = ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'repeat'}]} ================================================================================ 129055, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'walmart'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'walmart'}]} ================================================================================ 133413, %WER 0.00 [ 0 / 15, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'orlando ; from ; hwood'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'orlando ; from ; hwood'}]} ================================================================================ 132474, %WER 63.64 [ 7 / 11, 3 ins, 0 del, 4 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'last ; ten ; ; ; ; minutes'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; S ; I ; I ; I ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'elain'}| ; {'type': ; 'time'| ; 'filler': ; 'ten ; minutes'}]} ================================================================================ 136029, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139627, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133861, %WER 44.44 [ 4 / 9, 1 ins, 0 del, 3 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'week'}]} ; = ; S ; = ; = ; = ; = ; S ; = ; S ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'next ; week'}]} ================================================================================ 129118, %WER 46.15 [ 6 / 13, 0 ins, 4 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrows'}| ; {'type': ; 'meal_type'| ; 'filler': ; 'dinner'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'grocery'}]} ; ; ; ; ================================================================================ 132928, %WER 10.00 [ 1 / 10, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; pm'}]} = ; S ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; pm'}]} ================================================================================ 135101, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'deliver'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurant'}]} ================================================================================ 139816, %WER 55.56 [ 5 / 9, 4 ins, 0 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_agency'| ; 'filler': ; 'uber'}]} ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_agency'| ; 'filler': ; 'uber'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'office'}]} ================================================================================ 140139, %WER 50.00 [ 5 / 10, 0 ins, 1 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'ajay ; devgn'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'jodhpur'}]} ; ================================================================================ 128722, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 134554, %WER 90.91 [ 10 / 11, 7 ins, 0 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'odd ; numbered ; sunday'}]} ; ; ; ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; S ; I ; I ; I ; I ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'every ; day'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'time'| ; 'filler': ; 'four'}]} ================================================================================ 136442, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 137090, %WER 33.33 [ 3 / 9, 2 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'contra'}]} ; ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; I {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'game ; of ; you'}]} ================================================================================ 137446, %WER 64.71 [ 11 / 17, 0 ins, 8 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'event_name'| ; 'filler': ; 'the ; start ; of ; my ; diet'}]} = ; S ; = ; S ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ; ; ; ; ; ; ; ; ================================================================================ 141120, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'app_name'| ; 'filler': ; 'pandora'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ; ; ; ================================================================================ 132340, %WER 166.67 [ 10 / 6, 9 ins, 0 del, 1 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I ; I ; I ; I ; I ; I {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'cook'}| ; {'type': ; 'time'| ; 'filler': ; 'in ; an ; hour'}]} ================================================================================ 133935, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} ================================================================================ 136617, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 139243, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'hotel ; california'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 132099, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 141427, %WER 26.67 [ 4 / 15, 0 ins, 2 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'time'| ; 'filler': ; 'three ; o ; clock'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'time'| ; 'filler': ; 'three'}]} ; ; ================================================================================ 135482, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 141356, %WER 15.38 [ 2 / 13, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rap'}| ; {'type': ; 'music_genre'| ; 'filler': ; 'rock'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rap'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 140500, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'life'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 139808, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}]} ================================================================================ 135404, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137231, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'roomba'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 133080, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 134966, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}]} ================================================================================ 134138, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'theater'}]} = ; S ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'india'}]} ================================================================================ 135029, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 137666, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 132352, %WER 44.44 [ 4 / 9, 1 ins, 0 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'rotor'}]} ; = ; = ; = ; S ; = ; = ; S ; = ; S ; I {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'ar ; rahman'}]} ================================================================================ 131302, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131078, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'cinema'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurant'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 132727, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'chicago'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'chicago'}]} ================================================================================ 132958, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 130075, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131274, %WER 7.14 [ 1 / 14, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'business ; meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'business ; meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}]} ================================================================================ 129201, %WER 55.56 [ 5 / 9, 4 ins, 0 del, 1 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'spaghetti'}]} ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'pizza'}| ; {'type': ; 'business_type'| ; 'filler': ; 'restaurants'}]} ================================================================================ 136429, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 136439, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 130182, %WER 33.33 [ 3 / 9, 1 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'wacky'}]} ; = ; = ; = ; = ; = ; = ; S ; = ; S ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'michael ; jackson'}]} ================================================================================ 129986, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 138760, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ; ; ; ================================================================================ 131066, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 134327, %WER 30.77 [ 4 / 13, 0 ins, 4 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'evening'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 137710, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; "louie's"}]} = ; S ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 140558, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'happy ; birthday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'happy ; birthday'}]} ================================================================================ 140335, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 128660, %WER 53.33 [ 8 / 15, 0 ins, 5 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bedroom'}| ; {'type': ; 'time'| ; 'filler': ; 'nine ; thirty ; pm'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; S ; D ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'time'| ; 'filler': ; 'three ; ; pm'}]} ================================================================================ 129685, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 132513, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'hallway'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'hall'}]} ================================================================================ 132500, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129874, %WER 24.00 [ 6 / 25, 1 ins, 3 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'mehta'}| ; ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'time'| ; 'filler': ; 'five ; hundred ; and ; twenty ; pm'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; I ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; pm'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'time'| ; 'filler': ; 'five ; ; ; ; pm'}]} ================================================================================ 135440, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'crime ; statistics'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ; ; ; ; ================================================================================ 132059, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'microsoft'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'microsoft'}]} ================================================================================ 131444, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137522, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133649, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 138844, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'taxi'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'taxi'}]} ================================================================================ 134102, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; []} ================================================================================ 130131, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} ================================================================================ 136475, %WER 38.89 [ 7 / 18, 0 ins, 1 del, 6 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'joanna'}| ; {'type': ; 'date'| ; 'filler': ; 'Saturday'}| ; {'type': ; 'time'| ; 'filler': ; 'four ; pm'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; S ; = ; S ; = ; S ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'person'| ; 'filler': ; 'john'}| ; {'type': ; 'date'| ; 'filler': ; 'saturday'}]} ; ================================================================================ 132945, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'africa'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 130766, %WER 21.43 [ 3 / 14, 0 ins, 1 del, 2 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'dell ; service'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'amazon'}]} ; ================================================================================ 135371, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum ; cleaner'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum ; cleaner'}]} ================================================================================ 133569, %WER 64.29 [ 9 / 14, 0 ins, 8 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'jump'}| ; {'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; podcast'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 135071, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'cab'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'cab'}]} ================================================================================ 133148, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ================================================================================ 137127, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 132415, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'bbc'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'bbc'}]} ================================================================================ 136852, %WER 20.00 [ 2 / 10, 1 ins, 0 del, 1 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'another ; ; city'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york ; city'}]} ================================================================================ 138721, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'theatre'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; []} ; ; ; ================================================================================ 140287, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'disney'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; []} ; ; ; ================================================================================ 133089, %WER 23.08 [ 3 / 13, 0 ins, 2 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'hot ; one ; hundred ; and ; five'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'hot ; ninety ; ; ; five'}]} ================================================================================ 136051, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 135252, %WER 66.67 [ 10 / 15, 0 ins, 9 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'metropolitan ; opera ; house'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ================================================================================ 128944, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 135575, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 130740, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'apple'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'apple'}]} ================================================================================ 135806, %WER 30.77 [ 4 / 13, 0 ins, 4 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 132782, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'dislikeness'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 138033, %WER 54.55 [ 6 / 11, 0 ins, 5 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'wash ; the ; windows'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; ; ================================================================================ 135459, %WER 37.50 [ 6 / 16, 0 ins, 5 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'shape ; of ; you'}| ; {'type': ; 'artist_name'| ; 'filler': ; 'sed ; sheeran'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'shape ; of ; you'}]} ; ; ; ; ; ================================================================================ 139432, %WER 15.38 [ 2 / 13, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'la'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 139348, %WER 66.67 [ 10 / 15, 0 ins, 6 del, 4 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'will ; ferrell'}| ; {'type': ; 'date'| ; 'filler': ; 'last ; night'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurants'}]} ; ; ; ; ; ; ================================================================================ 135604, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 130849, %WER 66.67 [ 10 / 15, 0 ins, 9 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'next ; month'}| ; {'type': ; 'event_name'| ; 'filler': ; 'oil ; changed'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ================================================================================ 139925, %WER 30.77 [ 4 / 13, 0 ins, 0 del, 4 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'electronic'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 140561, %WER 50.00 [ 5 / 10, 0 ins, 1 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'happy ; birthday'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} ; ================================================================================ 140598, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'twitter'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'twitter'}]} ================================================================================ 131299, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138639, %WER 42.86 [ 6 / 14, 0 ins, 4 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; "justin ; bieber's"}| ; {'type': ; 'song_name'| ; 'filler': ; 'sorry'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'justin ; bieber'}]} ; ; ; ; ================================================================================ 140146, %WER 27.27 [ 3 / 11, 0 ins, 1 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_name'| ; 'filler': ; 'mike ; and ; mike'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_name'| ; 'filler': ; 'michael ; jackson'}]} ; ================================================================================ 129010, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum ; cleaner'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} ; ================================================================================ 131674, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 136988, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138777, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; S ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 134719, %WER 33.33 [ 3 / 9, 1 ins, 0 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeout'}]} ; = ; = ; = ; S ; = ; = ; = ; = ; S ; I {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'take ; out'}]} ================================================================================ 132271, %WER 66.67 [ 10 / 15, 0 ins, 9 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'screen'}| ; {'type': ; 'change_amount'| ; 'filler': ; 'all ; the ; way'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ================================================================================ 139650, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134050, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'smart ; socket'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'smart ; socket'}]} ================================================================================ 130431, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'date'| ; 'filler': ; 'march ; seven'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'date'| ; 'filler': ; 'march ; seven'}]} ================================================================================ 138803, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 139072, %WER 35.71 [ 5 / 14, 0 ins, 5 del, 0 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'pizza ; hut'}| ; {'type': ; 'order_type'| ; 'filler': ; 'delivery'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'order_type'| ; 'filler': ; 'delivery'}]} ================================================================================ 131819, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ================================================================================ 134666, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133301, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129683, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bathroom'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bathroom'}]} ================================================================================ 136717, %WER 14.29 [ 2 / 14, 0 ins, 0 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'Thursday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} = ; S ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'thursday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} ================================================================================ 128625, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointments'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}]} ================================================================================ 129065, %WER 45.00 [ 9 / 20, 0 ins, 6 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'feb ; four'}| ; {'type': ; 'place_name'| ; 'filler': ; "king's ; park"}| ; {'type': ; 'time'| ; 'filler': ; 'two ; pm'}]} = ; S ; = ; S ; = ; = ; = ; = ; S ; D ; = ; D ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; ; {'type': ; ; ; ; ; ; 'time'| ; 'filler': ; 'two ; pm'}]} ================================================================================ 140628, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'australia'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'us'}]} ================================================================================ 137208, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'addcontact'| ; 'entities': ; [{'type': ; 'personal_info'| ; 'filler': ; 'email'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'addcontact'| ; 'entities': ; [{'type': ; 'personal_info'| ; 'filler': ; 'email'}]} ================================================================================ 138314, %WER 44.44 [ 4 / 9, 4 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'place_name'| ; 'filler': ; 'dallas'}]} = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'concerts'}| ; {'type': ; 'place_name'| ; 'filler': ; 'dallas'}]} ================================================================================ 139886, %WER 53.33 [ 8 / 15, 0 ins, 6 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'alarm_type'| ; 'filler': ; 'wake ; up'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; weekend'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'weekend'}]} ; ; ; ; ; ; ================================================================================ 132476, %WER 54.55 [ 6 / 11, 0 ins, 5 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'last ; ten ; minutes'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ; ================================================================================ 136339, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'dollar'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'dollar'}]} ================================================================================ 129000, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum ; cleaner'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} ; ================================================================================ 140950, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'wednesday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'wednesday'}]} ================================================================================ 134415, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'newsource'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'newsource'}]} ================================================================================ 140120, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'naty'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ; ; ; ================================================================================ 135053, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'cook'}]} ================================================================================ 139142, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'international'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 131869, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133906, %WER 54.55 [ 6 / 11, 0 ins, 2 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'pritzker ; price ; winners'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} ; ; ================================================================================ 132066, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'nineties ; rap'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rap'}]} ; ================================================================================ 138283, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'joe ; prsaise'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'joe'}]} ; ================================================================================ 133454, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ================================================================================ 133625, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 138233, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'united ; airlines'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'united ; airlines'}]} ================================================================================ 134634, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139437, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; S ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'us'}]} ================================================================================ 138181, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 141114, %WER 27.27 [ 3 / 11, 0 ins, 2 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; "my ; son's ; room"}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} ; ; ================================================================================ 139529, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}]} ================================================================================ 132936, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133604, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 135137, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 135908, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ================================================================================ 139291, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'elvis'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 140016, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 135042, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 130005, %WER 6.67 [ 1 / 15, 0 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'todays'}| ; {'type': ; 'place_name'| ; 'filler': ; 'new ; york ; city'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}| ; {'type': ; 'place_name'| ; 'filler': ; 'new ; york ; city'}]} ================================================================================ 141322, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137297, %WER 54.55 [ 6 / 11, 2 ins, 0 del, 4 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; "international ; women's ; day"}]} ; ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; S ; I ; I {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'international'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 133453, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 138054, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurants'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurants'}]} ================================================================================ 141131, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'raincoat'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}]} ================================================================================ 128795, %WER 15.38 [ 2 / 13, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'wife'}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'daily'}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} ================================================================================ 136064, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'book'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'books'}]} ================================================================================ 136320, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'us ; dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'canada'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'us ; dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'canada'}]} ================================================================================ 140497, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'bill'}]} ================================================================================ 135276, %WER 28.57 [ 4 / 14, 0 ins, 1 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeout'}| ; {'type': ; 'business_name'| ; 'filler': ; 'pf ; changs'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; S ; D {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}| ; {'type': ; 'food_type'| ; 'filler': ; 'chinese'}]} ; ================================================================================ 134312, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ================================================================================ 134240, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 138499, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'un'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} ================================================================================ 132692, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; S ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'paris'}]} ================================================================================ 135009, %WER 55.56 [ 5 / 9, 4 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'raincoat'}]} ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'raincoat'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 129368, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'city'}]} ================================================================================ 133628, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 136541, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'old ; english'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'old ; english'}]} ================================================================================ 135849, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'fongs'}]} = ; S ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 139240, %WER 50.00 [ 5 / 10, 0 ins, 1 del, 4 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'hotel ; california'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'california'}]} ; ================================================================================ 134041, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'favorite ; albums'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 138244, %WER 15.38 [ 2 / 13, 0 ins, 0 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'noodles'}| ; {'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; = ; = ; S ; = ; = ; = ; = ; S ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'dominos'}| ; {'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} ================================================================================ 133396, %WER 46.15 [ 6 / 13, 0 ins, 4 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'precipitation'}| ; {'type': ; 'date'| ; 'filler': ; 'todays'}]} = ; S ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; S {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; "today's"}]} ================================================================================ 141024, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'bruno ; mars'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'bruno ; mars'}]} ================================================================================ 131783, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 129465, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ================================================================================ 139597, %WER 50.00 [ 5 / 10, 4 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}| ; {'type': ; 'place_name'| ; 'filler': ; 'ny'}]} ================================================================================ 133957, %WER 66.67 [ 6 / 9, 5 ins, 0 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} ; ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I ; I {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}| ; {'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} ================================================================================ 129785, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'saturday'}]} ================================================================================ 138212, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 130391, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; []} ================================================================================ 129935, %WER 50.00 [ 5 / 10, 4 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; ; ; ; ; 'david ; bowie'}]} = ; = ; = ; = ; = ; = ; S ; = ; I ; I ; I ; I ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'playlist_name'| ; 'filler': ; 'david ; bowie'}]} ================================================================================ 129558, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'oscillate'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'uber'}]} ================================================================================ 129506, %WER 42.86 [ 6 / 14, 0 ins, 5 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'twitter'}| ; {'type': ; 'business_name'| ; 'filler': ; 'destination ; xl'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} ; ; ; ; ; ================================================================================ 138035, %WER 72.73 [ 8 / 11, 0 ins, 5 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'wash ; the ; windows'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ================================================================================ 132752, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'allearsnet'}]} = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} ================================================================================ 130694, %WER 83.33 [ 5 / 6, 4 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ; ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; [{'type': ; 'change_amount'| ; 'filler': ; 'to ; zero'}]} ================================================================================ 131440, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'youtube'}]} ================================================================================ 133791, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'madonna'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'madonna'}]} ================================================================================ 132047, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'my ; place'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 131219, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'austin'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'austin'}]} ================================================================================ 130895, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'environmental'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 131976, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 134913, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; "anirudh's"}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'rohit'}]} ================================================================================ 135641, %WER 100.00 [ 6 / 6, 4 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; = ; S ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'social ; media'}]} ================================================================================ 133836, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 139608, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 130094, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 132850, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 141482, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'west ; virginia'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'washington'}]} ; ================================================================================ 133494, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'president ; trump'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'president ; trump'}]} ================================================================================ 134964, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ================================================================================ 133964, %WER 53.33 [ 8 / 15, 0 ins, 6 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'time'| ; 'filler': ; 'three ; to ; five'}]} = ; = ; = ; S ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ; ; ; ; ; ; ================================================================================ 133172, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum ; cleaner'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum ; cleaner'}]} ================================================================================ 130708, %WER 46.15 [ 6 / 13, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'rock ; songs ; having ; good ; rating'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_name'| ; 'filler': ; 'rolls ; royce'}]} ; ; ; ================================================================================ 137015, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'wife'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 131132, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'rock ; sand'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'grocery'}]} ; ================================================================================ 135697, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129891, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134577, %WER 56.25 [ 9 / 16, 0 ins, 7 del, 2 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'easter'}| ; {'type': ; 'date'| ; 'filler': ; 'two ; thousand ; and ; eighteen'}]} = ; S ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'yesterday'}]} ; ; ; ================================================================================ 137950, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 135620, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140130, %WER 60.00 [ 9 / 15, 5 ins, 0 del, 4 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; "mr ; taxi's"}| ; {'type': ; 'personal_info'| ; 'filler': ; 'phone ; number'}]} ; ; ; ; ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; = ; = ; = ; = ; S ; I ; I ; I ; I ; I {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'mr ; t'}| ; {'type': ; 'personal_info'| ; 'filler': ; 'phone ; number'}| ; {'type': ; 'person'| ; 'filler': ; 'mr ; t'}]} ================================================================================ 129820, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; podcast'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ; ================================================================================ 134718, %WER 22.22 [ 2 / 9, 1 ins, 0 del, 1 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeout'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'take ; out'}]} ================================================================================ 131590, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'cstm'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'destination'}]} ================================================================================ 137692, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meetings'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}]} ================================================================================ 130508, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138663, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} ================================================================================ 141645, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}]} ================================================================================ 128864, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 136282, %WER 64.29 [ 9 / 14, 0 ins, 8 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'japan'}| ; {'type': ; 'place_name'| ; 'filler': ; 'south ; korea'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 132576, %WER 35.71 [ 5 / 14, 0 ins, 5 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'keep ; reading'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'media_type'| ; 'filler': ; 'audiobook'}]} ================================================================================ 132994, %WER 23.08 [ 3 / 13, 0 ins, 0 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'paradise'}| ; {'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'computer'}| ; {'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} ================================================================================ 137257, %WER 50.00 [ 8 / 16, 0 ins, 6 del, 2 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'so ; clean'}| ; {'type': ; 'time'| ; 'filler': ; 'past ; six ; hours'}]} = ; S ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = ; S ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'time'| ; 'filler': ; 'past ; hour'}]} ; ================================================================================ 136660, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131513, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ================================================================================ 130002, %WER 6.67 [ 1 / 15, 0 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'todays'}| ; {'type': ; 'place_name'| ; 'filler': ; 'new ; york ; city'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}| ; {'type': ; 'place_name'| ; 'filler': ; 'new ; york ; city'}]} ================================================================================ 138602, %WER 30.00 [ 3 / 10, 0 ins, 0 del, 3 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'washington ; post'}]} = ; S ; = ; = ; = ; = ; S ; = ; = ; S {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'washington ; dc'}]} ================================================================================ 130957, %WER 33.33 [ 6 / 18, 0 ins, 5 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'warm ; socks'}| ; {'type': ; 'weather_descriptor'| ; 'filler': ; 'winter'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'warm'}| ; ; {'type': ; ; ; ; ; 'timeofday'| ; 'filler': ; 'morning'}]} ================================================================================ 130717, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'converse ; shoes'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 132922, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; "charley's ; steakhouse"}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; "charley's ; steakhouse"}]} ================================================================================ 133542, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'alaska'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ================================================================================ 140009, %WER 61.54 [ 8 / 13, 0 ins, 4 del, 4 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'jerry'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'jazz'}]} ; ; ; ; ================================================================================ 139946, %WER 55.56 [ 5 / 9, 1 ins, 0 del, 4 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'turkey'}]} ; = ; S ; = ; S ; = ; = ; S ; = ; S ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'fifteen ; minutes'}]} ================================================================================ 129620, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'fifteen ; minutes'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'fifteen ; minutes'}]} ================================================================================ 137847, %WER 58.33 [ 14 / 24, 0 ins, 11 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'one ; thousand ; two ; hundred ; and ; thirty ; pm'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'time'| ; 'filler': ; 'ten ; mins'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; ; ; ; ; ; ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ; ; ; ; ; ================================================================================ 129289, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'twitter'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} ================================================================================ 136024, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 132810, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 132808, %WER 30.77 [ 4 / 13, 0 ins, 4 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 139753, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'flabbergasted'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'vacation'}]} ================================================================================ 139976, %WER 31.58 [ 6 / 19, 0 ins, 1 del, 5 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'a ; day ; before'}| ; {'type': ; 'person'| ; 'filler': ; "jeff's"}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; = ; = ; S ; = ; S ; = ; S ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'day ; ; before'}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday'}| ; {'type': ; 'relation'| ; 'filler': ; 'husband'}]} ================================================================================ 135519, %WER 23.53 [ 4 / 17, 0 ins, 4 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "tomorrow's"}| ; {'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}| ; {'type': ; 'weather_descriptor'| ; 'filler': ; 'hot'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "tomorrow's"}| ; {'type': ; 'weather_descriptor'| ; 'filler': ; ; ; ; ; 'hot'}]} ================================================================================ 132447, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 132603, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 138349, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 141038, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131433, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 129461, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 134348, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 139797, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ================================================================================ 139406, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} ================================================================================ 134341, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 130192, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 139052, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 134710, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "jessica ; snout's"}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ; ; ; ; ================================================================================ 137575, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'academy ; awards'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 132856, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 141465, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'comcast'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ================================================================================ 131533, %WER 41.18 [ 7 / 17, 0 ins, 2 del, 5 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'the ; seven ; day ; forecast'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; S ; D ; D ; = ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'seven ; day'}| ; ; ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 137784, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 138106, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}]} ================================================================================ 133234, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 140427, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 140456, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cbs'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurants'}]} ================================================================================ 133202, %WER 10.00 [ 1 / 10, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'coffee ; pot'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'coffee ; machine'}]} ================================================================================ 138108, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}]} ================================================================================ 141333, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'addcontact'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'addcontact'| ; 'entities': ; []} ================================================================================ 139237, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'canada'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 132277, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 140928, %WER 100.00 [ 9 / 9, 5 ins, 0 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'angeline'}]} ; ; ; ; ; = ; S ; = ; S ; = ; = ; S ; = ; S ; I ; I ; I ; I ; I {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; year'}]} ================================================================================ 131181, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; []} ; ; ; ================================================================================ 131809, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 141513, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 139965, %WER 56.25 [ 9 / 16, 0 ins, 3 del, 6 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'harry ; potter ; book ; four'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ; ; ; ================================================================================ 134593, %WER 55.56 [ 5 / 9, 4 ins, 0 del, 1 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'dominos'}]} ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; "domino's"}| ; {'type': ; 'order_type'| ; 'filler': ; 'delivery'}]} ================================================================================ 133983, %WER 78.57 [ 11 / 14, 0 ins, 8 del, 3 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'tornadoes'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; month'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 136371, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 138274, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'jane'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'jane'}]} ================================================================================ 133927, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'turbulence'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'trump'}]} ================================================================================ 132919, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 134214, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'shelly'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'shelly'}]} ================================================================================ 137319, %WER 50.00 [ 5 / 10, 3 ins, 0 del, 2 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'twenty ; second'}]} ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; I ; I ; I {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}]} ================================================================================ 132025, %WER 80.00 [ 12 / 15, 0 ins, 9 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'giants'}| ; {'type': ; 'artist_name'| ; 'filler': ; 'banks ; and ; steelz'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ================================================================================ 134659, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 135652, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'trump'}]} = ; = ; = ; = ; = ; = ; S ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'trump'}]} ================================================================================ 137055, %WER 166.67 [ 10 / 6, 7 ins, 0 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; []} ; ; ; ; ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I ; I ; I ; I ; I {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'person'| ; 'filler': ; 'dan'}]} ================================================================================ 141062, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 130284, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'party ; time'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} ; ================================================================================ 132502, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'hallway'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 130829, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 138814, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131588, %WER 35.71 [ 5 / 14, 0 ins, 5 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'hour ; before'}| ; {'type': ; 'event_name'| ; 'filler': ; 'appointment'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'event_name'| ; 'filler': ; 'appointment'}]} ================================================================================ 130425, %WER 52.63 [ 10 / 19, 4 ins, 1 del, 5 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'tal ; meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'twenty ; first'}| ; ; ; ; {'type': ; 'time'| ; 'filler': ; 'seven'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; = ; = ; = ; S ; S ; I ; I ; I ; = ; S ; = ; S ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; ; {'type': ; 'date'| ; 'filler': ; 'weekend'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'twenty ; second'}]} ================================================================================ 138847, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134849, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; episode'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; episode'}]} ================================================================================ 134373, %WER 50.00 [ 5 / 10, 0 ins, 1 del, 4 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; "master's ; bedroom"}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} ; ================================================================================ 129197, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'metro'}| ; {'type': ; 'place_name'| ; 'filler': ; 'dc'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 135506, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'sandals'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 140750, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 134583, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'yeshudas'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'pianist'}]} ================================================================================ 140469, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'sunny'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'sunny'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 135100, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'deliver'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'delivery'}]} ================================================================================ 132857, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurants'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurants'}]} ================================================================================ 138556, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 132322, %WER 73.68 [ 14 / 19, 0 ins, 13 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'event_name'| ; 'filler': ; 'stop ; at ; the ; store ; and ; get ; food'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ; ; ; ================================================================================ 140539, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 138876, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'afternoon'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'afternoon'}]} ================================================================================ 131448, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134922, %WER 0.00 [ 0 / 17, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'six'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'six'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ================================================================================ 136718, %WER 7.14 [ 1 / 14, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'Thursday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'thursday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} ================================================================================ 140570, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'dollar'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'dollar'}]} ================================================================================ 133191, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 141526, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 139827, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "john's"}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "john's"}]} ================================================================================ 128937, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funniest'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funniest'}]} ================================================================================ 129530, %WER 46.15 [ 6 / 13, 0 ins, 4 del, 2 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'tonight'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'timeofday'| ; 'filler': ; 'tonight'}]} ================================================================================ 139303, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139457, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137611, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 136195, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'samsung'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ; ; ; ================================================================================ 128604, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'dontcare'| ; 'entities': ; []} ================================================================================ 138055, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurants'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurants'}]} ================================================================================ 128873, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'chess'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; []} ; ; ; ================================================================================ 139491, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 130052, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; []} ================================================================================ 128645, %WER 25.00 [ 6 / 24, 0 ins, 5 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'business_name'| ; 'filler': ; 'accounting ; department'}| ; {'type': ; 'time'| ; 'filler': ; 'two ; thirty ; pm'}| ; {'type': ; 'date'| ; 'filler': ; 'Friday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; ; ; ; ; ; 'time'| ; 'filler': ; 'two ; thirty ; pm'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}]} ================================================================================ 130313, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 137565, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 133362, %WER 26.67 [ 4 / 15, 0 ins, 1 del, 3 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday'}| ; {'type': ; 'date'| ; 'filler': ; 'june ; twenty ; seventh'}]} = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; year'}]} ; ================================================================================ 130918, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; S ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 138613, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 141253, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133331, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 140787, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 131545, %WER 35.71 [ 5 / 14, 0 ins, 5 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 136781, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'nytimescom'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 138246, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'noodles'}| ; {'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; = ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'order_type'| ; 'filler': ; 'takeaway'}]} ================================================================================ 139357, %WER 116.67 [ 7 / 6, 4 ins, 0 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; []} ; ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; episode'}]} ================================================================================ 128774, %WER 30.77 [ 4 / 13, 0 ins, 4 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'haircut'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 128708, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'porch'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 141317, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138573, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'Friday'}]} = ; S ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 132119, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'ingredient'| ; 'filler': ; 'saffron'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurant'}]} ================================================================================ 134271, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 133484, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 135980, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 131773, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'jacket'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'jacket'}]} ================================================================================ 137289, %WER 5.88 [ 1 / 17, 0 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'place_name'| ; 'filler': ; 'rome'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'place_name'| ; 'filler': ; 'london'}]} ================================================================================ 139199, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'kiss ; fm'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 129750, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'bitcoin ; price'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 135698, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138431, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 133531, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138457, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 134946, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 140927, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'pop'}]} ================================================================================ 132449, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'hike'}]} = ; S ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 134670, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 136990, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 135524, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 128833, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 138318, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'dallas'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 133088, %WER 61.54 [ 8 / 13, 0 ins, 7 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'hot ; one ; hundred ; and ; five'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 132624, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 132318, %WER 36.84 [ 7 / 19, 0 ins, 6 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'event_name'| ; 'filler': ; 'stop ; at ; the ; store ; and ; get ; food'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'event_name'| ; 'filler': ; 'stock'}]} ; ; ; ; ; ; ================================================================================ 132878, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 140765, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131552, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 134068, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'three'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ; ; ; ================================================================================ 137807, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 136590, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'elvis'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ================================================================================ 138544, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}]} ================================================================================ 141152, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'slayer'}]} = ; = ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'start'}]} ================================================================================ 140180, %WER 30.77 [ 4 / 13, 0 ins, 4 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'haircut'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'friday'}]} ================================================================================ 129663, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 138183, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 128839, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'russia'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'russia'}]} ================================================================================ 139361, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'supper'}]} = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'spaghetti'}]} ================================================================================ 129838, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} ================================================================================ 131333, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'united ; airlines'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'united ; airlines'}]} ================================================================================ 132387, %WER 61.54 [ 8 / 13, 0 ins, 4 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'inr'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ; ; ; ; ================================================================================ 139329, %WER 40.00 [ 8 / 20, 0 ins, 6 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'call ; mom'}| ; {'type': ; 'general_frequency'| ; 'filler': ; 'every ; tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'ten ; am'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; = ; D ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; ; {'type': ; ; ; ; ; ; 'time'| ; 'filler': ; 'ten ; am'}]} ================================================================================ 141529, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 134989, %WER 81.25 [ 13 / 16, 0 ins, 10 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'shake ; it ; off'}| ; {'type': ; 'artist_name'| ; 'filler': ; 'taylor ; swiftm'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ================================================================================ 136323, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 129767, %WER 105.88 [ 18 / 17, 15 ins, 0 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'thanks ; giving'}| ; ; ; ; {'type': ; 'date'| ; 'filler': ; ; ; ; ; ; ; ; ; ; ; ; ; 'fourteenth ; of ; this ; month'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; I ; I ; I ; = ; = ; = ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'fourteenth'}| ; {'type': ; 'date'| ; 'filler': ; 'fourteenth'}| ; {'type': ; 'date'| ; 'filler': ; 'fourteenth'}| ; {'type': ; 'date'| ; 'filler': ; 'fourteenth'}| ; {'type': ; 'date'| ; 'filler': ; 'fourteenth'}| ; {'type': ; 'date'| ; 'filler': ; 'fourteenth ; of ; this ; month'}]} ================================================================================ 136037, %WER 30.00 [ 3 / 10, 0 ins, 0 del, 3 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'welsh ; rarebit'}]} = ; S ; = ; S ; = ; = ; S ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'coffee_type'| ; 'filler': ; 'welsh ; rarebit'}]} ================================================================================ 136763, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 134019, %WER 54.55 [ 6 / 11, 0 ins, 5 del, 1 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'poor ; boy ; sandwich'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ; ; ; ; ; ================================================================================ 135007, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'charlotte'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 132797, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'situation'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ================================================================================ 137042, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133307, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 138745, %WER 28.57 [ 4 / 14, 0 ins, 4 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'nice'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; weekend'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'this ; weekend'}]} ================================================================================ 138019, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} ================================================================================ 135988, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'eight ; pm'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'eight ; pm'}]} ================================================================================ 140838, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 129688, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'orange'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'orange'}]} ================================================================================ 140597, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'twitter'}]} = ; S ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ================================================================================ 131534, %WER 52.94 [ 9 / 17, 0 ins, 7 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'the ; seven ; day ; forecast'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; ; ; ; ; ; ; ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 141151, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'slayer'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 129906, %WER 50.00 [ 6 / 12, 0 ins, 3 del, 3 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'a ; quarter ; to ; two'}]} = ; S ; = ; = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ; ; ; ================================================================================ 129860, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'yellow ; cab'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 139644, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 130209, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'russia'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'russia'}]} ================================================================================ 136643, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 138137, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ================================================================================ 128922, %WER 0.00 [ 0 / 19, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'las ; vegas'}| ; {'type': ; 'place_name'| ; 'filler': ; 'los ; angeles'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'las ; vegas'}| ; {'type': ; 'place_name'| ; 'filler': ; 'los ; angeles'}]} ================================================================================ 135996, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'girlfriend'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 130731, %WER 50.00 [ 5 / 10, 0 ins, 0 del, 5 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'jennifer ; lawrence'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; S {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'donald ; trump'}]} ================================================================================ 140303, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'continue'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audio ; book'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'continue'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audio ; book'}]} ================================================================================ 135784, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'delivery'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 140524, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ================================================================================ 130980, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137925, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ================================================================================ 132593, %WER 30.77 [ 4 / 13, 2 ins, 0 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}| ; {'type': ; 'relation'| ; 'filler': ; 'dad'}]} ; ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; I ; I {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}| ; {'type': ; 'time'| ; 'filler': ; 'half ; an ; hour'}]} ================================================================================ 138226, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 130525, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'sean'}]} ================================================================================ 140430, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 133404, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'megatel'}| ; {'type': ; 'date'| ; 'filler': ; 'last ; week'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'megatel'}| ; {'type': ; 'date'| ; 'filler': ; 'last ; week'}]} ================================================================================ 132925, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rap'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rap'}]} ================================================================================ 130245, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139258, %WER 53.85 [ 7 / 13, 0 ins, 4 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'morning'}| ; {'type': ; 'event_name'| ; 'filler': ; 'shows'}]} = ; S ; = ; = ; = ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'umbrella'}]} ; ; ; ; ================================================================================ 136114, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 138435, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 140730, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'greet'| ; 'entities': ; []} ================================================================================ 139569, %WER 30.77 [ 4 / 13, 0 ins, 4 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'russia'}| ; {'type': ; 'place_name'| ; 'filler': ; 'alaska'}]} = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; ; ; ; ; 'alaska'}]} ================================================================================ 140737, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 140402, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 139599, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}]} ================================================================================ 134866, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'will ; smith'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ================================================================================ 129487, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} ================================================================================ 132366, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'personal_info'| ; 'filler': ; 'number'}| ; {'type': ; 'person'| ; 'filler': ; 'jayesh'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'personal_info'| ; 'filler': ; 'number'}| ; {'type': ; 'person'| ; 'filler': ; 'husband'}]} ================================================================================ 136204, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'affirm'| ; 'entities': ; []} ================================================================================ 139628, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129951, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 138916, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'twenty ; first'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'twenty ; first'}]} ================================================================================ 131030, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 138370, %WER 46.15 [ 6 / 13, 0 ins, 4 del, 2 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'twitter'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 140172, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 134590, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'relation'| ; 'filler': ; 'clients'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 130320, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 133414, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 129718, %WER 30.00 [ 3 / 10, 0 ins, 0 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'coffee_type'| ; 'filler': ; 'without ; sweetener'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; S {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'coffee ; machine'}]} ================================================================================ 133061, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; S ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 134032, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134752, %WER 44.44 [ 8 / 18, 0 ins, 4 del, 4 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'fringe'}| ; {'type': ; 'place_name'| ; 'filler': ; 'edinburgh'}| ; {'type': ; 'date'| ; 'filler': ; 'next ; year'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; = ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}| ; {'type': ; ; ; ; ; 'date'| ; 'filler': ; 'next ; year'}]} ================================================================================ 136131, %WER 76.19 [ 16 / 21, 0 ins, 15 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'fifth ; march'}| ; {'type': ; 'general_frequency'| ; 'filler': ; 'every ; year'}| ; {'type': ; 'event_name'| ; 'filler': ; 'wedding ; anniversary ; presents'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ================================================================================ 138195, %WER 40.00 [ 4 / 10, 1 ins, 0 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'living ; room'}]} ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; I {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'robot ; vacuum ; cleaner'}]} ================================================================================ 131255, %WER 64.29 [ 9 / 14, 0 ins, 8 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'person'| ; 'filler': ; 'dr ; smith'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 129813, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; podcast'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ; ================================================================================ 140004, %WER 46.15 [ 6 / 13, 0 ins, 4 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'jerry'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 129373, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'eighties'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ================================================================================ 136821, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'robot ; vacuum ; cleaner'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'robot ; vacuum ; cleaner'}]} ================================================================================ 129822, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; podcast'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ; ================================================================================ 133773, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'sara'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'sarah'}]} ================================================================================ 141091, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 130029, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'eight ; am'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; ================================================================================ 139817, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_agency'| ; 'filler': ; 'uber'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 134599, %WER 27.78 [ 5 / 18, 0 ins, 4 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'house'}| ; {'type': ; 'color_type'| ; 'filler': ; 'amber'}| ; {'type': ; 'time'| ; 'filler': ; 'six ; pm'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'house'}| ; {'type': ; ; ; ; ; 'time'| ; 'filler': ; 'six ; pm'}]} ================================================================================ 140920, %WER 42.86 [ 6 / 14, 0 ins, 5 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'sad ; songs'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'jazz'}]} ; ; ; ; ; ================================================================================ 135284, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'pink'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; []} ; ; ; ================================================================================ 136084, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 141277, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} ================================================================================ 136361, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 139655, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138478, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140546, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'donna'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'donna'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 133518, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140606, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'city'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; []} ; ; ; ================================================================================ 140366, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping ; list'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} ; ================================================================================ 129134, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 140666, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_on'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'wemo'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'wemo_on'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'wemo'}]} ================================================================================ 128654, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 131915, %WER 41.18 [ 7 / 17, 0 ins, 4 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'library'}| ; {'type': ; 'event_name'| ; 'filler': ; 'get ; a ; new ; library ; card'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'noon'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ; ; ; ; ================================================================================ 131119, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 139484, %WER 45.45 [ 5 / 11, 0 ins, 2 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'nineties ; hip ; hop'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}]} ; ; ================================================================================ 132606, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 129139, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 140657, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 135140, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; []} ================================================================================ 139109, %WER 35.71 [ 5 / 14, 0 ins, 4 del, 1 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; weekend'}| ; {'type': ; 'place_name'| ; 'filler': ; 'pondichery'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; weekend'}]} ; ; ; ; ================================================================================ 131096, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'pause'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 135134, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139331, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'plant ; based'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 134767, %WER 44.44 [ 8 / 18, 1 ins, 4 del, 3 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'fringe'}| ; {'type': ; 'place_name'| ; 'filler': ; 'edinburgh'}| ; ; {'type': ; 'date'| ; 'filler': ; 'next ; year'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; S ; I ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; ; ; ; ; 'place_name'| ; 'filler': ; 'new ; york'}| ; {'type': ; 'date'| ; 'filler': ; 'next ; year'}]} ================================================================================ 132876, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 134661, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 136493, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; []} ================================================================================ 137265, %WER 37.50 [ 6 / 16, 0 ins, 2 del, 4 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'after ; one'}| ; {'type': ; 'time'| ; 'filler': ; 'before ; three ; pm'}]} = ; S ; = ; = ; = ; = ; S ; = ; S ; D ; = ; = ; = ; S ; D ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; ; {'type': ; 'time'| ; 'filler': ; 'three ; ; pm'}]} ================================================================================ 135282, %WER 42.86 [ 6 / 14, 1 ins, 1 del, 4 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'weather'}| ; ; {'type': ; 'media_type'| ; 'filler': ; 'morning ; news'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; I ; = ; S ; = ; S ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'usa ; today'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ; ================================================================================ 134424, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 132621, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 133429, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'ten'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'ten'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 129516, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; S ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 134473, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; "mother's"}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; "mother's"}]} ================================================================================ 138015, %WER 23.08 [ 3 / 13, 0 ins, 0 del, 3 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meetings'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; = ; = ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 139881, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}]} = ; S ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'chicago'}]} ================================================================================ 141367, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; pm'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; pm'}]} ================================================================================ 133260, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'another ; hour'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ; ; ; ; ================================================================================ 141092, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138196, %WER 40.00 [ 4 / 10, 4 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; ; ; ; ; 'house_place'| ; 'filler': ; 'living ; room'}]} = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}| ; {'type': ; 'house_place'| ; 'filler': ; 'living ; room'}]} ================================================================================ 134411, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'newsource'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'newsource'}]} ================================================================================ 128874, %WER 20.00 [ 2 / 10, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; weekend'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; weekend'}]} ================================================================================ 139378, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 139829, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "john's"}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "john's"}]} ================================================================================ 136194, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'samsung'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'washington'}]} ================================================================================ 128883, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133109, %WER 46.15 [ 6 / 13, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'shuffle'}| ; {'type': ; 'artist_name'| ; 'filler': ; 'coldplay'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'spotify ; playlist'}]} ; ; ; ================================================================================ 138782, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'friday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'friday'}]} ================================================================================ 140858, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 135214, %WER 72.22 [ 13 / 18, 0 ins, 9 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'read'}| ; {'type': ; 'audiobook_author'| ; 'filler': ; 'daisy ; goodwin'}| ; {'type': ; 'media_type'| ; 'filler': ; 'book'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ; ; ; ; ; ; ; ; ; ================================================================================ 134650, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 138659, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 137627, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john'}]} ================================================================================ 135758, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 133394, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'an ; hour'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ; ; ; ; ================================================================================ 140898, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'radio ; broadcast'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'lastfm'}]} ; ================================================================================ 137238, %WER 11.11 [ 2 / 18, 1 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'everyday'}| ; ; {'type': ; 'time'| ; 'filler': ; 'two ; pm'}| ; {'type': ; 'meal_type'| ; 'filler': ; 'lunch'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'every ; day'}| ; {'type': ; 'time'| ; 'filler': ; 'two ; pm'}| ; {'type': ; 'meal_type'| ; 'filler': ; 'lunch'}]} ================================================================================ 136097, %WER 83.33 [ 5 / 6, 4 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'spotify ; playlist'}]} ================================================================================ 140905, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'sunny'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'sunny'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}]} ================================================================================ 134403, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 139580, %WER 11.11 [ 2 / 18, 0 ins, 1 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'relation'| ; 'filler': ; 'my ; doctor'}| ; {'type': ; 'date'| ; 'filler': ; 'saturday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'relation'| ; 'filler': ; 'daughter'}| ; ; {'type': ; 'date'| ; 'filler': ; 'saturday'}]} ================================================================================ 139137, %WER 40.00 [ 8 / 20, 0 ins, 6 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'feb ; four'}| ; {'type': ; 'place_name'| ; 'filler': ; "king's ; park"}| ; {'type': ; 'time'| ; 'filler': ; 'two ; pm'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; = ; D ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'daily'}| ; ; {'type': ; ; ; ; ; ; 'time'| ; 'filler': ; 'two ; pm'}]} ================================================================================ 139022, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'london'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 132463, %WER 46.15 [ 6 / 13, 0 ins, 4 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'settings'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'change'}| ; {'type': ; 'music_genre'| ; 'filler': ; 'rock'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; ; ; ; ; 'music_genre'| ; 'filler': ; 'rock'}]} ================================================================================ 140301, %WER 42.86 [ 6 / 14, 0 ins, 5 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'continue'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audio ; book'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'continue'}]} ; ; ; ; ; ================================================================================ 136676, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 136422, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}]} = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 138610, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 141199, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bedroom'}| ; {'type': ; 'color_type'| ; 'filler': ; 'green'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bedroom'}| ; {'type': ; 'color_type'| ; 'filler': ; 'green'}]} ================================================================================ 128668, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 141186, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'alice'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ; ; ; ================================================================================ 139415, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} ================================================================================ 132013, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 140361, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 130632, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 137143, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'addcontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'michael'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'michael'}]} ================================================================================ 135057, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_other'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; []} ================================================================================ 135664, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 128980, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 141138, %WER 55.56 [ 5 / 9, 4 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'raincoat'}]} ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'tonight'}]} ================================================================================ 134115, %WER 610.53 [ 116 / 19, 112 ins, 0 del, 4 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'relation'| ; 'filler': ; 'parents ; in ; law'}]} ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; S ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date ================================================================================ 135222, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'library'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 130607, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 136174, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 133937, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} ================================================================================ 131577, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 136398, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'ten ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'ten ; am'}]} ================================================================================ 136351, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'new ; york ; times'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'new ; york ; times'}]} ================================================================================ 134212, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'shelly'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'shelly'}]} ================================================================================ 140284, %WER 66.67 [ 6 / 9, 5 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'disney'}]} ; ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I ; I {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'pasta'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 139027, %WER 13.64 [ 3 / 22, 0 ins, 1 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'lunch ; meeting'}| ; {'type': ; 'person'| ; 'filler': ; 'brent'}| ; {'type': ; 'date'| ; 'filler': ; 'Wednesday'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'noon'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; ; {'type': ; 'person'| ; 'filler': ; 'brent'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'noon'}]} ================================================================================ 138122, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 128788, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'subjegant'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'subterranean'}]} ================================================================================ 133559, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'india'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ================================================================================ 129698, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 136971, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'start'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ================================================================================ 132308, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137803, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 137106, %WER 21.05 [ 4 / 19, 0 ins, 4 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'taxi'}| ; {'type': ; 'place_name'| ; 'filler': ; 'leith'}| ; {'type': ; 'time'| ; 'filler': ; 'half ; an ; hour'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'taxi'}| ; {'type': ; ; ; ; ; 'time'| ; 'filler': ; 'half ; an ; hour'}]} ================================================================================ 134983, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140569, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'dollar'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'dollar'}]} ================================================================================ 136725, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} ================================================================================ 136218, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'affirm'| ; 'entities': ; []} ================================================================================ 129895, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 129153, %WER 54.55 [ 6 / 11, 0 ins, 2 del, 4 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'half ; an ; hour'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_agency'| ; 'filler': ; 'uber'}]} ; ; ================================================================================ 140252, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} ================================================================================ 138682, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 136711, %WER 7.14 [ 1 / 14, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'Thursday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'thursday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} ================================================================================ 130342, %WER 18.75 [ 3 / 16, 0 ins, 1 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'shopping ; trip'}| ; {'type': ; 'date'| ; 'filler': ; 'march ; twenty ; third'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}| ; ; {'type': ; 'date'| ; 'filler': ; 'march ; twenty ; third'}]} ================================================================================ 140370, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 135923, %WER 73.68 [ 14 / 19, 0 ins, 13 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'print ; the ; documents'}| ; {'type': ; 'date'| ; 'filler': ; 'Tuesday'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ; ; ; ================================================================================ 137184, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'alarm_type'| ; 'filler': ; 'soccer ; practice'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} ; ; ; ; ================================================================================ 131893, %WER 82.35 [ 14 / 17, 0 ins, 11 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'classical'}| ; {'type': ; 'artist_name'| ; 'filler': ; 'bach'}| ; {'type': ; 'artist_name'| ; 'filler': ; 'schubert'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ; ================================================================================ 140272, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'mark'}]} ================================================================================ 134578, %WER 81.25 [ 13 / 16, 0 ins, 10 del, 3 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'easter'}| ; {'type': ; 'date'| ; 'filler': ; 'two ; thousand ; and ; eighteen'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ================================================================================ 132470, %WER 100.00 [ 11 / 11, 7 ins, 0 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'audiobook_name'| ; 'filler': ; 'history ; of ; rome'}]} ; ; ; ; ; ; ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; S ; I ; I ; I ; I ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'audio ; book'}| ; {'type': ; 'app_name'| ; 'filler': ; 'audible'}| ; {'type': ; 'player_setting'| ; 'filler': ; 'resume'}]} ================================================================================ 132525, %WER 20.00 [ 2 / 10, 1 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'robot ; roomba'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'robot ; vacuum ; cleaner'}]} ================================================================================ 133584, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'chicago'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'chicago'}]} ================================================================================ 141001, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'bilando'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; []} ; ; ; ================================================================================ 136058, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'boston'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'boston'}]} ================================================================================ 140126, %WER 53.33 [ 8 / 15, 0 ins, 5 del, 3 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; "mr ; taxi's"}| ; {'type': ; 'personal_info'| ; 'filler': ; 'phone ; number'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; D ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'mr ; t'}]} ; ; ; ; ; ================================================================================ 132233, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'pink'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ================================================================================ 139548, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 136850, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'another ; city'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ; ================================================================================ 137372, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'coffee_type'| ; 'filler': ; 'creamy'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ; ; ; ================================================================================ 129326, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lighton'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 137932, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ================================================================================ 138323, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133549, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'usa'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 136240, %WER 40.00 [ 6 / 15, 0 ins, 5 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'dentist ; appointment'}| ; {'type': ; 'time'| ; 'filler': ; 'two ; hours'}]} = ; = ; = ; S ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'time'| ; 'filler': ; 'two ; hours'}]} ================================================================================ 141641, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'weekend'}]} = ; S ; = ; S ; = ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'weekend'}]} ================================================================================ 138253, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138200, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ================================================================================ 137451, %WER 41.18 [ 7 / 17, 0 ins, 4 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'event_name'| ; 'filler': ; 'the ; start ; of ; my ; diet'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'march'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ; ; ; ; ================================================================================ 129106, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139235, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rap'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 133268, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; weekend'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; weekend'}]} ================================================================================ 137457, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 134153, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} ================================================================================ 132363, %WER 15.38 [ 2 / 13, 1 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'personal_info'| ; 'filler': ; 'number'}| ; {'type': ; 'person'| ; 'filler': ; 'jayesh'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'personal_info'| ; 'filler': ; 'number'}| ; {'type': ; 'person'| ; 'filler': ; 'jackie ; chan'}]} ================================================================================ 135002, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ================================================================================ 136353, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'new ; york ; times'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'new ; york ; times'}]} ================================================================================ 129490, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} ================================================================================ 136127, %WER 80.00 [ 8 / 10, 3 ins, 0 del, 5 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'british ; pound'}]} ; ; ; = ; S ; = ; S ; = ; = ; S ; = ; S ; S ; I ; I ; I {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}| ; {'type': ; 'place_name'| ; 'filler': ; 'world'}]} ================================================================================ 140802, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134830, %WER 60.00 [ 6 / 10, 0 ins, 4 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'imogen ; heap'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ; ; ; ; ================================================================================ 138149, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137285, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 129730, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138865, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134855, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 130944, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'chicken'}| ; {'type': ; 'device_type'| ; 'filler': ; 'oven'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 140772, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'red'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'blue'}]} ================================================================================ 136714, %WER 14.29 [ 2 / 14, 0 ins, 0 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'Thursday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} = ; S ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'thursday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} ================================================================================ 139268, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 139441, %WER 27.78 [ 5 / 18, 0 ins, 1 del, 4 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_name'| ; 'filler': ; 'rajdhani ; express'}| ; {'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'jaipur'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'rccg'}| ; ; {'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'japan'}]} ================================================================================ 141237, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 141275, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} ================================================================================ 132105, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'meatballs'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'meatball'}]} ================================================================================ 128858, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'week'}]} ; ================================================================================ 133238, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 140398, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}]} ================================================================================ 138903, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'ten ; day'}]} = ; S ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ; ================================================================================ 141623, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 129800, %WER 116.67 [ 7 / 6, 4 ins, 0 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I ; I {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}]} ================================================================================ 131150, %WER 100.00 [ 9 / 9, 5 ins, 0 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'us'}]} ; ; ; ; ; = ; S ; = ; S ; = ; = ; S ; = ; S ; I ; I ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'retirement ; dinner'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}]} ================================================================================ 130317, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 130279, %WER 88.89 [ 8 / 9, 6 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; ; ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; I ; I ; I ; I ; I ; I ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'martin ; luther ; kings'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 133608, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'house'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 135957, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137727, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'okug'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 140298, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'continue'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audio ; book'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'continue'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audio ; book'}]} ================================================================================ 137814, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 136501, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'jazz'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'jazz'}]} ================================================================================ 138088, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'noodles'}| ; {'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'noodles'}| ; {'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} ================================================================================ 136861, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 137349, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_other'| ; 'entities': ; [{'type': ; 'change_amount'| ; 'filler': ; 'to ; maximum'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'audio'| ; 'action': ; 'volume_other'| ; 'entities': ; []} ; ; ; ; ================================================================================ 128599, %WER 23.08 [ 3 / 13, 0 ins, 0 del, 3 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'friend'}| ; {'type': ; 'person'| ; 'filler': ; 'divya'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; S {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'friends'}| ; {'type': ; 'relation'| ; 'filler': ; 'family'}]} ================================================================================ 132558, %WER 13.33 [ 2 / 15, 0 ins, 1 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}]} ; ================================================================================ 133482, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 130990, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'pink'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'pink'}]} ================================================================================ 139134, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; "week's"}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 133856, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'music'| ; 'action': ; 'settings'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'move'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ; ; ; ================================================================================ 138734, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 136344, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} ================================================================================ 139162, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'wemo ; socket'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'wemo'}]} ; ================================================================================ 141435, %WER 14.29 [ 2 / 14, 0 ins, 0 del, 2 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'cook'}| ; {'type': ; 'food_type'| ; 'filler': ; 'butter ; chicken'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; S {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'cook'}| ; {'type': ; 'food_type'| ; 'filler': ; 'party ; cheese'}]} ================================================================================ 133838, %WER 7.14 [ 1 / 14, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'time'| ; 'filler': ; 'ten ; am'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'time'| ; 'filler': ; 'ten ; am'}]} ================================================================================ 133857, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ================================================================================ 130948, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 141173, %WER 70.00 [ 7 / 10, 3 ins, 0 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'competitive ; crossword'}]} ; ; ; = ; = ; = ; S ; = ; = ; S ; = ; S ; S ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'continue'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'electronic'}]} ================================================================================ 135136, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 139559, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 130177, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'sports ; game'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; ================================================================================ 136723, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}]} ================================================================================ 139371, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 137772, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'nine ; hundred ; and ; eighty ; nine'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'nine ; hundred ; and ; eighty ; nine'}]} ================================================================================ 134261, %WER 23.81 [ 5 / 21, 0 ins, 3 del, 2 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'baltimore ; maryland'}| ; {'type': ; 'place_name'| ; 'filler': ; 'new ; york ; new ; york'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; = ; = ; = ; = ; D ; D ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'baltimore'}| ; ; {'type': ; 'place_name'| ; 'filler': ; 'new ; ; ; york'}]} ================================================================================ 132189, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'apple'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'apple'}]} ================================================================================ 134693, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'home'}| ; {'type': ; 'time'| ; 'filler': ; 'five'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'home'}]} ; ; ; ; ================================================================================ 129956, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 131778, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funny'}]} ================================================================================ 134124, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 131627, %WER 23.53 [ 4 / 17, 0 ins, 4 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'taxi'}| ; {'type': ; 'place_name'| ; 'filler': ; 'movies'}| ; {'type': ; 'time'| ; 'filler': ; 'one'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'taxi'}| ; {'type': ; ; ; ; ; 'time'| ; 'filler': ; 'one'}]} ================================================================================ 133748, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140924, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funny'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funny'}]} ================================================================================ 134391, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 132743, %WER 53.85 [ 7 / 13, 1 ins, 0 del, 6 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'roast'}| ; {'type': ; 'ingredient'| ; 'filler': ; 'potatoes'}]} ; = ; S ; = ; S ; = ; = ; S ; = ; S ; = ; S ; = ; S ; I {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'los ; angeles'}]} ================================================================================ 141197, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; []} ================================================================================ 134150, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'sixth ; street'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 138772, %WER 35.71 [ 5 / 14, 1 ins, 0 del, 4 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'convert'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'time_zone'| ; 'filler': ; 'pacific'}]} ; = ; = ; = ; S ; = ; = ; = ; = ; S ; = ; = ; S ; = ; S ; I {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'eight ; am'}| ; {'type': ; 'time'| ; 'filler': ; 'six ; am'}]} ================================================================================ 139720, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'wemo ; plug'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'wemo ; plug'}]} ================================================================================ 133778, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; []} ================================================================================ 130587, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 128703, %WER 33.33 [ 3 / 9, 1 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'porch'}]} ; = ; = ; = ; = ; = ; = ; S ; = ; S ; I {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'porch ; light'}]} ================================================================================ 128907, %WER 18.18 [ 2 / 11, 0 ins, 1 del, 1 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york ; city'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} ; ================================================================================ 136033, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'trump'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ================================================================================ 131442, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'youtube'}]} ================================================================================ 135730, %WER 35.29 [ 6 / 17, 0 ins, 4 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'boss'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 137454, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 132178, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funny'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funny'}]} ================================================================================ 139868, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}]} ================================================================================ 135133, %WER 46.15 [ 6 / 13, 4 ins, 0 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'mike'}| ; {'type': ; ; ; ; ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; I ; I ; I ; I ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'husband'}| ; {'type': ; 'date'| ; 'filler': ; 'thursday'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ================================================================================ 131112, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; []} ================================================================================ 130417, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'kate ; middleton'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 134840, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'date'| ; 'filler': ; 'april ; fourth'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'date'| ; 'filler': ; 'april ; fourth'}]} ================================================================================ 129796, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'room'}]} ================================================================================ 130881, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139356, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 139263, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ================================================================================ 138131, %WER 22.22 [ 2 / 9, 1 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'everest'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'mt ; everest'}]} ================================================================================ 133099, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'berlin'}]} = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} ================================================================================ 129165, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133788, %WER 22.22 [ 4 / 18, 0 ins, 4 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'time'| ; 'filler': ; 'two'}| ; {'type': ; 'time'| ; 'filler': ; 'four ; pm'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'time'| ; 'filler': ; ; ; ; ; 'four ; pm'}]} ================================================================================ 131373, %WER 27.27 [ 3 / 11, 0 ins, 1 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'j. ; k. ; rowling'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'jackie ; chan'}]} ; ================================================================================ 136336, %WER 55.56 [ 5 / 9, 4 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'dollar'}]} ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'president'}]} ================================================================================ 130898, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 131197, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139380, %WER 10.00 [ 1 / 10, 0 ins, 0 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}]} ================================================================================ 130100, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 130868, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'eggs'}| ; {'type': ; 'food_type'| ; 'filler': ; 'omelette'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'eggs'}| ; {'type': ; 'food_type'| ; 'filler': ; 'omelette'}]} ================================================================================ 130136, %WER 60.00 [ 6 / 10, 0 ins, 4 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_name'| ; 'filler': ; 'sports ; podcast'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ; ; ; ; ================================================================================ 132309, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129552, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 140544, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ================================================================================ 134738, %WER 50.00 [ 5 / 10, 0 ins, 1 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'mahatma ; gandhi'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'hot'}]} ; ================================================================================ 134384, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'start'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'joes ; book'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'start'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'joes ; book'}]} ================================================================================ 137107, %WER 21.05 [ 4 / 19, 0 ins, 4 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'taxi'}| ; {'type': ; 'place_name'| ; 'filler': ; 'leith'}| ; {'type': ; 'time'| ; 'filler': ; 'half ; an ; hour'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'taxi'}| ; {'type': ; ; ; ; ; 'time'| ; 'filler': ; 'half ; an ; hour'}]} ================================================================================ 130437, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131684, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; []} ================================================================================ 137928, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ================================================================================ 141123, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'app_name'| ; 'filler': ; 'pandora'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ; ; ; ================================================================================ 133182, %WER 10.00 [ 1 / 10, 0 ins, 0 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'los ; angeles'}]} = ; S ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'los ; angeles'}]} ================================================================================ 137412, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 130578, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 128589, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 135194, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'last ; hour'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'last ; hour'}]} ================================================================================ 133568, %WER 35.71 [ 5 / 14, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'jump'}| ; {'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; podcast'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = ; S {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; ; ; ; ; 'podcast_descriptor'| ; 'filler': ; 'next ; episode'}]} ================================================================================ 135113, %WER 35.71 [ 5 / 14, 0 ins, 1 del, 4 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'thirty ; minute'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D ; = ; = ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 137390, %WER 50.00 [ 7 / 14, 1 ins, 5 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'continue ; reading'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; S ; I {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'media_type'| ; 'filler': ; 'audio ; book'}]} ================================================================================ 129327, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lighton'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 141433, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'chelsea'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'chelsea'}]} ================================================================================ 129248, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'amy'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 133384, %WER 60.00 [ 9 / 15, 0 ins, 6 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'keep ; playing'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'secret ; garden'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'secretary'}]} ; ; ; ; ; ; ================================================================================ 138036, %WER 54.55 [ 6 / 11, 0 ins, 5 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'wash ; the ; windows'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; ; ================================================================================ 140511, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'super ; bowl'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 139771, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'praise'| ; 'entities': ; []} ================================================================================ 138201, %WER 29.17 [ 7 / 24, 0 ins, 6 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'james ; and ; alice'}| ; {'type': ; 'event_name'| ; 'filler': ; 'brunch'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; = ; D ; D ; D ; D ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'james'}| ; ; ; {'type': ; ; ; ; ; 'time'| ; 'filler': ; 'eleven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}]} ================================================================================ 139603, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}]} ================================================================================ 134147, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'sixth ; street'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ================================================================================ 140467, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} ================================================================================ 133131, %WER 38.46 [ 5 / 13, 5 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; ; ; ; ; ; 'date'| ; 'filler': ; 'friday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; I ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'time'| ; 'filler': ; 'two ; pm'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}]} ================================================================================ 138827, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}]} ================================================================================ 133980, %WER 62.50 [ 10 / 16, 0 ins, 2 del, 8 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'audiobook_name'| ; 'filler': ; 'be ; more ; chill'}| ; {'type': ; 'audiobook_author'| ; 'filler': ; 'ned ; vizzini'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; S ; S ; S ; S ; S ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'led ; zeppelin ; houses ; of ; the ; holy'}]} ; ; ================================================================================ 139407, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} ================================================================================ 134425, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131763, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 138338, %WER 77.78 [ 7 / 9, 5 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; S ; = ; S ; = ; = ; I ; I ; I ; I ; I ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'eight ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 140179, %WER 68.18 [ 15 / 22, 0 ins, 13 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}| ; {'type': ; 'place_name'| ; 'filler': ; 'red ; lobster'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'time'| ; 'filler': ; 'nine'}]} = ; = ; = ; S ; = ; = ; D ; D ; D ; D ; D ; D ; D ; D ; D ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; ; ; ; ; ; 'date'| ; 'filler': ; 'today'}]} ; ; ; ; ================================================================================ 140079, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 133039, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_descriptor'| ; 'filler': ; 'good ; song'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'joe'}]} ; ================================================================================ 133289, %WER 43.48 [ 10 / 23, 0 ins, 9 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'event_name'| ; 'filler': ; 'discuss ; terrorism'}| ; {'type': ; 'person'| ; 'filler': ; 'fred'}| ; {'type': ; 'date'| ; 'filler': ; 'next ; available'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; D ; D ; D ; D ; = ; = ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; ; ; ; ; ; ; ; ; ; 'date'| ; 'filler': ; 'next ; month'}]} ================================================================================ 140515, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'china'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'china'}]} ================================================================================ 129183, %WER 29.41 [ 5 / 17, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audiobook'}| ; {'type': ; 'artist_name'| ; 'filler': ; 'beatles'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} ; ; ; ; ================================================================================ 130108, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 130373, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 140729, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 130341, %WER 22.22 [ 2 / 9, 1 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'nigeria'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} ================================================================================ 138443, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 141533, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 131625, %WER 35.29 [ 6 / 17, 0 ins, 4 del, 2 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'taxi'}| ; {'type': ; 'place_name'| ; 'filler': ; 'movies'}| ; {'type': ; 'time'| ; 'filler': ; 'one'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'taxi'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ; ; ; ; ================================================================================ 133115, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'aces ; high'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ================================================================================ 140777, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 130884, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140377, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'red ; ish'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; ================================================================================ 134439, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 134784, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'beatles'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'beatles'}]} ================================================================================ 138134, %WER 22.22 [ 2 / 9, 1 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'everest'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'mt ; everest'}]} ================================================================================ 132374, %WER 15.38 [ 2 / 13, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_descriptor'| ; 'filler': ; 'sad'}| ; {'type': ; 'music_genre'| ; 'filler': ; 'rock'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_descriptor'| ; 'filler': ; 'sad'}| ; {'type': ; 'player_setting'| ; 'filler': ; 'resume'}]} ================================================================================ 128979, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 136564, %WER 23.53 [ 4 / 17, 0 ins, 3 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'the ; fourth ; of ; july'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; year'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'june'}| ; ; ; ; {'type': ; 'date'| ; 'filler': ; 'this ; year'}]} ================================================================================ 134916, %WER 0.00 [ 0 / 17, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'six'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'six'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ================================================================================ 129455, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 129218, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'start'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ================================================================================ 136726, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'week'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'week'}]} ================================================================================ 128917, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 134058, %WER 10.00 [ 1 / 10, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'eight ; am'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'eight ; am'}]} ================================================================================ 136931, %WER 78.57 [ 11 / 14, 0 ins, 8 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'garbage ; out'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 139833, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'porch'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ; ; ; ================================================================================ 133247, %WER 61.54 [ 8 / 13, 0 ins, 3 del, 5 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'event_name'| ; 'filler': ; 'concert'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; S ; D ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'consumer ; service'}]} ; ; ; ================================================================================ 132090, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'family'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'family'}]} ================================================================================ 135720, %WER 33.33 [ 5 / 15, 0 ins, 1 del, 4 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'supper'}| ; {'type': ; 'time'| ; 'filler': ; 'afternoon ; at ; five'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; = ; = ; S ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'thursday'}| ; {'type': ; 'time'| ; 'filler': ; 'five ; pm'}]} ; ================================================================================ 138077, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 141258, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 132966, %WER 56.25 [ 9 / 16, 0 ins, 7 del, 2 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; "investigation ; into ; trump's ; ties"}| ; {'type': ; 'place_name'| ; 'filler': ; 'russia'}]} = ; S ; = ; = ; = ; = ; D ; D ; D ; D ; D ; D ; D ; = ; = ; S {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; ; ; ; 'place_name'| ; 'filler': ; 'us'}]} ================================================================================ 130852, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; "domino's"}]} = ; S ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'doctor'}]} ================================================================================ 133287, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} = ; S ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} ================================================================================ 139691, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 137237, %WER 0.00 [ 0 / 18, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'everyday'}| ; {'type': ; 'time'| ; 'filler': ; 'two ; pm'}| ; {'type': ; 'meal_type'| ; 'filler': ; 'lunch'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'everyday'}| ; {'type': ; 'time'| ; 'filler': ; 'two ; pm'}| ; {'type': ; 'meal_type'| ; 'filler': ; 'lunch'}]} ================================================================================ 141189, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 134180, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bathroom'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bathroom'}]} ================================================================================ 130068, %WER 41.18 [ 7 / 17, 0 ins, 6 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'g. ; b. ; p.'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'u. ; s. ; d.'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'g. ; b. ; p.'}]} ; ; ; ; ; ; ================================================================================ 140964, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'obama'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'obama'}]} ================================================================================ 136223, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 129531, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'tonight'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'tonight'}]} ================================================================================ 135201, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} ================================================================================ 131329, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 140809, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129509, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ================================================================================ 137706, %WER 66.67 [ 6 / 9, 4 ins, 0 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; "louie's"}]} ; ; ; ; = ; = ; = ; = ; = ; = ; S ; = ; S ; I ; I ; I ; I {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeout'}| ; {'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} ================================================================================ 133658, %WER 83.33 [ 5 / 6, 4 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'home ; town'}]} ================================================================================ 137603, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'fish ; soup'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ; ; ; ; ================================================================================ 129626, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 140418, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'amy'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'amy'}]} ================================================================================ 134137, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} ================================================================================ 131518, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 138800, %WER 35.29 [ 6 / 17, 0 ins, 4 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'movie'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'tonight'}| ; {'type': ; 'place_name'| ; 'filler': ; 'boston'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'timeofday'| ; 'filler': ; 'tonight'}| ; {'type': ; 'place_name'| ; 'filler': ; 'boston'}]} ================================================================================ 130755, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'twitter'}]} = ; = ; = ; = ; = ; = ; S ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'twitter'}]} ================================================================================ 136271, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'hdfc'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'hdfc'}]} ================================================================================ 135583, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 137340, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 138384, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'thirteen'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ; ; ; ================================================================================ 128848, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'madison'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'madison'}]} ================================================================================ 132298, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140364, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping ; list'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} ; ================================================================================ 133699, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'previous ; episode'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ; ================================================================================ 137865, %WER 50.00 [ 7 / 14, 0 ins, 5 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'karen'}| ; {'type': ; 'event_name'| ; 'filler': ; 'budget ; meeting'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'tonight'}]} ; ; ; ; ; ================================================================================ 135985, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'blue'}| ; {'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'blue'}| ; {'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} ================================================================================ 131854, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'one ; hour'}| ; {'type': ; 'date'| ; 'filler': ; 'saturday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'one ; hour'}| ; {'type': ; 'date'| ; 'filler': ; 'saturday'}]} ================================================================================ 136657, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 128886, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'robin ; williams'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 138535, %WER 18.18 [ 2 / 11, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'tic ; tac ; toe'}]} = ; = ; = ; S ; = ; = ; S ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'tic ; tac ; toe'}]} ================================================================================ 131364, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'email_folder'| ; 'filler': ; 'inbox'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 133615, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'every ; day'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'noon'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'every ; day'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'noon'}]} ================================================================================ 132838, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'jingle ; bells'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'beatles'}]} ; ================================================================================ 136573, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 131471, %WER 82.35 [ 14 / 17, 0 ins, 11 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'sushi'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'tonight'}| ; {'type': ; 'meal_type'| ; 'filler': ; 'dinner'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ; ================================================================================ 129275, %WER 20.00 [ 2 / 10, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; weekend'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; weekend'}]} ================================================================================ 135353, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 130938, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "tomorrow's"}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "tomorrow's"}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 128726, %WER 35.71 [ 5 / 14, 4 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "jessica's"}| ; {'type': ; ; ; ; ; 'date'| ; 'filler': ; 'april ; twelfth'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; I ; I ; I ; I ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "jesse's"}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday'}| ; {'type': ; 'date'| ; 'filler': ; 'april ; twelfth'}]} ================================================================================ 141555, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funny'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funny'}]} ================================================================================ 129429, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'classic ; hits'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'classic ; hits'}]} ================================================================================ 139306, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'vitaly ; channel'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; ================================================================================ 138414, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 136266, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'hdfc'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'hdfc'}]} ================================================================================ 131220, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'austin'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'austin'}]} ================================================================================ 134905, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} ================================================================================ 135051, %WER 46.67 [ 7 / 15, 0 ins, 2 del, 5 sub ] {'scenario': ; 'email'| ; 'action': ; 'addcontact'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'giant ; eagle'}| ; {'type': ; 'list_name'| ; 'filler': ; 'contact ; list'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D ; = ; S ; = ; S ; D {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'joe'}| ; ; {'type': ; 'personal_info'| ; 'filler': ; 'email'}]} ; ================================================================================ 130940, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'chicken'}| ; {'type': ; 'device_type'| ; 'filler': ; 'oven'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 133804, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 130168, %WER 80.00 [ 12 / 15, 0 ins, 9 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'thirteenth ; june'}| ; {'type': ; 'event_name'| ; 'filler': ; 'election ; result'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ================================================================================ 140127, %WER 53.33 [ 8 / 15, 0 ins, 5 del, 3 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; "mr ; taxi's"}| ; {'type': ; 'personal_info'| ; 'filler': ; 'phone ; number'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; D ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'mr ; t'}]} ; ; ; ; ; ================================================================================ 140663, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ================================================================================ 131446, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133481, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 139438, %WER 38.89 [ 7 / 18, 3 ins, 0 del, 4 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_name'| ; 'filler': ; 'rajdhani ; express'}| ; ; ; ; {'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'jaipur'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; I ; I ; I ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'dad'}| ; {'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'pali'}]} ================================================================================ 133550, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'aircel'}]} = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} ================================================================================ 139490, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 134788, %WER 22.22 [ 2 / 9, 1 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'beatles'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'michael ; jackson'}]} ================================================================================ 131524, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 136065, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'book'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 135630, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'forensic'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'forensic'}]} ================================================================================ 132934, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 130819, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 130512, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138192, %WER 40.00 [ 4 / 10, 4 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; ; ; ; ; 'house_place'| ; 'filler': ; 'living ; room'}]} = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}| ; {'type': ; 'house_place'| ; 'filler': ; 'living ; room'}]} ================================================================================ 134975, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} ================================================================================ 133737, %WER 9.09 [ 1 / 11, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'email_address'| ; 'filler': ; 'newmail@gmail ; dot ; com'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'email_address'| ; 'filler': ; 'john@gmail ; dot ; com'}]} ================================================================================ 135883, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'themes'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ================================================================================ 139044, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'audiobook'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'planets'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} ; ; ; ; ================================================================================ 129899, %WER 75.00 [ 9 / 12, 0 ins, 6 del, 3 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'a ; quarter ; to ; two'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ================================================================================ 135085, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'deliver'}]} = ; S ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 137206, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'addcontact'| ; 'entities': ; [{'type': ; 'personal_info'| ; 'filler': ; 'email'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'addcontact'| ; 'entities': ; [{'type': ; 'personal_info'| ; 'filler': ; 'email'}]} ================================================================================ 133466, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 130615, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} ================================================================================ 130706, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 132291, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'jazz'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'jazz'}]} ================================================================================ 139550, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 134936, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'cold'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 131415, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 138333, %WER 14.29 [ 2 / 14, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "mary's"}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday ; party'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "mary's"}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday ; party'}]} ================================================================================ 134226, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'jane ; doe'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'jane ; doe'}]} ================================================================================ 130544, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'coffee ; maker'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ; ; ; ; ================================================================================ 140723, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 139738, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'boil'}| ; {'type': ; 'food_type'| ; 'filler': ; 'eggs'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'boil'}| ; {'type': ; 'food_type'| ; 'filler': ; 'eggs'}]} ================================================================================ 140637, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'australia'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'australia'}]} ================================================================================ 132404, %WER 50.00 [ 7 / 14, 4 ins, 0 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'audiobook_author'| ; 'filler': ; 'karl ; pilkington'}]} ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; I ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audio ; book'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'tonight'}]} ================================================================================ 133750, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 130138, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 131594, %WER 50.00 [ 6 / 12, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'audiobook_name'| ; 'filler': ; 'biography ; of ; jackie ; kennedy'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'organism'}]} ; ; ; ================================================================================ 129961, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 129921, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'floor'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'floor'}]} ================================================================================ 129335, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}]} ================================================================================ 134183, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bathroom'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bathroom'}]} ================================================================================ 141251, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139413, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} ================================================================================ 135038, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'fox ; news'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'fox ; news'}]} ================================================================================ 132380, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} ================================================================================ 130328, %WER 64.29 [ 9 / 14, 0 ins, 8 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'personal_info'| ; 'filler': ; 'contact ; detail'}| ; {'type': ; 'person'| ; 'filler': ; 'paul'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 138103, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 132598, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 129731, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138828, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'battleship'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 129987, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} ================================================================================ 133110, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'shuffle'}| ; {'type': ; 'artist_name'| ; 'filler': ; 'coldplay'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 138325, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 133248, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'event_name'| ; 'filler': ; 'concert'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'event_name'| ; 'filler': ; 'concerts'}]} ================================================================================ 138065, %WER 50.00 [ 7 / 14, 0 ins, 4 del, 3 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'next ; weeks'}| ; {'type': ; 'place_name'| ; 'filler': ; 'california'}]} = ; S ; = ; = ; = ; = ; S ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'next ; week'}]} ; ; ; ; ================================================================================ 134986, %WER 60.00 [ 6 / 10, 0 ins, 4 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'regional ; vp'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 129085, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 137407, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; []} ================================================================================ 129941, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'david ; bowie'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 137014, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'wife'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'wife'}]} ================================================================================ 131284, %WER 21.74 [ 5 / 23, 0 ins, 5 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'transport_descriptor'| ; 'filler': ; 'one ; way'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'nine ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; ; ; ; ; ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'nine ; am'}]} ================================================================================ 132834, %WER 30.00 [ 3 / 10, 0 ins, 0 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'jingle ; bells'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; S {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'michael ; jackson'}]} ================================================================================ 133136, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'philadelphia'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'philadelphia'}]} ================================================================================ 138555, %WER 11.76 [ 2 / 17, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'person'| ; 'filler': ; 'mona'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'relation'| ; 'filler': ; 'mom'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}]} ================================================================================ 134834, %WER 40.00 [ 4 / 10, 0 ins, 1 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'crafts ; fairs'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurant'}]} ; ================================================================================ 130318, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 136268, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'hdfc'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'acer'}]} ================================================================================ 137724, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'stop ; play'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ; ; ; ; ================================================================================ 131887, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140622, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'australia'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 138525, %WER 66.67 [ 8 / 12, 2 ins, 0 del, 6 sub ] {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'one ; hundred ; and ; one'}]} ; ; = ; = ; = ; S ; = ; = ; S ; = ; S ; S ; S ; S ; I ; I {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} ================================================================================ 133281, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'soft ; cheese'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 136525, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 134014, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'before'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 132455, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'theme ; parks'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 129612, %WER 69.23 [ 9 / 13, 0 ins, 7 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'driveway'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; S ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 136860, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 136741, %WER 14.29 [ 2 / 14, 0 ins, 1 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'person'| ; 'filler': ; 'george ; adams'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'person'| ; 'filler': ; 'george'}]} ; ================================================================================ 135290, %WER 35.71 [ 5 / 14, 0 ins, 1 del, 4 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'weather ; disasters'}| ; {'type': ; 'place_name'| ; 'filler': ; 'america'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'cold'}| ; ; {'type': ; 'place_name'| ; 'filler': ; 'america'}]} ================================================================================ 140915, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'audiobook_name'| ; 'filler': ; 'tarzan'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; []} ; ; ; ================================================================================ 132275, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 132466, %WER 63.64 [ 7 / 11, 3 ins, 0 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'audiobook_name'| ; 'filler': ; 'history ; of ; rome'}]} ; ; ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; S ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'audio ; book'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'grocery'}]} ================================================================================ 138981, %WER 42.86 [ 6 / 14, 0 ins, 5 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'animal ; farm'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}]} ; ; ; ; ; ================================================================================ 132561, %WER 0.00 [ 0 / 15, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 133216, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointments'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointments'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 128609, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 133875, %WER 47.06 [ 8 / 17, 0 ins, 3 del, 5 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'december ; four ; one ; thousand ; nine ; hundred ; and ; eighty ; two'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D ; = ; = ; = ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'one ; ; ; thousand ; nine ; hundred ; and ; ninety'}]} ; ================================================================================ 131056, %WER 10.00 [ 1 / 10, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john ; doe'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'jane ; doe'}]} ================================================================================ 133683, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 137838, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'iphone ; seven'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; []} ; ; ; ; ================================================================================ 137082, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 131695, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'fifa ; seventeen'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ================================================================================ 137524, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ================================================================================ 132820, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ================================================================================ 134735, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 132788, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'food ; festival'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 137942, %WER 133.33 [ 8 / 6, 5 ins, 0 del, 3 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I ; I ; I {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'chocolate ; chip ; cookies'}]} ================================================================================ 141540, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 133388, %WER 60.00 [ 9 / 15, 0 ins, 6 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'keep ; playing'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'secret ; garden'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'secretary'}]} ; ; ; ; ; ; ================================================================================ 131363, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'ray'}]} ================================================================================ 130048, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 131823, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 133794, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'madonna'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ================================================================================ 130949, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 132679, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 138258, %WER 10.00 [ 1 / 10, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'love ; songs'}]} = ; = ; = ; = ; = ; = ; S ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'love ; songs'}]} ================================================================================ 140619, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'australia'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'us'}]} ================================================================================ 130259, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'nine ; hundred ; and ; thirty ; eight ; fm'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'nine ; hundred ; and ; thirty ; eight ; fm'}]} ================================================================================ 131458, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'political'}| ; {'type': ; 'place_name'| ; 'filler': ; 'world'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'political'}]} ; ; ; ; ================================================================================ 132011, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 135075, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 141590, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'sacremento'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'sacramento'}]} ================================================================================ 140334, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 131754, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'kellogg'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'kellogg'}]} ================================================================================ 139328, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bedroom'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bedroom'}]} ================================================================================ 133347, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138567, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 130351, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 135484, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 135177, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ================================================================================ 140762, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 128816, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'marathon'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ; ; ; ================================================================================ 136091, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129758, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'chess'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'chess'}]} ================================================================================ 135560, %WER 23.81 [ 5 / 21, 0 ins, 4 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'person'| ; 'filler': ; 'tom'}| ; {'type': ; 'time'| ; 'filler': ; 'three'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'person'| ; 'filler': ; 'tom'}| ; {'type': ; ; ; ; ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 132733, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'right ; now'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ; ; ; ; ================================================================================ 136800, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}]} ================================================================================ 134652, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 140636, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'australia'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'australia'}]} ================================================================================ 128815, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'marathon'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'martha'}]} ================================================================================ 131184, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ================================================================================ 134386, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131134, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'saturday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'saturday'}]} ================================================================================ 130614, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} ================================================================================ 130186, %WER 54.55 [ 6 / 11, 0 ins, 2 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'papa ; pear ; saga'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointments'}]} ; ; ================================================================================ 138227, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 137406, %WER 38.46 [ 5 / 13, 4 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'seven'}]} ================================================================================ 131417, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 141534, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 129078, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; S ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'robert'}]} ================================================================================ 132183, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 138099, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'noodles'}| ; {'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 136111, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 128632, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'blue'}]} ================================================================================ 136476, %WER 38.89 [ 7 / 18, 4 ins, 0 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'person'| ; 'filler': ; 'joanna'}| ; {'type': ; 'date'| ; 'filler': ; 'Saturday'}| ; {'type': ; 'time'| ; 'filler': ; 'four ; pm'}]} = ; = ; = ; S ; = ; = ; I ; I ; I ; I ; = ; = ; S ; = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'person'| ; 'filler': ; 'joanne'}| ; {'type': ; 'date'| ; 'filler': ; 'saturday'}| ; {'type': ; 'time'| ; 'filler': ; 'four ; pm'}]} ================================================================================ 136795, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'oldies ; station'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ; ; ; ; ================================================================================ 134626, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139190, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 136005, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 134680, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133070, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; []} ================================================================================ 132400, %WER 66.67 [ 6 / 9, 4 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; I ; I ; I ; I ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'windy'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 131821, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129203, %WER 55.56 [ 5 / 9, 1 ins, 0 del, 4 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'spaghetti'}]} ; = ; S ; = ; S ; = ; = ; S ; = ; S ; I {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'personal_info'| ; 'filler': ; 'landline ; number'}]} ================================================================================ 136688, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 128938, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funniest'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funny'}]} ================================================================================ 140741, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 130301, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129282, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'email_folder'| ; 'filler': ; 'inbox'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'email_folder'| ; 'filler': ; 'inbox'}]} ================================================================================ 129013, %WER 61.54 [ 8 / 13, 0 ins, 7 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'house'}| ; {'type': ; 'color_type'| ; 'filler': ; 'blue'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 137008, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'hurricane'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 138311, %WER 46.15 [ 6 / 13, 5 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ; ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'one ; hour'}]} ================================================================================ 135541, %WER 33.33 [ 5 / 15, 1 ins, 1 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'u. ; s. ; d.'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'jpy'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; D ; = ; = ; = ; S ; I {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'us ; dollar'}| ; ; {'type': ; 'currency_name'| ; 'filler': ; 'japanese ; yen'}]} ================================================================================ 138073, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_on'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'wemo ; plug ; socket'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'wemo_on'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'wemo ; plug ; socket'}]} ================================================================================ 137523, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131939, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; show'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ; ================================================================================ 132589, %WER 61.54 [ 8 / 13, 0 ins, 7 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}| ; {'type': ; 'relation'| ; 'filler': ; 'dad'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 137782, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'apple'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'apple'}]} ================================================================================ 139887, %WER 40.00 [ 6 / 15, 0 ins, 1 del, 5 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'alarm_type'| ; 'filler': ; 'wake ; up'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; weekend'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; = ; S ; = ; S ; S {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'friday'}| ; ; {'type': ; 'time'| ; 'filler': ; 'three ; pm'}]} ================================================================================ 135636, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_other'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_other'| ; 'entities': ; []} ================================================================================ 141410, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}]} ================================================================================ 138627, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'london'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'london'}]} ================================================================================ 136807, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 129066, %WER 25.00 [ 5 / 20, 0 ins, 5 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'feb ; four'}| ; {'type': ; 'place_name'| ; 'filler': ; "king's ; park"}| ; {'type': ; 'time'| ; 'filler': ; 'two ; pm'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'feb ; four'}| ; {'type': ; ; ; ; ; ; 'time'| ; 'filler': ; 'two ; pm'}]} ================================================================================ 140875, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'beatles'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'beatles'}]} ================================================================================ 134152, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'sixth ; street'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 129839, %WER 46.15 [ 6 / 13, 1 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; S ; I {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; ; ; ; ; 'media_type'| ; 'filler': ; 'audio ; book'}]} ================================================================================ 137780, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'apple'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'apple'}]} ================================================================================ 135261, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134221, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'beijing'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'beijing'}]} ================================================================================ 134075, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 136640, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 129449, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'elaborate'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'electronic'}]} ================================================================================ 132683, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 139130, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 135584, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129369, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; []} ================================================================================ 129769, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "john's"}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "john's"}]} ================================================================================ 136906, %WER 20.00 [ 2 / 10, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'barack ; obama'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; S {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'donald ; trump'}]} ================================================================================ 137142, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'addcontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'michael'}]} = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'email'| ; 'action': ; 'addcontact'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'company'}]} ================================================================================ 129565, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}]} = ; S ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 129024, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ================================================================================ 136793, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'oldies ; station'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 136624, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "this ; week's"}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 134799, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 132149, %WER 64.29 [ 9 / 14, 0 ins, 8 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'coffee ; machine'}| ; {'type': ; 'time'| ; 'filler': ; 'three'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 131114, %WER 20.00 [ 2 / 10, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'major ; lazer'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; S {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'michael ; jackson'}]} ================================================================================ 139105, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'yesterday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'yesterday'}]} ================================================================================ 139102, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} ; ; ; ; ================================================================================ 132426, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 134500, %WER 22.22 [ 2 / 9, 1 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'last ; day'}]} ================================================================================ 133565, %WER 35.71 [ 5 / 14, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'jump'}| ; {'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; podcast'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = ; S {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; ; ; ; ; 'podcast_descriptor'| ; 'filler': ; 'next ; episode'}]} ================================================================================ 141390, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 133859, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'week'}]} = ; = ; = ; = ; = ; = ; S ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'week'}]} ================================================================================ 138023, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 130595, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 132695, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'us'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'mexico'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'us'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'mexico'}]} ================================================================================ 133544, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'alaska'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'alaska'}]} ================================================================================ 131720, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'email_folder'| ; 'filler': ; 'inbox'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'email_folder'| ; 'filler': ; 'inbox'}]} ================================================================================ 139117, %WER 54.55 [ 6 / 11, 2 ins, 0 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'play ; and ; shuffle'}]} ; ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; S ; I ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_descriptor'| ; 'filler': ; 'shopping'}| ; {'type': ; 'player_setting'| ; 'filler': ; 'shuffle'}]} ================================================================================ 138449, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_other'| ; 'entities': ; []} ================================================================================ 141474, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; '@companyname'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 131653, %WER 59.09 [ 13 / 22, 0 ins, 9 del, 4 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}| ; {'type': ; 'person'| ; 'filler': ; 'dave'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}| ; {'type': ; 'time'| ; 'filler': ; 'five ; pm'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'daily'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ; ; ; ; ; ; ; ; ; ================================================================================ 128926, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'evening'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'evening'}]} ================================================================================ 139381, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}]} ================================================================================ 129836, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}]} ; ; ; ; ================================================================================ 132963, %WER 18.75 [ 3 / 16, 0 ins, 2 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; "investigation ; into ; trump's ; ties"}| ; {'type': ; 'place_name'| ; 'filler': ; 'russia'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; "trump's ; ; ; ties"}| ; {'type': ; 'place_name'| ; 'filler': ; 'russia'}]} ================================================================================ 131247, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'earth'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ================================================================================ 134639, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'pay ; days'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ; ; ; ; ================================================================================ 136229, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'dislikeness'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 131251, %WER 21.43 [ 3 / 14, 0 ins, 1 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'person'| ; 'filler': ; 'dr ; smith'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'relation'| ; 'filler': ; 'daughter'}]} ; ================================================================================ 135098, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'deliver'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 138842, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'taxi'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'taxi'}]} ================================================================================ 138490, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 135675, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ================================================================================ 138668, %WER 61.54 [ 8 / 13, 0 ins, 7 del, 1 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'second ; of ; next ; mont ; lands'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 128700, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; []} ================================================================================ 141137, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'raincoat'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'vegetables'}]} ================================================================================ 140881, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 138832, %WER 46.15 [ 6 / 13, 0 ins, 3 del, 3 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'ingredient'| ; 'filler': ; 'baking ; soda ; for ; baking ; powder'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; D ; D ; D {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'baked ; chicken'}]} ; ; ; ================================================================================ 131474, %WER 35.29 [ 6 / 17, 0 ins, 4 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'sushi'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'tonight'}| ; {'type': ; 'meal_type'| ; 'filler': ; 'dinner'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'delivery'}| ; {'type': ; ; ; ; ; 'meal_type'| ; 'filler': ; 'dinner'}]} ================================================================================ 134595, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'billy ; joel'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ================================================================================ 132927, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rap'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rap'}]} ================================================================================ 141178, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 135040, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'fox ; news'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} ; ================================================================================ 132052, %WER 10.00 [ 1 / 10, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'bob ; dylan'}]} = ; = ; = ; = ; = ; = ; S ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'bob ; dylan'}]} ================================================================================ 130104, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 132547, %WER 0.00 [ 0 / 15, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 140647, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 134848, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; episode'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; episode'}]} ================================================================================ 139261, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ================================================================================ 130588, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 138796, %WER 30.77 [ 4 / 13, 0 ins, 0 del, 4 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'storms'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurants'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 134211, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'shelly'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'shelly'}]} ================================================================================ 140474, %WER 20.00 [ 2 / 10, 0 ins, 0 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'san ; francisco'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'san ; francisco'}]} ================================================================================ 141090, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 136523, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 131874, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129570, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'veg ; pulav'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 128798, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lighton'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} ================================================================================ 129098, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 139030, %WER 28.57 [ 4 / 14, 0 ins, 1 del, 3 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; month'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ; ================================================================================ 133946, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ================================================================================ 129015, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'house'}| ; {'type': ; 'color_type'| ; 'filler': ; 'blue'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'house'}| ; {'type': ; 'color_type'| ; 'filler': ; 'blue'}]} ================================================================================ 140600, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'twitter'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'twitter'}]} ================================================================================ 140411, %WER 26.67 [ 4 / 15, 0 ins, 1 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'u. ; s. ; d.'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'pound'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; D ; = ; = ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'us ; dollar'}| ; ; {'type': ; 'currency_name'| ; 'filler': ; 'pounds'}]} ================================================================================ 135158, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_on'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'smart ; plug'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; []} ; ; ; ; ================================================================================ 131912, %WER 50.00 [ 5 / 10, 0 ins, 1 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'emma ; watson'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ; ================================================================================ 137341, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129625, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ================================================================================ 136324, %WER 166.67 [ 10 / 6, 7 ins, 0 del, 3 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ; ; ; ; ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I ; I ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'start'}| ; {'type': ; 'music_genre'| ; 'filler': ; 'pop'}]} ================================================================================ 135643, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'public ; library'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ================================================================================ 131995, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 139124, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'taxi'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'taxi'}]} ================================================================================ 132198, %WER 53.85 [ 7 / 13, 5 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'start'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'twilight'}]} ; ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; I ; I ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'start'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audio ; book'}| ; {'type': ; 'app_name'| ; 'filler': ; 'audible'}]} ================================================================================ 137902, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ================================================================================ 132390, %WER 50.00 [ 8 / 16, 0 ins, 5 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'move ; on'}| ; {'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; podcast ; episode'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; S ; S ; S {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'podcast_descriptor'| ; 'filler': ; 'hot ; or ; cold'}]} ================================================================================ 136670, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ; ; ; ================================================================================ 137003, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'political'}]} = ; S ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 141511, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 134971, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 137025, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'laos'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 139570, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'russia'}| ; {'type': ; 'place_name'| ; 'filler': ; 'alaska'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 133932, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} ================================================================================ 136706, %WER 14.29 [ 2 / 14, 0 ins, 0 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'Thursday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} = ; S ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'thursday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} ================================================================================ 133755, %WER 18.75 [ 3 / 16, 0 ins, 2 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'living ; room'}| ; {'type': ; 'color_type'| ; 'filler': ; 'green ; and ; red'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'living ; room'}| ; {'type': ; 'color_type'| ; 'filler': ; 'green'}]} ; ; ================================================================================ 131231, %WER 23.08 [ 3 / 13, 0 ins, 0 del, 3 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'vogue'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; = ; = ; S ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 129208, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_agency'| ; 'filler': ; 'uber'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_agency'| ; 'filler': ; 'uber'}]} ================================================================================ 132778, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'poker'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'poker'}]} ================================================================================ 136177, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 132350, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'us ; dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'euro'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'us ; dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'euro'}]} ================================================================================ 138714, %WER 25.00 [ 4 / 16, 0 ins, 2 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'doctor ; appointment'}| ; {'type': ; 'date'| ; 'filler': ; 'march ; thirty ; first'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; = ; = ; = ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; ; {'type': ; 'date'| ; 'filler': ; 'march ; seven'}]} ; ================================================================================ 134607, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_other'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ================================================================================ 135876, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 140576, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'dollar'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'dallas'}]} ================================================================================ 133402, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133083, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; []} ================================================================================ 132056, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rap'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rap'}]} ================================================================================ 129058, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; "adele's"}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ; ; ; ================================================================================ 129886, %WER 20.00 [ 2 / 10, 0 ins, 0 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'thirty ; minutes'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; S {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'ten ; seconds'}]} ================================================================================ 131020, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 141627, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 131093, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'pause'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_agency'| ; 'filler': ; 'uber'}]} ================================================================================ 140063, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134885, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john'}]} ================================================================================ 132288, %WER 133.33 [ 8 / 6, 7 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I ; I ; I ; I {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}| ; {'type': ; 'place_name'| ; 'filler': ; 'garden'}]} ================================================================================ 141191, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 141602, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} ================================================================================ 139368, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 134921, %WER 0.00 [ 0 / 17, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'six'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'six'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ================================================================================ 133074, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; []} ================================================================================ 128969, %WER 28.57 [ 4 / 14, 0 ins, 4 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time_zone'| ; 'filler': ; 'time'}| ; {'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'place_name'| ; 'filler': ; 'new ; york'}]} ================================================================================ 131987, %WER 0.00 [ 0 / 18, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'monday'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}| ; {'type': ; 'time'| ; 'filler': ; 'six ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'monday'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}| ; {'type': ; 'time'| ; 'filler': ; 'six ; am'}]} ================================================================================ 139354, %WER 40.00 [ 4 / 10, 0 ins, 0 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'sophia ; vergara'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; S {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'social ; media'}]} ================================================================================ 131883, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 141444, %WER 42.86 [ 6 / 14, 0 ins, 4 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'downtown'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; weekend'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'this ; weekend'}]} ================================================================================ 141011, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 141242, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131878, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138148, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'wemo ; plug'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'wemo ; plug'}]} ================================================================================ 139506, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 130031, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'eight ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'eight ; am'}]} ================================================================================ 130800, %WER 0.00 [ 0 / 19, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'lunch'}| ; {'type': ; 'general_frequency'| ; 'filler': ; 'every ; day'}| ; {'type': ; 'time'| ; 'filler': ; 'twelve ; thirty'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'lunch'}| ; {'type': ; 'general_frequency'| ; 'filler': ; 'every ; day'}| ; {'type': ; 'time'| ; 'filler': ; 'twelve ; thirty'}]} ================================================================================ 133284, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} ================================================================================ 132908, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 133715, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 139567, %WER 30.77 [ 4 / 13, 0 ins, 4 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'russia'}| ; {'type': ; 'place_name'| ; 'filler': ; 'alaska'}]} = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; ; ; ; ; 'alaska'}]} ================================================================================ 132664, %WER 64.71 [ 11 / 17, 0 ins, 8 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'thai'}| ; {'type': ; 'business_type'| ; 'filler': ; 'restaurant'}| ; {'type': ; 'order_type'| ; 'filler': ; 'delivery'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; ; ; ; ; 'business_type'| ; 'filler': ; 'restaurant'}]} ; ; ; ; ================================================================================ 136176, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138952, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'expenses'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ; ; ; ================================================================================ 136302, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 139454, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 128950, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'monday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'monday'}]} ================================================================================ 135359, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 129861, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'yellow ; cab'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 131829, %WER 10.00 [ 1 / 10, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}]} ================================================================================ 132767, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 138707, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ================================================================================ 129122, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 132855, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137559, %WER 25.00 [ 4 / 16, 0 ins, 2 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'one ; hour'}| ; {'type': ; 'event_name'| ; 'filler': ; 'bread ; to ; bake'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'one ; hour'}| ; {'type': ; 'date'| ; 'filler': ; 'thursday'}]} ; ; ================================================================================ 133605, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'house'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'house'}]} ================================================================================ 137009, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'hurricane'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 138586, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 134048, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'smart ; socket'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 140691, %WER 77.78 [ 14 / 18, 0 ins, 12 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'start ; chapter ; five'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'physics ; for ; future ; presidents'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ; ; ================================================================================ 139418, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} ================================================================================ 130411, %WER 21.43 [ 3 / 14, 0 ins, 1 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'four ; hundred'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'einstein'}| ; ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 138829, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'battleship'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 129517, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 134831, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'sambar'}| ; {'type': ; 'app_name'| ; 'filler': ; 'cookingforu'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'vegetables'}]} ; ; ; ; ================================================================================ 137939, %WER 50.00 [ 8 / 16, 0 ins, 5 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'first ; week ; of ; june'}| ; {'type': ; 'event_name'| ; 'filler': ; 'holiday'}]} = ; = ; = ; S ; = ; = ; S ; = ; = ; D ; = ; S ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'first ; ; of ; january'}]} ; ; ; ; ================================================================================ 130482, %WER 20.00 [ 2 / 10, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 130603, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'wayne ; gretszky'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 129316, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'audio ; book'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; []} ; ; ; ; ================================================================================ 139614, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 133310, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'sanfranscio'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'chicago'}]} ================================================================================ 128955, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'monday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'monday'}]} ================================================================================ 130387, %WER 83.33 [ 15 / 18, 0 ins, 12 del, 3 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'yesterday'}| ; {'type': ; 'time'| ; 'filler': ; 'noontime'}| ; {'type': ; 'place_name'| ; 'filler': ; 'times ; square'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ; ; ================================================================================ 140643, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 140332, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 137100, %WER 33.33 [ 6 / 18, 0 ins, 4 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'pick ; up ; my ; dry ; cleaning'}| ; {'type': ; 'time'| ; 'filler': ; 'eight ; pm'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; D ; D ; D ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'tonight'}| ; ; ; ; ; {'type': ; 'time'| ; 'filler': ; 'eight ; pm'}]} ================================================================================ 136368, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 135179, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'seth'}| ; {'type': ; 'personal_info'| ; 'filler': ; 'lives'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 128764, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 131678, %WER 9.09 [ 1 / 11, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'last ; ten ; minutes'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'last ; ten ; years'}]} ================================================================================ 136842, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'raining'}| ; {'type': ; 'date'| ; 'filler': ; 'thursday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'raining'}| ; {'type': ; 'date'| ; 'filler': ; 'thursday'}]} ================================================================================ 134447, %WER 350.00 [ 21 / 6, 19 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; = ; = ; = ; S ; = ; S ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I ; I {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'us ; dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'us ; dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'us ; dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'us ; dollar'}]} ================================================================================ 139185, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 138277, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'jane'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'jane'}]} ================================================================================ 140093, %WER 50.00 [ 5 / 10, 0 ins, 0 del, 5 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'company ; name'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; S {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'coffee ; machine'}]} ================================================================================ 130583, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ================================================================================ 135550, %WER 55.56 [ 5 / 9, 1 ins, 0 del, 4 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ; = ; S ; = ; S ; = ; = ; S ; = ; S ; I {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'google ; play'}]} ================================================================================ 138750, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 130380, %WER 61.54 [ 8 / 13, 0 ins, 7 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'pounds'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 137694, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meetings'}| ; {'type': ; 'date'| ; 'filler': ; 'wednesday'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 132774, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 135906, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurant'}]} ================================================================================ 132295, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} ================================================================================ 140159, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 136966, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 132106, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'meatballs'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ; ; ; ================================================================================ 135226, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "kate's"}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ; ; ; ================================================================================ 129207, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_agency'| ; 'filler': ; 'uber'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_agency'| ; 'filler': ; 'uber'}]} ================================================================================ 135706, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131943, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'boil'}| ; {'type': ; 'food_type'| ; 'filler': ; 'egg'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'boil'}| ; {'type': ; 'food_type'| ; 'filler': ; 'egg'}]} ================================================================================ 139444, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133324, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'tonight'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'tonight'}]} ================================================================================ 129989, %WER 55.56 [ 5 / 9, 1 ins, 0 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'pink'}]} ; = ; S ; = ; S ; = ; = ; S ; = ; S ; I {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'pizza ; hut'}]} ================================================================================ 131136, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 130472, %WER 66.67 [ 8 / 12, 1 ins, 0 del, 7 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'layfayette ; st ; and ; canal'}]} ; = ; S ; = ; S ; = ; = ; S ; = ; S ; S ; S ; S ; I {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'intel'}]} ================================================================================ 141148, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'slayer'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 139317, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} ================================================================================ 131283, %WER 43.48 [ 10 / 23, 0 ins, 9 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'transport_descriptor'| ; 'filler': ; 'one ; way'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}| ; {'type': ; 'time'| ; 'filler': ; 'nine ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; D ; D ; D ; D ; = ; = ; S ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; ; ; ; ; ; ; ; ; ; 'time'| ; 'filler': ; 'eight ; am'}]} ================================================================================ 134231, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 128800, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} ================================================================================ 133811, %WER 55.56 [ 5 / 9, 5 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; I ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 134592, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}| ; {'type': ; 'person'| ; 'filler': ; 'mike'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}| ; {'type': ; 'person'| ; 'filler': ; 'mike'}]} ================================================================================ 138909, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140508, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'super ; bowl'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ; ; ; ; ================================================================================ 136458, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; [{'type': ; 'change_amount'| ; 'filler': ; 'twenty ; percent'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ; ; ; ; ================================================================================ 135717, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 133958, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} ================================================================================ 131667, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_other'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 136388, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 133995, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'greet'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 130426, %WER 36.84 [ 7 / 19, 0 ins, 4 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'tal ; meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'twenty ; first'}| ; {'type': ; 'time'| ; 'filler': ; 'seven'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; = ; = ; = ; = ; S ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; ; {'type': ; 'date'| ; 'filler': ; 'twenty ; four ; seven'}]} ; ; ; ================================================================================ 135402, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 132507, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'hallway'}]} = ; = ; = ; S ; = ; = ; = ; = ; S {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'hall'}]} ================================================================================ 137907, %WER 35.71 [ 5 / 14, 0 ins, 5 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'thirty ; minutes'}| ; {'type': ; 'relation'| ; 'filler': ; 'mom'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'relation'| ; 'filler': ; 'mom'}]} ================================================================================ 139642, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 136069, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'book'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 134262, %WER 33.33 [ 7 / 21, 0 ins, 4 del, 3 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'baltimore ; maryland'}| ; {'type': ; 'place_name'| ; 'filler': ; 'new ; york ; new ; york'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'boston'}| ; ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ; ; ; ================================================================================ 130636, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 138450, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 131585, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'obama'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'obligatory'}]} ================================================================================ 138340, %WER 66.67 [ 6 / 9, 4 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; S ; = ; S ; = ; = ; I ; I ; I ; I ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'daily'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 131401, %WER 10.00 [ 1 / 10, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'every ; monday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'every ; day'}]} ================================================================================ 139476, %WER 60.00 [ 6 / 10, 0 ins, 4 del, 2 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'social ; networks'}]} = ; S ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 133358, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} ================================================================================ 138624, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 132604, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 140486, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 136769, %WER 47.06 [ 8 / 17, 0 ins, 4 del, 4 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'february ; one ; and ; march ; sixteen'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meetings'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D ; D ; D ; D ; = ; = ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'daily'}| ; ; ; ; ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 135189, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129076, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; S ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'umbrella'}]} ================================================================================ 135147, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'settings'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'skip'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 131835, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bathroom'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bathroom'}]} ================================================================================ 135240, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 128810, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 130169, %WER 80.00 [ 12 / 15, 0 ins, 9 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'thirteenth ; june'}| ; {'type': ; 'event_name'| ; 'filler': ; 'election ; result'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ================================================================================ 133814, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} ================================================================================ 131349, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'dakota ; pipeline'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 131405, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ================================================================================ 132280, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 140337, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'shakira'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 135512, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 135151, %WER 61.54 [ 8 / 13, 0 ins, 7 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'mild'}| ; {'type': ; 'weather_descriptor'| ; 'filler': ; 'heavy'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 130073, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129600, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 141025, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuuming'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 134421, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 132703, %WER 73.68 [ 14 / 19, 0 ins, 13 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'one ; thousand ; nine ; hundred ; and ; ninety'}| ; {'type': ; 'date'| ; 'filler': ; 'two ; thousand'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ; ; ; ================================================================================ 137088, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'smartphone'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'smartphone'}]} ================================================================================ 132660, %WER 58.82 [ 10 / 17, 0 ins, 7 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meetings'}| ; {'type': ; 'time'| ; 'filler': ; 'twenty ; to ; twenty ; five ; june'}]} = ; S ; = ; = ; = ; = ; S ; = ; D ; D ; D ; D ; = ; S ; D ; D ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; ; ; ; ; 'twenty ; five'}]} ; ; ; ================================================================================ 132181, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ================================================================================ 133751, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 130527, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 141060, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 138685, %WER 40.00 [ 4 / 10, 0 ins, 1 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'pizza ; shop'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'pesos'}]} ; ================================================================================ 139463, %WER 81.25 [ 13 / 16, 0 ins, 10 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'dress ; shows'}| ; {'type': ; 'place_name'| ; 'filler': ; 'within ; one ; mile'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ================================================================================ 129272, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'china'}]} = ; = ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'chaise'}]} ================================================================================ 129871, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'around ; town'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ; ; ; ; ================================================================================ 137313, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 141621, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ; ; ; = ; = ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'personal_info'| ; 'filler': ; 'email'}]} ================================================================================ 134725, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 135769, %WER 50.00 [ 7 / 14, 0 ins, 0 del, 7 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'video'}| ; {'type': ; 'food_type'| ; 'filler': ; 'fried ; chicken'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; = ; S ; = ; S ; S {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_agency'| ; 'filler': ; 'uber'}| ; {'type': ; 'time'| ; 'filler': ; 'three ; pm'}]} ================================================================================ 130821, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} ================================================================================ 141608, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rainy'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 135424, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133548, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'usa'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 134477, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'pop ; mix'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'pop ; mix'}]} ================================================================================ 139854, %WER 20.00 [ 3 / 15, 0 ins, 1 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'the ; nineteenth'}| ; {'type': ; 'time'| ; 'filler': ; 'two ; pm'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'nine'}| ; ; {'type': ; 'time'| ; 'filler': ; 'two ; pm'}]} ================================================================================ 138238, %WER 61.54 [ 8 / 13, 0 ins, 7 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'every ; time ; i ; see ; you'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 133393, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'an ; hour'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ; ; ; ; ================================================================================ 129434, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bedroom'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bedroom'}]} ================================================================================ 135072, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 133458, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ================================================================================ 130562, %WER 70.00 [ 7 / 10, 3 ins, 0 del, 4 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; "bob's ; news"}]} ; ; ; = ; S ; = ; = ; = ; = ; S ; = ; S ; S ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'person'| ; 'filler': ; 'bob'}]} ================================================================================ 139634, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 135129, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 137074, %WER 52.17 [ 12 / 23, 0 ins, 8 del, 4 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'convert'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'eight ; thirty'}| ; {'type': ; 'time_zone'| ; 'filler': ; 'gtm ; four'}| ; {'type': ; 'time_zone'| ; 'filler': ; 'g. ; m. ; t. ; five ; thirty'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; D ; D ; D ; D ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'datetime'| ; 'action': ; 'convert'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'eight ; hundred ; am'}| ; ; ; ; ; {'type': ; 'date'| ; 'filler': ; 'thursday'}]} ; ; ; ; ================================================================================ 134803, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 139236, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'canada'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'canada'}]} ================================================================================ 137121, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 140158, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137852, %WER 60.00 [ 6 / 10, 0 ins, 4 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'clothing ; stores'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; []} ; ; ; ; ================================================================================ 135138, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'convert'| ; 'entities': ; []} ================================================================================ 130533, %WER 60.00 [ 9 / 15, 0 ins, 6 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'angelina ; jolie'}| ; {'type': ; 'person'| ; 'filler': ; 'brad ; pitt'}]} = ; S ; = ; S ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john'}]} ; ; ; ; ; ; ================================================================================ 138140, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'this ; room'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ; ; ; ; ================================================================================ 138428, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 135932, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "duncan ; trussel's"}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ; ================================================================================ 133986, %WER 28.57 [ 4 / 14, 0 ins, 0 del, 4 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'tornadoes'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; month'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'beach'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; month'}]} ================================================================================ 140930, %WER 55.56 [ 5 / 9, 1 ins, 0 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'angeline'}]} ; = ; S ; = ; S ; = ; = ; S ; = ; S ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; year'}]} ================================================================================ 140291, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 134466, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; []} ================================================================================ 131981, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ================================================================================ 137532, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ================================================================================ 137306, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 128702, %WER 33.33 [ 3 / 9, 1 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'porch'}]} ; = ; = ; = ; = ; = ; = ; S ; = ; S ; I {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'porch ; light'}]} ================================================================================ 128928, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funniest'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 138927, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 135006, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'charlotte'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ================================================================================ 136898, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'barack ; obama'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'barack ; obama'}]} ================================================================================ 137936, %WER 18.18 [ 2 / 11, 0 ins, 1 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'electronic ; emissions ; system'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'electronic ; events'}]} ; ================================================================================ 139708, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'china'}]} = ; = ; = ; = ; = ; = ; S ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'china'}]} ================================================================================ 131767, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'michael'}]} ================================================================================ 137740, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 139882, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}]} ================================================================================ 132985, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 133708, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 134967, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ================================================================================ 136560, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 140504, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 132209, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'comcastcom'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'comcastcom'}]} ================================================================================ 138753, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134852, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ================================================================================ 136080, %WER 15.38 [ 2 / 13, 0 ins, 0 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'naty'}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'naty'}| ; {'type': ; 'date'| ; 'filler': ; 'thursday'}]} ================================================================================ 130669, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 128881, %WER 57.14 [ 8 / 14, 0 ins, 5 del, 3 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'midnight'}| ; {'type': ; 'place_name'| ; 'filler': ; 'london ; england'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; S ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; ; ; ; ; 'place_name'| ; 'filler': ; 'london'}]} ; ================================================================================ 140034, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'dan'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'dan'}]} ================================================================================ 137656, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ================================================================================ 140061, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'convert'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'us'}| ; {'type': ; 'place_name'| ; 'filler': ; 'canada'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 131759, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; month'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; month'}]} ================================================================================ 137687, %WER 78.57 [ 11 / 14, 0 ins, 8 del, 3 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "morgan's"}| ; {'type': ; 'personal_info'| ; 'filler': ; "office's ; number"}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 130401, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; []} ; ; ; = ; = ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'room'}]} ================================================================================ 129911, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 131351, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ================================================================================ 138136, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 133833, %WER 50.00 [ 5 / 10, 0 ins, 1 del, 4 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'pizza ; places'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'pizza'}]} ; ================================================================================ 129138, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 140519, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'china'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'china'}]} ================================================================================ 131747, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'city'}]} = ; S ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} ================================================================================ 140713, %WER 133.33 [ 8 / 6, 7 ins, 0 del, 1 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; []} ; ; ; ; ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I ; I ; I ; I {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; [{'type': ; 'movie_name'| ; 'filler': ; 'ola'}| ; {'type': ; 'business_type'| ; 'filler': ; 'restaurant'}]} ================================================================================ 134841, %WER 28.57 [ 4 / 14, 0 ins, 4 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'date'| ; 'filler': ; 'april ; fourth'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'april ; fourth'}]} ================================================================================ 138897, %WER 30.00 [ 3 / 10, 1 ins, 0 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'ten ; day'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; I {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'the ; twenty ; second'}]} ================================================================================ 136381, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 140444, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133583, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133693, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 137891, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ================================================================================ 134165, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131024, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 129568, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; []} ================================================================================ 129025, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ================================================================================ 128801, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} ================================================================================ 138928, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 128751, %WER 116.67 [ 7 / 6, 4 ins, 0 del, 3 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ; ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'dance ; bar'}]} ================================================================================ 140340, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ; ; ; ; ================================================================================ 139802, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ================================================================================ 134534, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'patrick ; stewart'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'husband'}]} ; ================================================================================ 134363, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} ================================================================================ 133826, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'selena ; gomez'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'selena ; gomez'}]} ================================================================================ 133397, %WER 53.85 [ 7 / 13, 0 ins, 4 del, 3 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'precipitation'}| ; {'type': ; 'date'| ; 'filler': ; 'todays'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; S {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; "today's"}]} ================================================================================ 139991, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_descriptor'| ; 'filler': ; 'previous'}| ; {'type': ; 'song_name'| ; 'filler': ; 'song'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 129875, %WER 44.00 [ 11 / 25, 0 ins, 5 del, 6 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'mehta'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'time'| ; 'filler': ; 'five ; hundred ; and ; twenty ; pm'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; S ; D ; D ; D ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'company ; meeting'}| ; ; ; ; {'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'time'| ; 'filler': ; 'five ; thirty ; ; ; pm'}]} ================================================================================ 137741, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ================================================================================ 141475, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; '@companyname'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 137452, %WER 52.94 [ 9 / 17, 0 ins, 8 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'event_name'| ; 'filler': ; 'the ; start ; of ; my ; diet'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ; ; ; ; ; ; ; ; ================================================================================ 135031, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 129866, %WER 28.57 [ 4 / 14, 4 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'two ; pm'}]} = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'two ; pm'}]} ================================================================================ 128661, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 139153, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 131156, %WER 82.14 [ 23 / 28, 0 ins, 22 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_name'| ; 'filler': ; 'ten ; thousand ; eight ; hundred ; and ; eighty ; seven'}| ; {'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'luni ; station'}| ; {'type': ; 'date'| ; 'filler': ; 'tuesday'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ================================================================================ 133349, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 133002, %WER 69.23 [ 9 / 13, 0 ins, 7 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'pop'}| ; {'type': ; 'radio_name'| ; 'filler': ; 'fm'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 137771, %WER 61.54 [ 8 / 13, 0 ins, 7 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'nine ; hundred ; and ; eighty ; nine'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 131937, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; show'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ; ================================================================================ 135446, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'amazon'}]} = ; = ; = ; = ; = ; = ; S ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'amazon'}]} ================================================================================ 141196, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 139822, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} ================================================================================ 140514, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'bbc'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'bbc'}]} ================================================================================ 138160, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'dallas'}]} ================================================================================ 132168, %WER 53.33 [ 8 / 15, 0 ins, 6 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'ella ; fitzgerals'}| ; {'type': ; 'song_name'| ; 'filler': ; 'get ; happy'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'electronic'}]} ; ; ; ; ; ; ================================================================================ 140560, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'happy ; birthday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'happy ; birthday'}]} ================================================================================ 136313, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'timeliness'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'orange'}]} ================================================================================ 129229, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'brunch'}| ; {'type': ; 'person'| ; 'filler': ; 'jennifer'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'brunch'}| ; {'type': ; 'person'| ; 'filler': ; 'jennifer'}]} ================================================================================ 129476, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'coffee_type'| ; 'filler': ; 'usual'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ================================================================================ 129128, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 139774, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'pounds'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; []} ; ; ; ================================================================================ 136625, %WER 166.67 [ 10 / 6, 7 ins, 0 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} ; ; ; ; ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I ; I ; I ; I ; I {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'Wednesday'}| ; {'type': ; 'time'| ; 'filler': ; 'one'}]} ================================================================================ 133996, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'greet'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 133024, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 135517, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'yesterday'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'yesterday'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ================================================================================ 129521, %WER 14.29 [ 2 / 14, 0 ins, 1 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'beaumont ; tx'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'brno'}]} ; ================================================================================ 131730, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'email_folder'| ; 'filler': ; 'inbox'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 133827, %WER 60.00 [ 6 / 10, 3 ins, 0 del, 3 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'selena ; gomez'}]} ; ; ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; I ; I ; I {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'alarm_type'| ; 'filler': ; 'cleaner'}| ; {'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} ================================================================================ 134628, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; podcast'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ; ================================================================================ 129135, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 133008, %WER 53.85 [ 7 / 13, 0 ins, 3 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'pop'}| ; {'type': ; 'radio_name'| ; 'filler': ; 'fm'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'michael ; jackson'}]} ; ; ; ================================================================================ 141626, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 135851, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 132207, %WER 15.38 [ 2 / 13, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'start'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'twilight'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'start'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} ================================================================================ 130302, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 130913, %WER 10.00 [ 1 / 10, 0 ins, 0 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'newest ; provider'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'new ; provider'}]} ================================================================================ 129957, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 136546, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'old ; english'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'old ; english'}]} ================================================================================ 136363, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 134795, %WER 21.43 [ 3 / 14, 0 ins, 0 del, 3 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'convert'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}| ; {'type': ; 'place_name'| ; 'filler': ; 'berlin'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 136093, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'flood'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 137017, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'donna'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 131218, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'austin'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ; ; ; ; ================================================================================ 133276, %WER 52.94 [ 9 / 17, 0 ins, 8 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'noon'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; S ; = ; = ; D ; D ; D ; D ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; ; ; ; ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 130179, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'wacky'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ================================================================================ 131089, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'pause'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 133043, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'katy ; perry'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'katy ; perry'}]} ================================================================================ 136461, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; [{'type': ; 'change_amount'| ; 'filler': ; 'twenty ; percent'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; []} ; ; ; ; ================================================================================ 131988, %WER 27.78 [ 5 / 18, 0 ins, 4 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'monday'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}| ; {'type': ; 'time'| ; 'filler': ; 'six ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = ; S {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'monday'}| ; {'type': ; ; ; ; ; 'time'| ; 'filler': ; 'six ; pm'}]} ================================================================================ 131124, %WER 80.00 [ 8 / 10, 3 ins, 0 del, 5 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'rock ; sand'}]} ; ; ; = ; S ; = ; S ; = ; = ; S ; = ; S ; S ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rock'}| ; {'type': ; 'music_genre'| ; 'filler': ; 'rock'}]} ================================================================================ 132974, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; []} ================================================================================ 140010, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 135826, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 139403, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} ================================================================================ 128804, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 131060, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john ; doe'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john'}]} ; ================================================================================ 128985, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 133979, %WER 75.00 [ 12 / 16, 0 ins, 10 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'audiobook_name'| ; 'filler': ; 'be ; more ; chill'}| ; {'type': ; 'audiobook_author'| ; 'filler': ; 'ned ; vizzini'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ================================================================================ 130022, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} ================================================================================ 133335, %WER 54.55 [ 6 / 11, 0 ins, 2 del, 4 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'panama ; city ; mall'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'canada'}]} ; ; ================================================================================ 138391, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} ================================================================================ 137261, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 140362, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138819, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'ingredient'| ; 'filler': ; 'butter'}]} = ; = ; = ; = ; = ; = ; S ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'butter'}]} ================================================================================ 135286, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'pink'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; []} ; ; ; ================================================================================ 133462, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ================================================================================ 141235, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'stores'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 140871, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'saturday'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ; ; ; ================================================================================ 135391, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138237, %WER 61.54 [ 8 / 13, 0 ins, 7 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'every ; time ; i ; see ; you'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 141394, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}]} ================================================================================ 136207, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 129305, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'shibaru ; sushi'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 132794, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; []} ================================================================================ 139562, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} ================================================================================ 140863, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 129756, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'chess'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} ================================================================================ 129083, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; []} ================================================================================ 134802, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 130535, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 130937, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "tomorrow's"}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 136309, %WER 29.41 [ 5 / 17, 0 ins, 4 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'snow'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'noon'}]} = ; S ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'noon'}]} ================================================================================ 134898, %WER 50.00 [ 5 / 10, 3 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'dinky ; donuts'}]} ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; I ; I ; I {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'din"}| ; {'type': ; 'currency_name'| ; 'filler': ; 'dollars'}]} ================================================================================ 130846, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'addcontact'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'addcontact'| ; 'entities': ; []} ================================================================================ 140327, %WER 40.91 [ 9 / 22, 9 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'person'| ; 'filler': ; 'john'}| ; {'type': ; 'time'| ; 'filler': ; 'two ; pm'}| ; {'type': ; 'date'| ; 'filler': ; ; ; ; ; ; ; ; ; ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; I ; I ; I ; I ; I ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'person'| ; 'filler': ; 'john'}| ; {'type': ; 'time'| ; 'filler': ; 'two ; pm'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'two ; pm'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 134984, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131479, %WER 40.00 [ 4 / 10, 0 ins, 1 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'living ; room'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'blue'}]} ; ================================================================================ 138419, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 129604, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'wife'}]} ================================================================================ 137099, %WER 55.56 [ 10 / 18, 1 ins, 4 del, 5 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'pick ; up ; my ; dry ; cleaning'}| ; {'type': ; 'time'| ; 'filler': ; 'eight ; pm'}]} ; = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; D ; D ; D ; = ; S ; = ; S ; S ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; "tonight's"}| ; ; ; ; ; {'type': ; 'event_name'| ; 'filler': ; 'pick ; up ; kids'}]} ================================================================================ 140104, %WER 8.33 [ 1 / 12, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'rest ; of ; the ; year'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'rest ; of ; the ; year'}]} ================================================================================ 135458, %WER 50.00 [ 5 / 10, 0 ins, 1 del, 4 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'bbc ; world'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'heaven'}]} ; ================================================================================ 138694, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'cab'}| ; {'type': ; 'place_name'| ; 'filler': ; 'airport'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'cab'}| ; {'type': ; 'place_name'| ; 'filler': ; 'airport'}]} ================================================================================ 132791, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; []} ================================================================================ 133344, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 140885, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137628, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john'}]} ================================================================================ 130424, %WER 10.53 [ 2 / 19, 0 ins, 1 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'tal ; meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'twenty ; first'}| ; {'type': ; 'time'| ; 'filler': ; 'seven'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; ; {'type': ; 'date'| ; 'filler': ; 'twenty ; first'}| ; {'type': ; 'time'| ; 'filler': ; 'seven'}]} ================================================================================ 131708, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 137249, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'dad'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 138706, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'apple'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'apple'}]} ================================================================================ 140776, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; []} ================================================================================ 131086, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'my ; soundtrack'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ================================================================================ 136667, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'velocity'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'velocity'}]} ================================================================================ 132284, %WER 77.78 [ 7 / 9, 5 ins, 0 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'afternoon'}]} ; ; ; ; ; = ; = ; = ; = ; = ; = ; S ; = ; S ; I ; I ; I ; I ; I {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; afternoon'}]} ================================================================================ 134668, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 136755, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'addcontact'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 137469, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rock'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rock'}]} ================================================================================ 135420, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133968, %WER 33.33 [ 5 / 15, 0 ins, 1 del, 4 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'time'| ; 'filler': ; 'three ; to ; five'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'person'| ; 'filler': ; 'brad ; pitt'}]} ; ================================================================================ 140835, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ================================================================================ 135355, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 128638, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rap'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rap'}]} ================================================================================ 140453, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} ================================================================================ 130306, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 134251, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'shops'}]} ================================================================================ 135813, %WER 54.55 [ 6 / 11, 0 ins, 5 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'i ; heart ; radio'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ; ; ; ; ; ================================================================================ 134085, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131525, %WER 66.67 [ 6 / 9, 4 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; I ; I ; I ; I ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 140135, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'new ; york ; times'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'new ; york ; times'}]} ================================================================================ 133101, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'berlin'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 140814, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140910, %WER 55.56 [ 5 / 9, 1 ins, 0 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'audiobook_name'| ; 'filler': ; 'tarzan'}]} ; = ; S ; = ; S ; = ; = ; S ; = ; S ; I {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'audio ; book'}]} ================================================================================ 135603, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 140674, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ================================================================================ 136737, %WER 7.14 [ 1 / 14, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'person'| ; 'filler': ; 'george ; adams'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'person'| ; 'filler': ; 'george ; clooney'}]} ================================================================================ 137160, %WER 66.67 [ 6 / 9, 4 ins, 0 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; S ; = ; S ; = ; = ; I ; I ; I ; I ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'pizza'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 140521, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} ================================================================================ 141068, %WER 69.57 [ 16 / 23, 8 ins, 0 del, 8 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum ; cleaner'}| ; ; ; ; {'type': ; 'time'| ; 'filler': ; 'ten'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}| ; ; ; ; ; {'type': ; 'general_frequency'| ; 'filler': ; 'everyday'}]} ; = ; S ; = ; S ; = ; = ; S ; = ; S ; S ; I ; I ; I ; = ; = ; = ; = ; = ; = ; = ; S ; S ; I ; I ; I ; I ; = ; = ; = ; S ; I {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'ten'}| ; {'type': ; 'time'| ; 'filler': ; 'ten'}| ; {'type': ; 'time'| ; 'filler': ; 'ten'}| ; {'type': ; 'time'| ; 'filler': ; 'ten'}| ; {'type': ; 'time'| ; 'filler': ; 'ten ; pm'}| ; {'type': ; 'general_frequency'| ; 'filler': ; 'every ; day'}]} ================================================================================ 133570, %WER 64.29 [ 9 / 14, 0 ins, 8 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'jump'}| ; {'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; podcast'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 139561, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} ================================================================================ 128731, %WER 28.57 [ 4 / 14, 0 ins, 0 del, 4 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "jessica's"}| ; {'type': ; 'date'| ; 'filler': ; 'april ; twelfth'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurant'}| ; {'type': ; 'date'| ; 'filler': ; 'april ; twelfth'}]} ================================================================================ 130265, %WER 60.00 [ 6 / 10, 3 ins, 0 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; Friday'}]} ; ; ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}]} ================================================================================ 132575, %WER 78.57 [ 11 / 14, 0 ins, 8 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'keep ; reading'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 129879, %WER 33.33 [ 5 / 15, 0 ins, 2 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'put ; on'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'the ; giver'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; = ; S ; = ; S ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'pause'}| ; ; {'type': ; 'player_setting'| ; 'filler': ; 'continue'}]} ; ================================================================================ 139845, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 135398, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129403, %WER 35.71 [ 5 / 14, 0 ins, 0 del, 5 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'the ; twenty ; third ; of ; this ; month'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; S ; S ; S ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'yesterday'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; month'}]} ================================================================================ 134018, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'before'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 132163, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 130781, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 132479, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 135642, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'public ; library'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ================================================================================ 129631, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 139587, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 138774, %WER 28.57 [ 4 / 14, 0 ins, 0 del, 4 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'convert'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'time_zone'| ; 'filler': ; 'pacific'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'seven ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 136522, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 129740, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'business'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'business'}]} ================================================================================ 131528, %WER 15.38 [ 2 / 13, 0 ins, 0 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}| ; {'type': ; 'place_name'| ; 'filler': ; 'berlin'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} ================================================================================ 138793, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'steph ; curry'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 130271, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 140358, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; S ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'sunscreen'}]} ================================================================================ 140451, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} ================================================================================ 136710, %WER 14.29 [ 2 / 14, 0 ins, 0 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'Thursday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} = ; S ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'thursday'}| ; {'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} ================================================================================ 138399, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'credit ; card'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'cricket'}]} ; ================================================================================ 135833, %WER 54.55 [ 6 / 11, 0 ins, 1 del, 5 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_name'| ; 'filler': ; 'philadelphia ; eagles ; content'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; S ; D {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'donald ; trump'}]} ; ================================================================================ 138300, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 132903, %WER 63.64 [ 7 / 11, 3 ins, 0 del, 4 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'email_address'| ; 'filler': ; 'joseph@gmail ; dot ; com'}]} ; ; ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; S ; I ; I ; I {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'joe'}| ; {'type': ; 'media_type'| ; 'filler': ; 'la ; times'}]} ================================================================================ 133671, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'sloth'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ================================================================================ 139577, %WER 72.22 [ 13 / 18, 0 ins, 12 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'relation'| ; 'filler': ; 'my ; doctor'}| ; {'type': ; 'date'| ; 'filler': ; 'saturday'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ; ; ================================================================================ 138630, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'london'}]} = ; S ; = ; S ; = ; = ; = ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}]} ================================================================================ 137533, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ================================================================================ 140826, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ================================================================================ 130449, %WER 38.89 [ 7 / 18, 0 ins, 4 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'april ; twenty'}| ; {'type': ; 'relation'| ; 'filler': ; "bro's"}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'every ; tuesday'}| ; {'type': ; ; ; ; ; 'event_name'| ; 'filler': ; 'birthday'}]} ================================================================================ 137608, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 137046, %WER 75.00 [ 9 / 12, 0 ins, 6 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'china ; on ; the ; go'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ================================================================================ 134223, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'beijing'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 139314, %WER 30.77 [ 4 / 13, 1 ins, 0 del, 3 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john'}| ; ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; S ; = ; S ; = ; = ; = ; = ; S ; I ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'convert'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "donald ; trump's"}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 135880, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 134846, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 135830, %WER 72.73 [ 8 / 11, 0 ins, 5 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_name'| ; 'filler': ; 'philadelphia ; eagles ; content'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ; ================================================================================ 136314, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}]} = ; S ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 135600, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ================================================================================ 138492, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 135847, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; []} ================================================================================ 133461, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 133203, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'coffee ; pot'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ; ; ; ; ================================================================================ 131563, %WER 83.33 [ 5 / 6, 4 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'love ; playlist'}]} ================================================================================ 138549, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 139545, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 141561, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funny'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} ; ; ; ================================================================================ 136321, %WER 78.57 [ 11 / 14, 0 ins, 8 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'us ; dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'canada'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 139819, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'transport'| ; 'action': ; 'taxi'| ; 'entities': ; [{'type': ; 'transport_agency'| ; 'filler': ; 'uber'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 139872, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}]} ================================================================================ 132990, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'paradise'}| ; {'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; S {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'order_type'| ; 'filler': ; 'delivery'}]} ================================================================================ 129590, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum ; cleaner'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} ; ================================================================================ 139447, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ================================================================================ 136276, %WER 40.00 [ 4 / 10, 0 ins, 0 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'mariah ; carey'}]} = ; S ; = ; S ; = ; = ; = ; = ; S ; S {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'mary ; s.'}]} ================================================================================ 129787, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 139927, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 134529, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 130561, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; "bob's ; news"}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; "bob's ; news"}]} ================================================================================ 136814, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'meatballs'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'cookies'}]} ================================================================================ 138998, %WER 35.71 [ 5 / 14, 0 ins, 4 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; Friday'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'afternoon'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; afternoon'}]} ; ; ; ; ================================================================================ 132004, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ; ; ; ================================================================================ 129644, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'downtown'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; []} ; ; ; ================================================================================ 132637, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'seven ; am'}]} ================================================================================ 140495, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'huffington ; post'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} ; ================================================================================ 139465, %WER 68.75 [ 11 / 16, 0 ins, 10 del, 1 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'dress ; shows'}| ; {'type': ; 'place_name'| ; 'filler': ; 'within ; one ; mile'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ================================================================================ 129030, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ================================================================================ 130748, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 138218, %WER 72.73 [ 8 / 11, 0 ins, 5 del, 3 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; [{'type': ; 'change_amount'| ; 'filler': ; 'by ; fifty ; percent'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ; ; ; ; ; ================================================================================ 140865, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 134742, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'miami'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 140808, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140262, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 141591, %WER 15.38 [ 2 / 13, 1 ins, 0 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'sacremento'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} ================================================================================ 137370, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'coffee_type'| ; 'filler': ; 'creamy'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ; ; ; ================================================================================ 139166, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'television ; circuit'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 141452, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 141290, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ================================================================================ 130451, %WER 6.67 [ 1 / 15, 0 ins, 1 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'friday'}| ; {'type': ; 'time'| ; 'filler': ; 'six ; thirty ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'friday'}| ; {'type': ; 'time'| ; 'filler': ; 'six ; ; am'}]} ================================================================================ 135145, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'music'| ; 'action': ; 'settings'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'skip'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ================================================================================ 137507, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'email_folder'| ; 'filler': ; 'inbox'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'email_folder'| ; 'filler': ; 'inbox'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 131236, %WER 54.55 [ 6 / 11, 0 ins, 5 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; podcast ; episode'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ; ; ================================================================================ 130434, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}]} ================================================================================ 128728, %WER 21.43 [ 3 / 14, 0 ins, 0 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "jessica's"}| ; {'type': ; 'date'| ; 'filler': ; 'april ; twelfth'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; = ; = ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday'}| ; {'type': ; 'date'| ; 'filler': ; 'april ; first'}]} ================================================================================ 138724, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 131325, %WER 44.44 [ 4 / 9, 1 ins, 0 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'nineteenth'}]} ; = ; = ; = ; S ; = ; = ; S ; = ; S ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'nine ; am'}]} ================================================================================ 131607, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'theaters'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 138360, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133488, %WER 72.73 [ 8 / 11, 0 ins, 5 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'local ; current ; events'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ; ================================================================================ 130193, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 131248, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'earth'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 138855, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum ; cleaner'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'room'}]} ; ================================================================================ 140753, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 136325, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 132980, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'lamps'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ; ; ; ================================================================================ 139388, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ================================================================================ 133129, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}]} ================================================================================ 137456, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138900, %WER 10.00 [ 1 / 10, 0 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'ten ; day'}]} = ; = ; = ; = ; = ; = ; S ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'ten ; day'}]} ================================================================================ 132040, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 140972, %WER 40.00 [ 6 / 15, 0 ins, 6 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'five ; star ; hotels'}| ; {'type': ; 'place_name'| ; 'filler': ; 'paris'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; ; ; ; ; ; ; 'place_name'| ; 'filler': ; 'paris'}]} ================================================================================ 133305, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 132631, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 129110, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 134704, %WER 33.33 [ 5 / 15, 1 ins, 0 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'go ; backward'}| ; {'type': ; 'time'| ; 'filler': ; 'thirty ; seconds'}]} ; = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; I {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'go ; backward'}| ; {'type': ; 'date'| ; 'filler': ; 'the ; thirty ; second'}]} ================================================================================ 136732, %WER 14.29 [ 2 / 14, 0 ins, 1 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'person'| ; 'filler': ; 'george ; adams'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'person'| ; 'filler': ; 'george'}]} ; ================================================================================ 131664, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_other'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 140209, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'after ; four'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'after ; four'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 130593, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 133387, %WER 73.33 [ 11 / 15, 0 ins, 9 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'keep ; playing'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'secret ; garden'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ================================================================================ 133896, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}]} = ; S ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'twitter'}]} ================================================================================ 129883, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'thirty ; minutes'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'saturday'}]} ; ================================================================================ 133374, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 131317, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'mango'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'alarm'}]} ================================================================================ 128777, %WER 46.15 [ 6 / 13, 0 ins, 4 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'haircut'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 130559, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; "bob's ; news"}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; "bob's ; news"}]} ================================================================================ 139188, %WER 150.00 [ 9 / 6, 8 ins, 0 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ; ; ; ; ; ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I ; I ; I ; I ; I {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'ten ; am'}| ; {'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} ================================================================================ 133279, %WER 58.82 [ 10 / 17, 0 ins, 8 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'noon'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; ; ; ; ; ; ; ; ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 135454, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'bbc ; world'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 134919, %WER 0.00 [ 0 / 17, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'six'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'six'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ================================================================================ 128949, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'monday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'monday'}]} ================================================================================ 137396, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'leo'}]} ================================================================================ 136979, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 136935, %WER 33.33 [ 5 / 15, 1 ins, 2 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'check ; the ; stew'}| ; {'type': ; 'time'| ; 'filler': ; 'six'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; = ; = ; = ; S ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'dan'}| ; ; ; {'type': ; 'time'| ; 'filler': ; 'six ; am'}]} ================================================================================ 132899, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'email_address'| ; 'filler': ; 'joseph@gmail ; dot ; com'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'email_address'| ; 'filler': ; 'joseph@gmail ; dot ; com'}]} ================================================================================ 140573, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'dollar'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'dollar'}]} ================================================================================ 131537, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'audiobook_name'| ; 'filler': ; 'twilight'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ================================================================================ 134894, %WER 40.00 [ 4 / 10, 4 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'time'| ; 'filler': ; 'eight ; pm'}]} = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'Monday'}| ; {'type': ; 'time'| ; 'filler': ; 'eight ; pm'}]} ================================================================================ 138472, %WER 68.75 [ 11 / 16, 0 ins, 10 del, 1 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'honey ; mustard ; wing ; combo'}| ; {'type': ; 'drink_type'| ; 'filler': ; 'sprite'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ================================================================================ 132991, %WER 30.77 [ 4 / 13, 0 ins, 4 del, 0 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'paradise'}| ; {'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'order_type'| ; 'filler': ; 'takeaway'}]} ================================================================================ 140770, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'red'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'blue'}]} ================================================================================ 130155, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; "india's"}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 130470, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 135770, %WER 42.86 [ 6 / 14, 0 ins, 5 del, 1 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'video'}| ; {'type': ; 'food_type'| ; 'filler': ; 'fried ; chicken'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; S ; D {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; ; ; ; ; 'food_type'| ; 'filler': ; 'vegetables'}]} ; ================================================================================ 131556, %WER 27.27 [ 3 / 11, 0 ins, 2 del, 1 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'chicken ; noodle ; soup'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'home'}]} ; ; ================================================================================ 139680, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'ed ; sheeran'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 129267, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'china'}]} = ; = ; = ; = ; = ; = ; S ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'china'}]} ================================================================================ 138560, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 139507, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 129254, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ================================================================================ 140996, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139084, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 136459, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; [{'type': ; 'change_amount'| ; 'filler': ; 'twenty ; percent'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 140991, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 134655, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131259, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurant'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurant'}]} ================================================================================ 137585, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 134492, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 129943, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'david ; bowie'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ================================================================================ 139704, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 137619, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 134053, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 133267, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'nine ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'nine ; am'}]} ================================================================================ 129726, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'itunes ; library'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ================================================================================ 130363, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134598, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'billy ; joel'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ================================================================================ 140914, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'audiobook_name'| ; 'filler': ; 'tarzan'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; []} ; ; ; ================================================================================ 136471, %WER 33.33 [ 6 / 18, 4 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'person'| ; 'filler': ; 'joanna'}| ; {'type': ; 'date'| ; 'filler': ; 'Saturday'}| ; {'type': ; 'time'| ; 'filler': ; 'four ; pm'}]} = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; = ; = ; S ; = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'person'| ; 'filler': ; 'joanne'}| ; {'type': ; 'date'| ; 'filler': ; 'saturday'}| ; {'type': ; 'time'| ; 'filler': ; 'four ; pm'}]} ================================================================================ 129589, %WER 50.00 [ 5 / 10, 0 ins, 1 del, 4 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum ; cleaner'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'repeat'}]} ; ================================================================================ 136149, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'vacuum'}]} ================================================================================ 135514, %WER 60.00 [ 6 / 10, 0 ins, 4 del, 2 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'disney ; land'}]} = ; S ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 141371, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; pm'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; pm'}]} ================================================================================ 130388, %WER 83.33 [ 15 / 18, 0 ins, 12 del, 3 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'yesterday'}| ; {'type': ; 'time'| ; 'filler': ; 'noontime'}| ; {'type': ; 'place_name'| ; 'filler': ; 'times ; square'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ; ; ; ================================================================================ 129991, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 140788, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 137418, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'every ; monday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'every ; monday'}]} ================================================================================ 137648, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 137054, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 139589, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 138875, %WER 44.44 [ 4 / 9, 4 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'timeofday'| ; 'filler': ; 'afternoon'}]} = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'thursday'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'afternoon'}]} ================================================================================ 130063, %WER 40.00 [ 4 / 10, 4 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'general_frequency'| ; 'filler': ; 'every ; sunday'}]} = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'general_frequency'| ; 'filler': ; 'every ; sunday'}]} ================================================================================ 130010, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; thirty ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; thirty ; am'}]} ================================================================================ 131516, %WER 77.78 [ 7 / 9, 5 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; S ; = ; = ; I ; I ; I ; I ; I ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'sunscreen ; lotion'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 141134, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'raincoat'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 132570, %WER 35.71 [ 5 / 14, 0 ins, 5 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'keep ; reading'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'media_type'| ; 'filler': ; 'audiobook'}]} ================================================================================ 133530, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 129897, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ; ; ; = ; = ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'pop'}]} ================================================================================ 136264, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'Friday'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'friday'}]} ================================================================================ 139255, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137036, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'train ; wreck'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'trump'}]} ; ================================================================================ 129064, %WER 40.00 [ 8 / 20, 0 ins, 6 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'feb ; four'}| ; {'type': ; 'place_name'| ; 'filler': ; "king's ; park"}| ; {'type': ; 'time'| ; 'filler': ; 'two ; pm'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; = ; D ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'party'}| ; ; {'type': ; ; ; ; ; ; 'time'| ; 'filler': ; 'two ; pm'}]} ================================================================================ 130035, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'eight ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'eight ; am'}]} ================================================================================ 132179, %WER 55.56 [ 5 / 9, 1 ins, 0 del, 4 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funny'}]} ; = ; S ; = ; S ; = ; = ; S ; = ; S ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'michael ; jackson'}]} ================================================================================ 135659, %WER 0.00 [ 0 / 17, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'friend'}| ; {'type': ; 'person'| ; 'filler': ; 'mike'}| ; {'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'friend'}| ; {'type': ; 'person'| ; 'filler': ; 'mike'}| ; {'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} ================================================================================ 131307, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'amazon'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'amazon'}]} ================================================================================ 139178, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointments'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'electronic'}]} ================================================================================ 133071, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 140625, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'australia'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'moscow'}]} ================================================================================ 141384, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}]} ================================================================================ 141559, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funny'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funny'}]} ================================================================================ 136054, %WER 27.78 [ 5 / 18, 0 ins, 5 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_descriptor'| ; 'filler': ; 'first ; class'}| ; {'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'miami'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'miami'}]} ================================================================================ 136855, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 141055, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 138442, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 131450, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 135155, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_on'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'smart ; plug'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'wemo_on'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'smart ; plug'}]} ================================================================================ 135036, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 134995, %WER 14.29 [ 2 / 14, 0 ins, 0 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'umbrella'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = ; S {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; weekend'}]} ================================================================================ 138664, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; []} ; ; ; ================================================================================ 140506, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 134357, %WER 40.00 [ 4 / 10, 0 ins, 1 del, 3 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'julie ; smith'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'yesterday'}]} ; ================================================================================ 134636, %WER 0.00 [ 0 / 18, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'relation'| ; 'filler': ; 'boss'}| ; {'type': ; 'time'| ; 'filler': ; 'one ; hour'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'relation'| ; 'filler': ; 'boss'}| ; {'type': ; 'time'| ; 'filler': ; 'one ; hour'}]} ================================================================================ 129543, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 132057, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rap'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rap'}]} ================================================================================ 140690, %WER 44.44 [ 8 / 18, 0 ins, 5 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'start ; chapter ; five'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'physics ; for ; future ; presidents'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'start'}| ; ; ; {'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} ; ; ; ================================================================================ 133763, %WER 54.55 [ 6 / 11, 0 ins, 5 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'order ; the ; turkey'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; ; ================================================================================ 134040, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'favorite ; albums'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ; ; ; ; ================================================================================ 132920, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 131237, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john ; smith'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john ; smith'}]} ================================================================================ 139333, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 132976, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'lamps'}]} = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'kitchen'}]} ================================================================================ 137439, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 136911, %WER 20.00 [ 2 / 10, 0 ins, 0 del, 2 sub ] {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'bazaar ; highway'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; S {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'the ; pacific'}]} ================================================================================ 135518, %WER 15.38 [ 2 / 13, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'yesterday'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'yesterday'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 134016, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'before'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ================================================================================ 130788, %WER 60.00 [ 15 / 25, 0 ins, 12 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'monday ; the ; twentieth'}| ; {'type': ; 'event_name'| ; 'filler': ; 'conversation'}| ; {'type': ; 'person'| ; 'filler': ; 'greg'}| ; {'type': ; 'event_name'| ; 'filler': ; 'our ; weekend ; trip'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'monday'}| ; ; ; {'type': ; 'time'| ; 'filler': ; 'weekend'}]} ; ; ; ; ; ; ; ; ; ; ================================================================================ 140541, %WER 26.67 [ 4 / 15, 0 ins, 2 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'best ; tourist ; places'}| ; {'type': ; 'place_name'| ; 'filler': ; 'america'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; D ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurant'}| ; ; ; {'type': ; 'place_name'| ; 'filler': ; 'america'}]} ================================================================================ 136843, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'raining'}| ; {'type': ; 'date'| ; 'filler': ; 'thursday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'raining'}| ; {'type': ; 'date'| ; 'filler': ; 'thursday'}]} ================================================================================ 131139, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 132377, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 136969, %WER 66.67 [ 10 / 15, 0 ins, 9 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'buy ; groceries'}| ; {'type': ; 'general_frequency'| ; 'filler': ; 'every ; friday'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ================================================================================ 135238, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139349, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'music'| ; 'action': ; 'settings'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'repeat'}]} ================================================================================ 130219, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'sweater'}]} ================================================================================ 133194, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 133614, %WER 21.43 [ 3 / 14, 1 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'every ; day'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'noon'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'every ; day'}| ; {'type': ; 'time'| ; 'filler': ; 'nine ; am'}]} ================================================================================ 129466, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139803, %WER 69.23 [ 9 / 13, 0 ins, 7 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'lunch'}| ; {'type': ; 'person'| ; 'filler': ; 'mike'}]} = ; S ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 139229, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rap'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 138120, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 130408, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'fifth'}]} = ; S ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ================================================================================ 133161, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ================================================================================ 135069, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john'}]} ================================================================================ 134616, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'dance ; class'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ; ================================================================================ 137658, %WER 14.29 [ 2 / 14, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; "dentist's ; appointment"}| ; {'type': ; 'date'| ; 'filler': ; "today's"}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'dentist ; appointment'}| ; {'type': ; 'date'| ; 'filler': ; "today's"}]} ================================================================================ 133336, %WER 72.73 [ 8 / 11, 0 ins, 5 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'panama ; city ; mall'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ; ================================================================================ 138074, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_on'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'wemo ; plug ; socket'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'wemo_on'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'wemo ; plug ; socket'}]} ================================================================================ 141420, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 138452, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 138863, %WER 76.92 [ 10 / 13, 2 ins, 0 del, 8 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'ninety ; one ; point ; three ; fm'}]} ; ; = ; S ; = ; S ; = ; = ; S ; = ; S ; S ; S ; S ; S ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'nine ; am'}| ; {'type': ; 'time'| ; 'filler': ; 'ten ; am'}]} ================================================================================ 134286, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "leon's"}| ; {'type': ; 'personal_info'| ; 'filler': ; 'email'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "leon's"}| ; {'type': ; 'personal_info'| ; 'filler': ; 'email'}]} ================================================================================ 135097, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'deliver'}]} = ; S ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 129258, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ================================================================================ 138135, %WER 22.22 [ 2 / 9, 1 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'everest'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'mt ; everest'}]} ================================================================================ 137731, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'friday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'friday'}]} ================================================================================ 134408, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} ================================================================================ 134908, %WER 70.00 [ 7 / 10, 4 ins, 0 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'lunch ; meeting'}]} ; ; ; ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; I ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'one ; hour'}| ; {'type': ; 'meal_type'| ; 'filler': ; 'lunch'}]} ================================================================================ 132469, %WER 36.36 [ 4 / 11, 0 ins, 2 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'audiobook_name'| ; 'filler': ; 'history ; of ; rome'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'shuffle'}]} ; ; ================================================================================ 131357, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'joes ; book'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'joes ; book'}]} ================================================================================ 132389, %WER 31.25 [ 5 / 16, 0 ins, 5 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'move ; on'}| ; {'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; podcast ; episode'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'podcast_descriptor'| ; 'filler': ; 'next ; podcast ; episode'}]} ================================================================================ 137060, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ================================================================================ 135054, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'coffee_type'| ; 'filler': ; 'computer'}]} ================================================================================ 130360, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131796, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; episode'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; episode'}]} ================================================================================ 135939, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 141348, %WER 47.37 [ 9 / 19, 0 ins, 5 del, 4 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'annual'}| ; {'type': ; 'event_name'| ; 'filler': ; 'function'}| ; {'type': ; 'date'| ; 'filler': ; 'twenty ; sixth ; march'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; S ; = ; = ; = ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'event_name'| ; 'filler': ; 'anniversary'}| ; {'type': ; 'date'| ; 'filler': ; 'twenty ; sixth'}]} ; ================================================================================ 136907, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'bazaar ; highway'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'transport'| ; 'action': ; 'traffic'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'biloxi'}]} ; ================================================================================ 132023, %WER 66.67 [ 10 / 15, 0 ins, 9 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'giants'}| ; {'type': ; 'artist_name'| ; 'filler': ; 'banks ; and ; steelz'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ================================================================================ 140699, %WER 64.29 [ 9 / 14, 0 ins, 8 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'podcasts'}| ; {'type': ; 'podcast_descriptor'| ; 'filler': ; "men's ; issues"}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 134723, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 132042, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 129937, %WER 60.00 [ 6 / 10, 4 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'david ; bowie'}]} ; ; ; ; = ; = ; = ; = ; = ; = ; S ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'david ; bowie'}| ; {'type': ; 'order_type'| ; 'filler': ; 'delivery'}]} ================================================================================ 130673, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 133018, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 130246, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 138096, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'noodles'}| ; {'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'nood'}| ; {'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} ================================================================================ 132422, %WER 19.23 [ 5 / 26, 0 ins, 4 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'pick ; up'}| ; {'type': ; 'person'| ; 'filler': ; 'linda'}| ; {'type': ; 'time'| ; 'filler': ; 'five'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'evening'}| ; {'type': ; 'date'| ; 'filler': ; 'seventh'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'pick ; up'}| ; {'type': ; ; ; ; ; 'time'| ; 'filler': ; 'five'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'evening'}| ; {'type': ; 'date'| ; 'filler': ; 'seven'}]} ================================================================================ 137071, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; []} ================================================================================ 136559, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; []} ================================================================================ 130776, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 135827, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 137140, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 137332, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 137744, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 137916, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133472, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 136460, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; [{'type': ; 'change_amount'| ; 'filler': ; 'twenty ; percent'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ================================================================================ 141406, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}]} ================================================================================ 131002, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'email_address'| ; 'filler': ; 'john@gmail ; dot ; com'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'email_address'| ; 'filler': ; 'john@gmail ; dot ; com'}]} ================================================================================ 139283, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 136805, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 128808, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 137702, %WER 55.56 [ 5 / 9, 4 ins, 0 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}]} ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'afternoon'}]} ================================================================================ 135143, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 135439, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 136410, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}]} ================================================================================ 139499, %WER 13.33 [ 2 / 15, 0 ins, 1 del, 1 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'snow ; boots'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'this ; afternoon'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'snow'}| ; ; {'type': ; 'timeofday'| ; 'filler': ; 'this ; afternoon'}]} ================================================================================ 135168, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'next ; month'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'next ; month'}]} ================================================================================ 137899, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ================================================================================ 131289, %WER 50.00 [ 12 / 24, 0 ins, 10 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'band ; playing'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'tonight'}| ; {'type': ; 'time'| ; 'filler': ; 'at ; nine'}| ; {'type': ; 'place_name'| ; 'filler': ; 'jazz ; bar'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = ; = ; = ; = ; S ; S ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'timeofday'| ; 'filler': ; 'tonight'}| ; {'type': ; 'time'| ; 'filler': ; 'nine ; am'}]} ; ; ; ; ; ================================================================================ 140811, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131978, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ================================================================================ 139288, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 137709, %WER 77.78 [ 7 / 9, 5 ins, 0 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; "louie's"}]} ; ; ; ; ; = ; = ; = ; = ; = ; = ; S ; = ; S ; I ; I ; I ; I ; I {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeout'}| ; {'type': ; 'order_type'| ; 'filler': ; 'take ; out'}]} ================================================================================ 139210, %WER 52.94 [ 9 / 17, 0 ins, 8 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'cassy'}| ; {'type': ; 'relation'| ; 'filler': ; 'family'}| ; {'type': ; 'relation'| ; 'filler': ; 'friend'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; ; ; ; ; 'relation'| ; 'filler': ; 'family'}]} ; ; ; ; ================================================================================ 140849, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'boiling'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'audio'| ; 'action': ; 'volume_other'| ; 'entities': ; []} ; ; ; ================================================================================ 129243, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'amy'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'amy'}]} ================================================================================ 139399, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'red'}]} ================================================================================ 130483, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rock'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rock'}]} ================================================================================ 141566, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funny'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funny'}]} ================================================================================ 130810, %WER 55.56 [ 5 / 9, 1 ins, 0 del, 4 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'everyday'}]} ; = ; S ; = ; S ; = ; = ; S ; = ; S ; I {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'general_frequency'| ; 'filler': ; 'every ; day'}]} ================================================================================ 134087, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138448, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 130357, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'london'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}]} ================================================================================ 129925, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'floor'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ; ; ; ================================================================================ 138359, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'stop'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 134602, %WER 22.22 [ 4 / 18, 0 ins, 4 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'house'}| ; {'type': ; 'color_type'| ; 'filler': ; 'amber'}| ; {'type': ; 'time'| ; 'filler': ; 'six ; pm'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'house'}| ; {'type': ; ; ; ; ; 'time'| ; 'filler': ; 'six ; pm'}]} ================================================================================ 129092, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 129958, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 133123, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}]} ================================================================================ 132952, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 130290, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134837, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'house'}]} ================================================================================ 140966, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_on'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 132482, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ================================================================================ 138611, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'chinese'}]} ================================================================================ 141519, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 129191, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 137352, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'december ; thirteenth'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'december'}]} ; ================================================================================ 130991, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'pink'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'pizza'}]} ================================================================================ 135653, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'coffee ; machine'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'coffee ; machine'}]} ================================================================================ 137973, %WER 41.18 [ 7 / 17, 0 ins, 4 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'pizza'}| ; {'type': ; 'ingredient'| ; 'filler': ; 'sausage'}| ; {'type': ; 'business_name'| ; 'filler': ; "domino's"}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; S {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'pizza'}| ; {'type': ; ; ; ; ; 'business_name'| ; 'filler': ; 'dominos'}]} ================================================================================ 133255, %WER 47.06 [ 8 / 17, 0 ins, 3 del, 5 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'march ; eighteen'}| ; {'type': ; 'event_name'| ; 'filler': ; "appointment ; for ; pearl's ; birthday"}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'ten ; pm'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ; ; ; ================================================================================ 140277, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 134641, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'pay ; days'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'payday'}]} ; ================================================================================ 133635, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 137295, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; "international ; women's ; day"}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; "international ; women's ; day"}]} ================================================================================ 134760, %WER 44.44 [ 8 / 18, 0 ins, 8 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'fringe'}| ; {'type': ; 'place_name'| ; 'filler': ; 'edinburgh'}| ; {'type': ; 'date'| ; 'filler': ; 'next ; year'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; ; ; ; ; ; ; ; ; 'date'| ; 'filler': ; 'next ; year'}]} ================================================================================ 131309, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'michael ; jackson'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'michael ; jackson'}]} ================================================================================ 139584, %WER 33.33 [ 6 / 18, 0 ins, 5 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'relation'| ; 'filler': ; 'my ; doctor'}| ; {'type': ; 'date'| ; 'filler': ; 'saturday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'relation'| ; 'filler': ; 'doctor'}]} ; ; ; ; ; ================================================================================ 133785, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'mark'}]} ================================================================================ 140746, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 130730, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'jennifer ; lawrence'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'jennifer ; lawrence'}]} ================================================================================ 136671, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} ================================================================================ 137190, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 139666, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129026, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ================================================================================ 133650, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ================================================================================ 141233, %WER 40.00 [ 4 / 10, 0 ins, 1 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'parcheese ; game'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'app_name'| ; 'filler': ; 'park'}]} ; ================================================================================ 134074, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 132002, %WER 42.86 [ 6 / 14, 0 ins, 1 del, 5 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'us ; dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'pound'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D ; = ; S ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'cheese'}| ; ; {'type': ; 'date'| ; 'filler': ; 'yesterday'}]} ================================================================================ 133208, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'boss'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'boss'}]} ================================================================================ 132217, %WER 88.89 [ 8 / 9, 4 ins, 0 del, 4 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'comcastcom'}]} ; ; ; ; = ; S ; = ; S ; = ; = ; S ; = ; S ; I ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'relation'| ; 'filler': ; 'client'}]} ================================================================================ 140269, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'mark'}]} ================================================================================ 140706, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 140148, %WER 27.27 [ 3 / 11, 0 ins, 1 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_name'| ; 'filler': ; 'mike ; and ; mike'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_name'| ; 'filler': ; 'michael ; jackson'}]} ; ================================================================================ 139865, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'location'}]} = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ================================================================================ 139568, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'russia'}| ; {'type': ; 'place_name'| ; 'filler': ; 'alaska'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 135178, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'seth'}| ; {'type': ; 'personal_info'| ; 'filler': ; 'lives'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 130078, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ================================================================================ 132140, %WER 54.55 [ 6 / 11, 0 ins, 5 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'long ; black ; train'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ; ================================================================================ 133433, %WER 46.15 [ 6 / 13, 0 ins, 4 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'ten'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 131077, %WER 69.23 [ 9 / 13, 0 ins, 7 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'cinema'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 141035, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'wedding'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'wedding'}]} ================================================================================ 134151, %WER 20.00 [ 2 / 10, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'sixth ; street'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'sixth ; street'}]} ================================================================================ 132553, %WER 40.00 [ 6 / 15, 0 ins, 5 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; S ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 137576, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'academy ; awards'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} ; ================================================================================ 138066, %WER 28.57 [ 4 / 14, 0 ins, 0 del, 4 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'next ; weeks'}| ; {'type': ; 'place_name'| ; 'filler': ; 'california'}]} = ; S ; = ; = ; = ; = ; S ; = ; S ; S ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "next ; week's"}| ; {'type': ; 'place_name'| ; 'filler': ; 'california'}]} ================================================================================ 129255, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 139906, %WER 33.33 [ 5 / 15, 0 ins, 5 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'getting ; ready'}| ; {'type': ; 'time'| ; 'filler': ; 'five ; pm'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; ; 'time'| ; 'filler': ; 'five ; pm'}]} ================================================================================ 130688, %WER 40.00 [ 4 / 10, 0 ins, 1 del, 3 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'old ; music'}]} = ; S ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ; ================================================================================ 135491, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 133041, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'katy ; perry'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'katy ; perry'}]} ================================================================================ 136831, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} ================================================================================ 133230, %WER 33.33 [ 3 / 9, 1 ins, 0 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'bruce'}]} ; = ; = ; = ; S ; = ; = ; = ; = ; S ; I {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'bruce ; lee'}]} ================================================================================ 136881, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 133345, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}]} ================================================================================ 133800, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137699, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 137072, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ================================================================================ 136440, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 137422, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'daughters'}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; "daughter's"}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} ================================================================================ 139667, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 132235, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'pink'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ================================================================================ 138380, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'todays'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "today's"}]} ================================================================================ 140646, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ================================================================================ 135707, %WER 100.00 [ 6 / 6, 5 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I ; I {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'the ; united ; states'}]} ================================================================================ 138562, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 135170, %WER 21.43 [ 3 / 14, 0 ins, 1 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'next ; month'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'noon'}]} ; ================================================================================ 137967, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 130653, %WER 0.00 [ 0 / 22, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}| ; {'type': ; 'person'| ; 'filler': ; "wyatt's"}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday ; party'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'mom'}| ; {'type': ; 'person'| ; 'filler': ; "wyatt's"}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday ; party'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}]} ================================================================================ 129722, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'coffee_type'| ; 'filler': ; 'without ; sweetener'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ; ; ; ; ================================================================================ 133449, %WER 77.78 [ 7 / 9, 5 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ; ; ; ; ; = ; = ; = ; S ; = ; = ; = ; = ; S ; I ; I ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'twenty ; third'}]} ================================================================================ 137502, %WER 28.57 [ 4 / 14, 1 ins, 1 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'us'}| ; ; {'type': ; 'currency_name'| ; 'filler': ; 'indian ; rupees'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; = ; = ; = ; S ; D {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'us ; dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'dollar'}]} ; ================================================================================ 141222, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 141288, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'blue'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'blue'}]} ================================================================================ 135576, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'rain'}]} ================================================================================ 130795, %WER 10.53 [ 2 / 19, 0 ins, 1 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'lunch'}| ; {'type': ; 'general_frequency'| ; 'filler': ; 'every ; day'}| ; {'type': ; 'time'| ; 'filler': ; 'twelve ; thirty'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'lunch'}| ; {'type': ; 'general_frequency'| ; 'filler': ; 'everyday'}| ; ; {'type': ; 'time'| ; 'filler': ; 'twelve ; thirty'}]} ================================================================================ 135898, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} ================================================================================ 130599, %WER 60.00 [ 6 / 10, 3 ins, 0 del, 3 sub ] {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'train ; station'}]} ; ; ; = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; I ; I ; I {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'world'}]} ================================================================================ 131238, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'john ; smith'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "john's"}]} ; ================================================================================ 137425, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'tonight'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'timeofday'| ; 'filler': ; 'tonight'}]} ================================================================================ 131687, %WER 150.00 [ 9 / 6, 7 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ; ; ; = ; S ; = ; = ; = ; S ; I ; I ; I ; I ; I ; I ; I {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'tonight'}]} ================================================================================ 129238, %WER 10.53 [ 2 / 19, 0 ins, 1 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'conference ; call'}| ; {'type': ; 'time'| ; 'filler': ; 'four ; pm'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'concerts'}| ; ; {'type': ; 'time'| ; 'filler': ; 'four ; pm'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 140315, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 130452, %WER 66.67 [ 10 / 15, 0 ins, 6 del, 4 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'supermarket'}| ; {'type': ; 'food_type'| ; 'filler': ; 'gluten ; free ; bread'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'mark'}]} ; ; ; ; ; ; ================================================================================ 141276, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} ================================================================================ 128930, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funniest'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funniest'}]} ================================================================================ 131785, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}]} ================================================================================ 129990, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'pink'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 140533, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 137836, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'iphone ; seven'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; []} ; ; ; ; ================================================================================ 141320, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 138983, %WER 42.86 [ 6 / 14, 0 ins, 5 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'audiobook_name'| ; 'filler': ; 'animal ; farm'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}]} ; ; ; ; ; ================================================================================ 135897, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} ================================================================================ 139697, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 140213, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'tic ; tac ; toe'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'tic ; tac ; toe'}]} ================================================================================ 130323, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 137561, %WER 20.00 [ 2 / 10, 0 ins, 0 del, 2 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'two ; hours'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'two ; hours'}]} ================================================================================ 128941, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 135811, %WER 30.77 [ 4 / 13, 4 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 137334, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 131355, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} ================================================================================ 131397, %WER 50.00 [ 5 / 10, 1 ins, 0 del, 4 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; year'}]} ; = ; S ; = ; = ; = ; = ; S ; = ; S ; S ; I {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'new ; york ; times'}]} ================================================================================ 128841, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'russia'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'russia'}]} ================================================================================ 136511, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 138427, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 135841, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} ================================================================================ 131891, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; "papa ; john's"}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} ; ================================================================================ 139208, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 137775, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; []} ================================================================================ 135695, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140954, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 128605, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 130959, %WER 0.00 [ 0 / 18, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'warm ; socks'}| ; {'type': ; 'weather_descriptor'| ; 'filler': ; 'winter'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'warm ; socks'}| ; {'type': ; 'weather_descriptor'| ; 'filler': ; 'winter'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ================================================================================ 136073, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'baseball'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'facebook'}]} ================================================================================ 128705, %WER 33.33 [ 3 / 9, 1 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'porch'}]} ; = ; = ; = ; = ; = ; = ; S ; = ; S ; I {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'porch ; light'}]} ================================================================================ 138436, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 133059, %WER 78.57 [ 11 / 14, 0 ins, 8 del, 3 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}| ; {'type': ; 'weather_descriptor'| ; 'filler': ; 'nice ; weather'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ================================================================================ 135905, %WER 53.85 [ 7 / 13, 1 ins, 0 del, 6 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; ; {'type': ; 'business_name'| ; 'filler': ; 'suqcom'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; I ; = ; S ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'retirement ; dinner'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 139876, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}]} ================================================================================ 139420, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} ================================================================================ 139741, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'boil'}| ; {'type': ; 'food_type'| ; 'filler': ; 'eggs'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'boil'}| ; {'type': ; 'food_type'| ; 'filler': ; 'eggs'}]} ================================================================================ 141139, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 140376, %WER 50.00 [ 5 / 10, 0 ins, 1 del, 4 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'color_type'| ; 'filler': ; 'red ; ish'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'warm'}]} ; ================================================================================ 129100, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 131601, %WER 46.15 [ 6 / 13, 1 ins, 0 del, 5 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'umbrella'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ; = ; S ; = ; = ; = ; = ; S ; = ; S ; = ; S ; = ; S ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'ten ; am'}]} ================================================================================ 141358, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'international'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'international'}]} ================================================================================ 129955, %WER 83.33 [ 5 / 6, 4 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'repeat ; event'}]} ================================================================================ 131679, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 131910, %WER 40.00 [ 4 / 10, 0 ins, 0 del, 4 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'sigur ; ros'}]} = ; S ; = ; S ; = ; = ; = ; = ; S ; S {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'michael ; jackson'}]} ================================================================================ 132281, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 134552, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'beijing'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'beijing'}]} ================================================================================ 133410, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'musical ; events'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; []} ; ; ; ; ================================================================================ 135480, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 133019, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129163, %WER 72.73 [ 8 / 11, 0 ins, 5 del, 3 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'half ; an ; hour'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ; ; ; ; ; ================================================================================ 136611, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'jazz'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rock'}]} ================================================================================ 135206, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; []} ================================================================================ 136729, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_genre'| ; 'filler': ; 'rap'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ================================================================================ 140933, %WER 21.43 [ 3 / 14, 0 ins, 0 del, 3 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'parade'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; weekend'}]} = ; S ; = ; S ; = ; = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'party'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; weekend'}]} ================================================================================ 139935, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134611, %WER 64.29 [ 9 / 14, 0 ins, 5 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'best ; friends'}| ; {'type': ; 'artist_name'| ; 'filler': ; 'yelawolf'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'red'}]} ; ; ; ; ; ================================================================================ 139492, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 135794, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'delivery'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ; ; ; ================================================================================ 133903, %WER 36.36 [ 4 / 11, 0 ins, 1 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'pritzker ; price ; winners'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_name'| ; 'filler': ; 'los ; angeles'}]} ; ================================================================================ 134945, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 138853, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} ================================================================================ 140048, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'hold'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ================================================================================ 136650, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; episode'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'next ; episode'}]} ================================================================================ 135893, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} ================================================================================ 139292, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140998, %WER 44.44 [ 4 / 9, 4 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'shopping'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 141370, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; pm'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; pm'}]} ================================================================================ 140125, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'naty'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 131973, %WER 46.15 [ 6 / 13, 0 ins, 4 del, 2 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'jacket'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'tonight'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'timeofday'| ; 'filler': ; 'tonight'}]} ================================================================================ 136387, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 130534, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; []} ================================================================================ 134108, %WER 50.00 [ 9 / 18, 0 ins, 9 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'ten ; am'}| ; {'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; D ; D ; D ; D ; D ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; ; ; ; ; ; 'event_name'| ; 'filler': ; 'meeting'}]} ================================================================================ 135967, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 138963, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'shakin ; bacon'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ================================================================================ 131579, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'good'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} ; ; ; ================================================================================ 135095, %WER 33.33 [ 3 / 9, 0 ins, 0 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'deliver'}]} = ; S ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 131761, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 133840, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'time'| ; 'filler': ; 'ten ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}| ; {'type': ; 'time'| ; 'filler': ; 'ten ; am'}]} ================================================================================ 132365, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'personal_info'| ; 'filler': ; 'number'}| ; {'type': ; 'person'| ; 'filler': ; 'jayesh'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'personal_info'| ; 'filler': ; 'number'}]} ; ; ; ; ================================================================================ 130145, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'time'| ; 'filler': ; 'nine ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'time'| ; 'filler': ; 'nine ; am'}]} ================================================================================ 138334, %WER 64.29 [ 9 / 14, 0 ins, 5 del, 4 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "mary's"}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday ; party'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'vegetables'}]} ; ; ; ; ; ================================================================================ 140794, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}]} ================================================================================ 135132, %WER 30.77 [ 4 / 13, 4 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'mike'}| ; {'type': ; ; ; ; ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; I ; I ; I ; I ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'mike'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} ================================================================================ 138001, %WER 83.33 [ 5 / 6, 4 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} ================================================================================ 138105, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 135532, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133084, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 134669, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 135665, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 133507, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; "mom's"}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'querycontact'| ; 'entities': ; []} ; ; ; ================================================================================ 136772, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'convert'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'uk'}| ; {'type': ; 'place_name'| ; 'filler': ; 'us'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'convert'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'uk'}| ; {'type': ; 'place_name'| ; 'filler': ; 'us'}]} ================================================================================ 132358, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 130872, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} ================================================================================ 139005, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; S ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 137282, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129435, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bedroom'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'room'}]} ================================================================================ 136346, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'hot'}]} ================================================================================ 136126, %WER 50.00 [ 5 / 10, 0 ins, 4 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'british ; pound'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; []} ; ; ; ; ================================================================================ 140116, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 128667, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'cars'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ================================================================================ 135873, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 134515, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 135722, %WER 46.67 [ 7 / 15, 0 ins, 6 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'supper'}| ; {'type': ; 'time'| ; 'filler': ; 'afternoon ; at ; five'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}]} ; ; ; ; ; ; ================================================================================ 131260, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurant'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurant'}]} ================================================================================ 129294, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'temperature'}| ; {'type': ; 'place_name'| ; 'filler': ; 'london'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 140783, %WER 0.00 [ 0 / 12, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'eighty ; two ; point ; four'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'eighty ; two ; point ; four'}]} ================================================================================ 137186, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'car ; payment'}| ; {'type': ; 'date'| ; 'filler': ; 'twelfth'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'car ; payment'}| ; {'type': ; 'date'| ; 'filler': ; 'twelfth'}]} ================================================================================ 129328, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lighton'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 140488, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'kansas'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'kansas'}]} ================================================================================ 132212, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'comcastcom'}]} = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'family'}]} ================================================================================ 137757, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'locations'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ; ; ; ================================================================================ 132009, %WER 66.67 [ 10 / 15, 0 ins, 6 del, 4 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'hayathis'}| ; {'type': ; 'event_name'| ; 'filler': ; 'daughter ; baby ; shower'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'reshuffle'}]} ; ; ; ; ; ; ================================================================================ 140673, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_up'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_down'| ; 'entities': ; []} ================================================================================ 133644, %WER 66.67 [ 14 / 21, 0 ins, 12 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bedroom'}| ; {'type': ; 'color_type'| ; 'filler': ; 'red'}| ; {'type': ; 'house_place'| ; 'filler': ; 'hall'}| ; {'type': ; 'color_type'| ; 'filler': ; 'normal'}]} = ; = ; = ; S ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'bedroom'}]} ; ; ; ; ; ; ; ; ; ; ; ; ================================================================================ 138420, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; []} ================================================================================ 132546, %WER 0.00 [ 0 / 15, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 140974, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 137124, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}| ; {'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 140133, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'sports'}]} ================================================================================ 128847, %WER 58.33 [ 7 / 12, 0 ins, 2 del, 5 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'movies'| ; 'entities': ; [{'type': ; 'movie_name'| ; 'filler': ; 'kung ; fu ; panda ; three'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; S ; D ; D {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'consumer ; service'}]} ; ; ================================================================================ 138491, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} ================================================================================ 133107, %WER 30.77 [ 4 / 13, 0 ins, 0 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'shuffle'}| ; {'type': ; 'artist_name'| ; 'filler': ; 'coldplay'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'music'| ; 'action': ; 'settings'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'shuffle'}| ; {'type': ; 'business_name'| ; 'filler': ; 'comcast'}]} ================================================================================ 128618, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131661, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; S ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 140054, %WER 60.00 [ 6 / 10, 0 ins, 4 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'purple ; haze'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ; ================================================================================ 136633, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ================================================================================ 140407, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'tuna'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 133270, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 134553, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'beijing'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'beijing'}]} ================================================================================ 137632, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'smart ; plug ; socket'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'wemo_off'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'smart ; plug ; socket'}]} ================================================================================ 133446, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; []} ================================================================================ 139725, %WER 40.00 [ 4 / 10, 0 ins, 1 del, 3 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; dos'}]} = ; S ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'martha'}]} ; ================================================================================ 129542, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightdim'| ; 'entities': ; []} ================================================================================ 138124, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'replay'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ================================================================================ 135335, %WER 20.00 [ 3 / 15, 0 ins, 1 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'to ; have ; tablets'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'noon'}]} = ; = ; = ; = ; = ; = ; S ; = ; = ; S ; D ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'to ; do'}| ; ; {'type': ; 'timeofday'| ; 'filler': ; 'noon'}]} ================================================================================ 132841, %WER 60.00 [ 6 / 10, 0 ins, 4 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'song_name'| ; 'filler': ; 'jingle ; bells'}]} = ; = ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ; ================================================================================ 130733, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}]} = ; S ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'world'}]} ================================================================================ 135298, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meetings'}]} = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meetings'}]} ================================================================================ 134926, %WER 29.41 [ 5 / 17, 0 ins, 3 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'six'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'morning'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; D ; D ; D {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}| ; {'type': ; 'time'| ; 'filler': ; 'six ; pm'}]} ; ; ; ================================================================================ 137316, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'twenty ; second'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'twenty ; second'}]} ================================================================================ 141143, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 135713, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 138243, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140085, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 130765, %WER 14.29 [ 2 / 14, 0 ins, 0 del, 2 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'dell ; service'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; S {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'amazon ; services'}]} ================================================================================ 133637, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'rihana'}]} = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'obama'}]} ================================================================================ 137982, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'audiobook_name'| ; 'filler': ; 'the ; notebook'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'audiobook'}]} ; ================================================================================ 138229, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 131023, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ================================================================================ 130718, %WER 70.00 [ 7 / 10, 0 ins, 4 del, 3 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'converse ; shoes'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ; ================================================================================ 130854, %WER 55.56 [ 5 / 9, 1 ins, 0 del, 4 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; "domino's"}]} ; = ; S ; = ; S ; = ; = ; S ; = ; S ; I {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'donald ; trump'}]} ================================================================================ 134202, %WER 23.08 [ 3 / 13, 0 ins, 0 del, 3 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'jason'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'tonight'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; S {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'jack'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 131886, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 141193, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 141377, %WER 31.58 [ 6 / 19, 0 ins, 1 del, 5 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'church ; services'}| ; {'type': ; 'date'| ; 'filler': ; 'sundays'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; = ; = ; = ; S ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}| ; ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'time'| ; 'filler': ; 'eleven ; am'}]} ================================================================================ 128909, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york ; city'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york ; city'}]} ================================================================================ 129180, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 135381, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 132079, %WER 27.27 [ 6 / 22, 0 ins, 4 del, 2 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'dundee'}| ; {'type': ; 'time'| ; 'filler': ; 'five ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'sunday'}| ; {'type': ; 'transport_type'| ; 'filler': ; 'train'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = ; S ; = ; = ; = ; S ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; ; ; ; ; 'time'| ; 'filler': ; 'five ; pm'}| ; {'type': ; 'date'| ; 'filler': ; 'friday'}| ; {'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ================================================================================ 131781, %WER 66.67 [ 4 / 6, 3 ins, 0 del, 1 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; = ; = ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}]} ================================================================================ 128752, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 139218, %WER 38.46 [ 5 / 13, 0 ins, 4 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; 'bk'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D ; D ; D {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} ; ; ; ; ================================================================================ 131294, %WER 80.00 [ 12 / 15, 0 ins, 9 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'nearest ; location'}| ; {'type': ; 'business_type'| ; 'filler': ; 'food ; court'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ; ; ================================================================================ 128782, %WER 30.00 [ 3 / 10, 1 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'four ; ; pm'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; I ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'four ; hundred ; pm'}]} ================================================================================ 135043, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ================================================================================ 135900, %WER 46.15 [ 6 / 13, 0 ins, 3 del, 3 sub ] {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; "week's"}| ; {'type': ; 'list_name'| ; 'filler': ; 'shopping'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; D ; D ; D {'scenario': ; 'lists'| ; 'action': ; 'createoradd'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; "this ; week's"}]} ; ; ; ================================================================================ 136108, %WER 23.08 [ 3 / 13, 0 ins, 0 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'tequila'}| ; {'type': ; 'food_type'| ; 'filler': ; 'mexican'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; = ; S ; = ; S {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'mexican'}| ; {'type': ; 'business_type'| ; 'filler': ; 'shop'}]} ================================================================================ 139472, %WER 10.00 [ 1 / 10, 0 ins, 0 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'social ; networks'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'social ; media'}]} ================================================================================ 131863, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139595, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} ================================================================================ 130247, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'music'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 141245, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129928, %WER 60.00 [ 6 / 10, 4 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "arnold ; schwarzenegger's"}]} ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; I ; I ; I ; I {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; "ar ; rahman's"}| ; {'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} ================================================================================ 137615, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 136144, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 135412, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129190, %WER 17.65 [ 3 / 17, 1 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audiobook'}| ; ; {'type': ; 'artist_name'| ; 'filler': ; 'beatles'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; = ; = ; = ; S {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'resume'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audio ; book'}| ; {'type': ; 'artist_name'| ; 'filler': ; 'phil'}]} ================================================================================ 135341, %WER 26.67 [ 4 / 15, 0 ins, 2 del, 2 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'to ; have ; tablets'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'noon'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; D ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'twelveth'}| ; ; ; {'type': ; 'timeofday'| ; 'filler': ; 'noon'}]} ================================================================================ 130397, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 140440, %WER 61.54 [ 8 / 13, 0 ins, 4 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_name'| ; 'filler': ; 'order ; of ; the ; green ; hand'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D ; D ; D {'scenario': ; 'recommendation'| ; 'action': ; 'locations'| ; 'entities': ; [{'type': ; 'business_type'| ; 'filler': ; 'restaurant'}]} ; ; ; ; ================================================================================ 129230, %WER 76.92 [ 10 / 13, 0 ins, 7 del, 3 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'brunch'}| ; {'type': ; 'person'| ; 'filler': ; 'jennifer'}]} = ; S ; = ; S ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 130995, %WER 28.57 [ 4 / 14, 0 ins, 1 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'mr ; pizza'}| ; {'type': ; 'order_type'| ; 'filler': ; 'delivers'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'pizza'}| ; ; {'type': ; 'order_type'| ; 'filler': ; 'delivers'}]} ================================================================================ 132755, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'allearsnet'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; []} ; ; ; ================================================================================ 137345, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; []} ================================================================================ 138805, %WER 20.00 [ 2 / 10, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_name'| ; 'filler': ; 'gilmore ; guys'}]} = ; = ; = ; S ; = ; = ; S ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'gilmore ; guys'}]} ================================================================================ 131558, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 134026, %WER 58.33 [ 7 / 12, 0 ins, 6 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; [{'type': ; 'coffee_type'| ; 'filler': ; 'salted ; carmel ; flavored ; cream'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D {'scenario': ; 'iot'| ; 'action': ; 'coffee'| ; 'entities': ; []} ; ; ; ; ; ; ================================================================================ 140091, %WER 20.00 [ 2 / 10, 0 ins, 0 del, 2 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'company ; name'}]} = ; S ; = ; S ; = ; = ; = ; = ; = ; = {'scenario': ; 'takeaway'| ; 'action': ; 'order'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'company ; name'}]} ================================================================================ 130700, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 128968, %WER 42.86 [ 6 / 14, 0 ins, 4 del, 2 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time_zone'| ; 'filler': ; 'time'}| ; {'type': ; 'place_name'| ; 'filler': ; 'new ; york'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; ; ; ; ; 'place_name'| ; 'filler': ; 'new ; york'}]} ================================================================================ 135308, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'recommendation'| ; 'action': ; 'events'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'soon'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 136224, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} ================================================================================ 132973, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'place_name'| ; 'filler': ; 'delhi'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 128584, %WER 68.75 [ 11 / 16, 0 ins, 2 del, 9 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'exchange ; rate ; of ; us ; dollar ; to ; pound ; sterling'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; S ; S ; S ; S ; S ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'us ; dollar'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'dollars'}]} ; ; ================================================================================ 138669, %WER 46.15 [ 6 / 13, 0 ins, 3 del, 3 sub ] {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'second ; of ; next ; mont ; lands'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; S ; D ; D ; D {'scenario': ; 'datetime'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'next ; month'}]} ; ; ; ================================================================================ 128739, %WER 10.00 [ 1 / 10, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 128929, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; [{'type': ; 'joke_type'| ; 'filler': ; 'funniest'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 137154, %WER 20.00 [ 2 / 10, 0 ins, 1 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'shuffled ; playlist'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'shopping'}]} ; ================================================================================ 131316, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'michael ; jackson'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'michael ; jackson'}]} ================================================================================ 140100, %WER 77.78 [ 7 / 9, 6 ins, 0 del, 1 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; [{'type': ; ; ; ; ; ; ; 'house_place'| ; 'filler': ; 'room'}]} = ; = ; = ; S ; = ; = ; I ; I ; I ; I ; I ; I ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'robot ; vacuum ; cleaner'}| ; {'type': ; 'house_place'| ; 'filler': ; 'room'}]} ================================================================================ 135658, %WER 0.00 [ 0 / 17, 0 ins, 0 del, 0 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'friend'}| ; {'type': ; 'person'| ; 'filler': ; 'mike'}| ; {'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'friend'}| ; {'type': ; 'person'| ; 'filler': ; 'mike'}| ; {'type': ; 'media_type'| ; 'filler': ; 'facebook'}]} ================================================================================ 133263, %WER 20.00 [ 2 / 10, 1 ins, 0 del, 1 sub ] {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'another ; ; hour'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; = {'scenario': ; 'audio'| ; 'action': ; 'volume_mute'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'in ; an ; hour'}]} ================================================================================ 129016, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'house'}| ; {'type': ; 'color_type'| ; 'filler': ; 'blue'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightchange'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'house'}| ; {'type': ; 'color_type'| ; 'filler': ; 'blue'}]} ================================================================================ 136733, %WER 14.29 [ 2 / 14, 0 ins, 1 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'person'| ; 'filler': ; 'george ; adams'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; S ; D {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointment'}| ; {'type': ; 'person'| ; 'filler': ; "john's"}]} ; ================================================================================ 135197, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'last ; hour'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'last ; hour'}]} ================================================================================ 138763, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'birthday'}]} ================================================================================ 129794, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 138533, %WER 54.55 [ 6 / 11, 0 ins, 2 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'tic ; tac ; toe'}]} = ; S ; = ; S ; = ; = ; S ; = ; S ; D ; D {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ; ; ================================================================================ 134410, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'newsource'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'newsource'}]} ================================================================================ 134508, %WER 55.56 [ 5 / 9, 4 ins, 0 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}]} ; ; ; ; = ; = ; = ; = ; = ; = ; = ; = ; S ; I ; I ; I ; I {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'tweet'}| ; {'type': ; 'business_name'| ; 'filler': ; '@microsoft'}]} ================================================================================ 132087, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'family'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'relation'| ; 'filler': ; 'family'}]} ================================================================================ 136397, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'ten ; am'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'ten ; am'}]} ================================================================================ 139163, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131944, %WER 0.00 [ 0 / 13, 0 ins, 0 del, 0 sub ] {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'boil'}| ; {'type': ; 'food_type'| ; 'filler': ; 'egg'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'cooking'| ; 'action': ; 'recipe'| ; 'entities': ; [{'type': ; 'cooking_type'| ; 'filler': ; 'boil'}| ; {'type': ; 'food_type'| ; 'filler': ; 'egg'}]} ================================================================================ 138961, %WER 30.00 [ 3 / 10, 0 ins, 0 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'celine ; dion'}]} = ; S ; = ; S ; = ; = ; S ; = ; = ; = {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'celine ; dion'}]} ================================================================================ 132915, %WER 0.00 [ 0 / 11, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'last ; ten ; minutes'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'last ; ten ; minutes'}]} ================================================================================ 140785, %WER 41.67 [ 5 / 12, 1 ins, 0 del, 4 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'eighty ; two ; point ; four'}]} ; = ; = ; = ; = ; = ; = ; = ; = ; S ; S ; S ; S ; I {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; [{'type': ; 'radio_name'| ; 'filler': ; 'eight ; hundred ; and ; twenty ; five'}]} ================================================================================ 131046, %WER 22.22 [ 2 / 9, 0 ins, 0 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_name'| ; 'filler': ; 'library'}]} = ; = ; = ; = ; = ; = ; S ; = ; S {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'podcast_descriptor'| ; 'filler': ; 'hot'}]} ================================================================================ 140829, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}]} ================================================================================ 130014, %WER 61.54 [ 8 / 13, 0 ins, 7 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; [{'type': ; 'currency_name'| ; 'filler': ; 'rupee'}| ; {'type': ; 'currency_name'| ; 'filler': ; 'dirham'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'currency'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 130349, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 133764, %WER 36.36 [ 4 / 11, 0 ins, 2 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'order ; the ; turkey'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D ; D {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ; ; ================================================================================ 131021, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 134813, %WER 44.44 [ 4 / 9, 0 ins, 0 del, 4 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'food_type'| ; 'filler': ; 'dish'}]} = ; S ; = ; S ; = ; = ; S ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'stock'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'intel'}]} ================================================================================ 129760, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'game'| ; 'entities': ; [{'type': ; 'game_name'| ; 'filler': ; 'chess'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ================================================================================ 136675, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 129381, %WER 66.67 [ 6 / 9, 4 ins, 0 del, 2 sub ] {'scenario': ; 'email'| ; 'action': ; 'sendemail'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; ; ; ; ; 'appointments'}]} = ; S ; = ; S ; = ; = ; = ; = ; I ; I ; I ; I ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'appointments'}| ; {'type': ; 'event_name'| ; 'filler': ; 'appointments'}]} ================================================================================ 133403, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 131330, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; []} ================================================================================ 129739, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'business'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 132504, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'hallway'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ; ; ; ================================================================================ 136135, %WER 7.69 [ 1 / 13, 0 ins, 0 del, 1 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'spain'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'spain'}]} ================================================================================ 140792, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'meal_type'| ; 'filler': ; 'dinner'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ; ; ; ================================================================================ 139996, %WER 61.54 [ 8 / 13, 0 ins, 7 del, 1 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'music_descriptor'| ; 'filler': ; 'previous'}| ; {'type': ; 'song_name'| ; 'filler': ; 'song'}]} = ; = ; = ; = ; = ; S ; D ; D ; D ; D ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ; ; ; ; ; ; ; ================================================================================ 136804, %WER 100.00 [ 6 / 6, 3 ins, 0 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 134056, %WER 10.00 [ 1 / 10, 0 ins, 0 del, 1 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'eight ; am'}]} = ; = ; = ; S ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'eight ; am'}]} ================================================================================ 138679, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'washington ; dc'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'transport'| ; 'action': ; 'ticket'| ; 'entities': ; [{'type': ; 'transport_type'| ; 'filler': ; 'train'}| ; {'type': ; 'place_name'| ; 'filler': ; 'washington ; dc'}]} ================================================================================ 137574, %WER 30.00 [ 3 / 10, 0 ins, 1 del, 2 sub ] {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'news_topic'| ; 'filler': ; 'academy ; awards'}]} = ; = ; = ; = ; = ; = ; S ; = ; S ; D {'scenario': ; 'news'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'cnn'}]} ; ================================================================================ 133702, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'lists'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'cleaning'| ; 'entities': ; []} ================================================================================ 133686, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ; ; ; = ; = ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'sloth'}]} ================================================================================ 128704, %WER 33.33 [ 3 / 9, 1 ins, 0 del, 2 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'house_place'| ; 'filler': ; 'porch'}]} ; = ; = ; = ; = ; = ; = ; S ; = ; S ; I {'scenario': ; 'iot'| ; 'action': ; 'hue_lightoff'| ; 'entities': ; [{'type': ; 'device_type'| ; 'filler': ; 'porch ; light'}]} ================================================================================ 136994, %WER 40.00 [ 4 / 10, 0 ins, 1 del, 3 sub ] {'scenario': ; 'play'| ; 'action': ; 'podcasts'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'bill ; simmons'}]} = ; = ; = ; S ; = ; = ; S ; = ; S ; D {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'playlist_name'| ; 'filler': ; 'electronic'}]} ; ================================================================================ 134778, %WER 66.67 [ 12 / 18, 0 ins, 8 del, 4 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'fringe'}| ; {'type': ; 'place_name'| ; 'filler': ; 'edinburgh'}| ; {'type': ; 'date'| ; 'filler': ; 'next ; year'}]} = ; S ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; S ; S ; D ; D ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; [{'type': ; ; ; ; ; 'place_name'| ; 'filler': ; 'new ; york'}]} ; ; ; ; ================================================================================ 135715, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'lists'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'list_name'| ; 'filler': ; 'grocery'}]} ================================================================================ 136561, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'iot'| ; 'action': ; 'hue_lightup'| ; 'entities': ; []} ================================================================================ 129602, %WER 0.00 [ 0 / 10, 0 ins, 0 del, 0 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'this ; week'}]} ================================================================================ 130858, %WER 33.33 [ 2 / 6, 0 ins, 0 del, 2 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; S ; = ; S ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 137453, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; []} ================================================================================ 137610, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'remove'| ; 'entities': ; []} ================================================================================ 131493, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; []} ; ; ; = ; = ; = ; S ; = ; S ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 135946, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; []} ================================================================================ 139238, %WER 28.57 [ 4 / 14, 0 ins, 4 del, 0 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'event_name'| ; 'filler': ; 'meeting'}| ; {'type': ; 'timeofday'| ; 'filler': ; 'this ; afternoon'}]} = ; = ; = ; = ; = ; = ; D ; D ; D ; D ; = ; = ; = ; = {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; ; ; ; ; 'timeofday'| ; 'filler': ; 'this ; afternoon'}]} ================================================================================ 130964, %WER 66.67 [ 6 / 9, 0 ins, 3 del, 3 sub ] {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'weather_descriptor'| ; 'filler': ; 'jacket'}]} = ; S ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'general'| ; 'action': ; 'joke'| ; 'entities': ; []} ; ; ; ================================================================================ 135592, %WER 27.27 [ 3 / 11, 0 ins, 2 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'computer ; hard ; disk'}]} = ; = ; = ; = ; = ; = ; = ; = ; S ; D ; D {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'computer'}]} ; ; ================================================================================ 129780, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 139411, %WER 44.44 [ 4 / 9, 0 ins, 3 del, 1 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'order_type'| ; 'filler': ; 'takeaway'}]} = ; = ; = ; = ; = ; S ; D ; D ; D {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; ================================================================================ 140747, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'remove'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 135660, %WER 46.15 [ 6 / 13, 0 ins, 4 del, 2 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'rahul'}| ; {'type': ; 'event_name'| ; 'filler': ; 'marriage'}]} = ; = ; = ; S ; = ; = ; D ; D ; D ; D ; = ; = ; S {'scenario': ; 'calendar'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; ; ; ; ; 'event_name'| ; 'filler': ; 'holiday'}]} ================================================================================ 128946, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'hypothesis'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'qa'| ; 'action': ; 'definition'| ; 'entities': ; [{'type': ; 'definition_word'| ; 'filler': ; 'poltergeist'}]} ================================================================================ 140302, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'continue'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audio ; book'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'play'| ; 'action': ; 'audiobook'| ; 'entities': ; [{'type': ; 'player_setting'| ; 'filler': ; 'continue'}| ; {'type': ; 'media_type'| ; 'filler': ; 'audio ; book'}]} ================================================================================ 138778, %WER 83.33 [ 5 / 6, 3 ins, 0 del, 2 sub ] {'scenario': ; 'takeaway'| ; 'action': ; 'query'| ; 'entities': ; []} ; ; ; = ; S ; = ; = ; = ; S ; I ; I ; I {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 141302, %WER 0.00 [ 0 / 6, 0 ins, 0 del, 0 sub ] {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} = ; = ; = ; = ; = ; = {'scenario': ; 'music'| ; 'action': ; 'likeness'| ; 'entities': ; []} ================================================================================ 130590, %WER 0.00 [ 0 / 14, 0 ins, 0 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'six ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 128698, %WER 116.67 [ 7 / 6, 4 ins, 0 del, 3 sub ] {'scenario': ; 'general'| ; 'action': ; 'quirky'| ; 'entities': ; []} ; ; ; ; = ; S ; = ; S ; = ; S ; I ; I ; I ; I {'scenario': ; 'social'| ; 'action': ; 'post'| ; 'entities': ; [{'type': ; 'business_name'| ; 'filler': ; 'consumer ; service'}]} ================================================================================ 133813, %WER 16.67 [ 1 / 6, 0 ins, 0 del, 1 sub ] {'scenario': ; 'qa'| ; 'action': ; 'maths'| ; 'entities': ; []} = ; = ; = ; S ; = ; = {'scenario': ; 'qa'| ; 'action': ; 'factoid'| ; 'entities': ; []} ================================================================================ 139710, %WER 0.00 [ 0 / 9, 0 ins, 0 del, 0 sub ] {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'robert'}]} = ; = ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'email'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'person'| ; 'filler': ; 'robert'}]} ================================================================================ 137571, %WER 11.76 [ 2 / 17, 0 ins, 2 del, 0 sub ] {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; hundred ; and ; thirty ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} = ; = ; = ; = ; = ; = ; = ; = ; = ; D ; D ; = ; = ; = ; = ; = ; = {'scenario': ; 'alarm'| ; 'action': ; 'set'| ; 'entities': ; [{'type': ; 'time'| ; 'filler': ; 'five ; ; ; thirty ; am'}| ; {'type': ; 'date'| ; 'filler': ; 'tomorrow'}]} ================================================================================ 137361, %WER 55.56 [ 5 / 9, 0 ins, 3 del, 2 sub ] {'scenario': ; 'play'| ; 'action': ; 'music'| ; 'entities': ; [{'type': ; 'artist_name'| ; 'filler': ; 'gaga'}]} = ; = ; = ; S ; = ; S ; D ; D ; D {'scenario': ; 'play'| ; 'action': ; 'radio'| ; 'entities': ; []} ; ; ; ================================================================================ 139588, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'calendar'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} = ; S ; = ; = ; = ; = ; = ; = ; = {'scenario': ; 'weather'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'date'| ; 'filler': ; 'today'}]} ================================================================================ 130985, %WER 11.11 [ 1 / 9, 0 ins, 0 del, 1 sub ] {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'instagram'}]} = ; = ; = ; = ; = ; = ; = ; = ; S {'scenario': ; 'social'| ; 'action': ; 'query'| ; 'entities': ; [{'type': ; 'media_type'| ; 'filler': ; 'facebook'}]}