Episode ID: 15778926017162277930.1801-1840.type costco 
Step ID: 0
Goal: type costco 

Previous Actions:


Current Screen:
UI Annotations Text: ['G' '' 'Bearch.' '' 'Sorse' 'Castco' '' 'ebuy' '' 'amazon.com' ''
 'newegg,com india' '' "nearest macy's" '' 'dell' 'xps' '' 'Target' ''
 'hotels' 'in' 'mexico city' '' 'alienware' '51' 'area' ''
 'greek restaurants' 'good' '' 'good korean restaurants' '' 'hotels' 'in'
 'loncdon' '' 'flights frorn nyc to' 'barcelona' '' 'flights'
 'frorn nyc to' 'francisco' 'san' '' '' '' '' '' '' '' '' '' '' '' '' ''
 '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '']
UI Annotations Types: ['ICON_GOOGLE' 'ICON_MIC' 'TEXT' 'ICON_TIME' 'TEXT' 'TEXT' 'ICON_TIME'
 'TEXT' 'ICON_TIME' 'TEXT' 'ICON_TIME' 'TEXT' 'ICON_TIME' 'TEXT'
 'ICON_TIME' 'TEXT' 'TEXT' 'ICON_TIME' 'TEXT' 'ICON_TIME' 'TEXT' 'TEXT'
 'TEXT' 'ICON_TIME' 'TEXT' 'TEXT' 'TEXT' 'ICON_TIME' 'TEXT' 'TEXT'
 'ICON_TIME' 'TEXT' 'ICON_TIME' 'TEXT' 'TEXT' 'TEXT' 'ICON_TIME' 'TEXT'
 'TEXT' 'ICON_TIME' 'TEXT' 'TEXT' 'TEXT' 'TEXT' 'ICON_V_DOWNWARD'
 'ICON_NAV_BAR_RECT' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' '' ''
 '' '' '' '' '' '' '' '' '' '' '' '' '']
Positions: [0.04333333 0.06666667 0.03833333 0.04444445 0.04333333 0.8888889
 0.03333334 0.02962963 0.05166667 0.18148148 0.025      0.11851852
 0.11666667 0.07037037 0.03       0.03333334 0.12666667 0.72222221
 0.015      0.10740741 0.12833333 0.18518518 0.01166667 0.11481482
 0.17833333 0.07037037 0.02666667 0.03333334 0.18666667 0.18518518
 0.015      0.07407407 0.23666666 0.07037037 0.03       0.03703704
 0.25       0.18518518 0.01       0.21111111 0.29666665 0.07037037
 0.03333334 0.03703704 0.30666667 0.18518518 0.01333333 0.2962963
 0.35666665 0.07037037 0.03       0.03333334 0.36666667 0.18518518
 0.015      0.24444444 0.41499999 0.07037037 0.02833333 0.03333334
 0.42500001 0.18518518 0.01333333 0.05555556 0.42833334 0.25555557
 0.01333333 0.05185185 0.47499999 0.07037037 0.02833333 0.03333334
 0.48666668 0.19259259 0.01666667 0.09259259 0.53500003 0.07037037
 0.03166667 0.03333334 0.54500002 0.18518518 0.01333333 0.0962963
 0.54500002 0.2962963  0.01333333 0.02592593 0.54500002 0.33703703
 0.015      0.18518518 0.59500003 0.07037037 0.02833333 0.03333334
 0.60500002 0.18518518 0.01166667 0.15555556 0.60500002 0.43703705
 0.01166667 0.02962963 0.60833335 0.35555556 0.00833333 0.06666667
 0.65333331 0.07037037 0.03       0.03333334 0.66333336 0.27777779
 0.01666667 0.28518519 0.66500002 0.18518518 0.015      0.07777778
 0.71499997 0.07037037 0.02666667 0.03333334 0.72333336 0.18518518
 0.01666667 0.40000001 0.77166665 0.07037037 0.03166667 0.03703704
 0.78333336 0.18518518 0.01333333 0.0962963  0.78333336 0.2962963
 0.01333333 0.02592593 0.78333336 0.33703703 0.01333333 0.10740741
 0.83333331 0.07037037 0.03       0.03703704 0.8433333  0.18518518
 0.015      0.2962963  0.8433333  0.49629629 0.01166667 0.15555556
 0.89333332 0.07037037 0.03       0.03333334 0.90166664 0.18888889
 0.01666667 0.0962963  0.90166664 0.30000001 0.01666667 0.18148148
 0.90166664 0.56666666 0.01333333 0.14814815 0.9066667  0.49629629
 0.00833333 0.05555556 0.95666665 0.19259259 0.025      0.03333334
 0.95666665 0.76666665 0.02833333 0.03333334 0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.        ]


What should the Android do next?

Action: {"action_type": 3, "action_description": "Describe what the action means if needed", "coordinates_touch": [-1.0, -1.0], "coordinates_lift": [-1.0, -1.0], "text_input": ["costco "]}