Episode ID: 2679593365050903493.180-765.Search for target.com on google chrome
Step ID: 0
Goal: Search for target.com on google chrome

Previous Actions:


Current Screen:
UI Annotations Text: ['G' '' '' 'Search or type web address' 'Are you a human?' '' ''
 'newegg.com/areyouahuma...' '' 'RECENT SEARCHES' '' 'ebay' 'Newegg' 'K'
 'Online retail' 'company' '9' 'target' '9' 'walmart' '9' 'costco' '9'
 'bestbuy' '9' 'good restaurant in san francisco' '9' 'hotels in sydney'
 '9' 'hotels in' 'london' '9' 'good chinese restaurants' '' 'what' 'does'
 'the' 'iphone' '8' 'look' 'like?' '' '' '' '' '' '' '']
UI Annotations Types: ['ICON_GOOGLE' 'ICON_MIC' 'ICON_TAKE_PHOTO' 'TEXT' 'TEXT' 'ICON_SHARE'
 'ICON_EDIT' 'TEXT' 'ICON_V_UPWARD' 'TEXT' 'ICON_HISTORY' 'TEXT' 'TEXT'
 'TEXT' 'TEXT' 'TEXT' 'ICON_HISTORY' 'TEXT' 'ICON_HISTORY' 'TEXT'
 'ICON_HISTORY' 'TEXT' 'ICON_HISTORY' 'TEXT' 'ICON_HISTORY' 'TEXT'
 'ICON_HISTORY' 'TEXT' 'ICON_HISTORY' 'TEXT' 'TEXT' 'ICON_HISTORY' 'TEXT'
 'ICON_HISTORY' 'TEXT' 'TEXT' 'TEXT' 'TEXT' 'TEXT' 'TEXT' 'TEXT'
 'ICON_V_DOWNWARD' '' '' '' '' '' '']
Positions: [0.04166667 0.04814815 0.03333334 0.03703704 0.04166667 0.77777779
 0.03333334 0.02962963 0.04333333 0.89629632 0.02833333 0.03703704
 0.05       0.14444445 0.02166667 0.49629629 0.10666667 0.14444445
 0.01666667 0.31851852 0.10666667 0.67407405 0.03166667 0.03333334
 0.10666667 0.9222222  0.03       0.03333334 0.13       0.14444445
 0.01666667 0.45925927 0.17333333 0.9222222  0.01666667 0.02222222
 0.17833333 0.04444445 0.01166667 0.31851852 0.22666667 0.04814815
 0.03       0.03703704 0.23666666 0.14444445 0.01833333 0.08148148
 0.28999999 0.14444445 0.01666667 0.14814815 0.30166668 0.9222222
 0.01333333 0.03333334 0.315      0.14444445 0.01333333 0.18518518
 0.31666666 0.34444445 0.01333333 0.14444445 0.35666665 0.05185185
 0.02833333 0.03333334 0.36666667 0.14074074 0.01666667 0.11111111
 0.41999999 0.04814815 0.02833333 0.03703704 0.43000001 0.14444445
 0.015      0.14444445 0.48500001 0.05185185 0.03166667 0.03703704
 0.49666667 0.14444445 0.01166667 0.11851852 0.54833335 0.04814815
 0.03       0.03333334 0.55666667 0.14444445 0.01833333 0.14074074
 0.61500001 0.05185185 0.02666667 0.03333334 0.62333333 0.14444445
 0.01666667 0.58148146 0.67666668 0.04814815 0.03       0.03703704
 0.685      0.14444445 0.02       0.28518519 0.74166667 0.05185185
 0.02833333 0.03333334 0.75166667 0.14444445 0.015      0.14814815
 0.75166667 0.31111112 0.01333333 0.11851852 0.80666667 0.05185185
 0.02833333 0.03333334 0.815      0.14444445 0.01833333 0.45185184
 0.87       0.05185185 0.02666667 0.03333334 0.88       0.14444445
 0.01333333 0.08518519 0.88       0.24444444 0.01333333 0.08148148
 0.88       0.34074074 0.01333333 0.05555556 0.88       0.41111112
 0.01666667 0.11481482 0.88       0.54074073 0.01333333 0.01851852
 0.88       0.57407409 0.01333333 0.07407407 0.88       0.66296297
 0.01333333 0.07777778 0.96166664 0.0962963  0.01666667 0.02222222
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.        ]


What should the Android do next?

Action: {"action_type": 3, "action_description": "Describe what the action means if needed", "coordinates_touch": [-1.0, -1.0], "coordinates_lift": [-1.0, -1.0], "text_input": ["target.com"]}