Episode ID: 1307988062041548060.715-1247.Open amazon website
Step ID: 0
Goal: Open amazon website

Previous Actions:


Current Screen:
UI Annotations Text: ['' '' 'Google' '' '' 'Search or type web address' '' 'a' 'Facebock'
 'Tube' 'Am8eon09.' 'wikicis' '' 'ESPN.Gam' 'Yahan' 'day' 'Instagram' ''
 'Dlscover' 'Us, Saudi Arabia' 'high' 'alert over' 'on' 'intel' 'of'
 'impending' 'Iranian' 'attack:' 'report' '' '' 'Fox Nes' 'h'
 '"My work hours are' '8:30am- 5pm,' 'no' 'got it"' 'exceptions?' 'You'
 'Boss Insists Employees Work Until The Last Minute,' '' '' '' '' '' '' ''
 '']
UI Annotations Types: ['ICON_HOME' 'ICON_THREE_DOTS' 'TEXT' 'ICON_MIC' 'ICON_TAKE_PHOTO' 'TEXT'
 'ICON_PLAY' 'TEXT' 'TEXT' 'TEXT' 'TEXT' 'TEXT' 'ICON_TAKE_PHOTO' 'TEXT'
 'TEXT' 'TEXT' 'TEXT' 'ICON_SETTINGS' 'TEXT' 'TEXT' 'TEXT' 'TEXT' 'TEXT'
 'TEXT' 'TEXT' 'TEXT' 'TEXT' 'TEXT' 'TEXT' 'ICON_SHARE' 'ICON_THREE_DOTS'
 'TEXT' 'TEXT' 'TEXT' 'TEXT' 'TEXT' 'TEXT' 'TEXT' 'TEXT' 'TEXT' '' '' ''
 '' '' '' '' '']
Positions: [0.03666667 0.03703704 0.02833333 0.03333334 0.03833333 0.92962962
 0.02666667 0.01481481 0.12166667 0.30000001 0.05666667 0.39259258
 0.23333333 0.7814815  0.03       0.02592593 0.23666666 0.88518518
 0.025      0.02962963 0.245      0.06666667 0.01333333 0.42592594
 0.31999999 0.37407407 0.01666667 0.02222222 0.31999999 0.59629631
 0.01833333 0.02962963 0.36333334 0.11111111 0.01       0.11481482
 0.36333334 0.37407407 0.01       0.06666667 0.36333334 0.53703701
 0.01       0.13333334 0.36333334 0.77407408 0.01       0.11481482
 0.39666668 0.81111109 0.02666667 0.03333334 0.44499999 0.10740741
 0.01166667 0.12222222 0.44666666 0.35555556 0.00833333 0.07037037
 0.44666666 0.58518517 0.00833333 0.05555556 0.44666666 0.77407408
 0.00833333 0.11851852 0.50333333 0.92592591 0.025      0.02592593
 0.51166666 0.03703704 0.01166667 0.11851852 0.56666666 0.03703704
 0.01666667 0.28518519 0.56666666 0.39259258 0.01666667 0.07037037
 0.56666666 0.47777778 0.015      0.16666667 0.57166666 0.33703703
 0.01       0.04074074 0.59166664 0.03703704 0.01333333 0.07037037
 0.59166664 0.12222222 0.01333333 0.03333334 0.59166664 0.17037037
 0.01666667 0.18148148 0.59166664 0.36666667 0.01333333 0.11481482
 0.59166664 0.49629629 0.01333333 0.11481482 0.61666667 0.03703704
 0.01666667 0.1037037  0.64333332 0.82222223 0.02666667 0.02592593
 0.64499998 0.93333334 0.02333333 0.01481481 0.64999998 0.05925926
 0.015      0.14444445 0.65333331 0.22592592 0.01       0.02962963
 0.75833333 0.12962963 0.02833333 0.60000002 0.79500002 0.12962963
 0.02833333 0.44444445 0.80166668 0.60740739 0.01666667 0.07037037
 0.82999998 0.66296297 0.03333334 0.16296296 0.83499998 0.12962963
 0.02833333 0.37037036 0.83499998 0.52592593 0.02333333 0.11111111
 0.95499998 0.03703704 0.01666667 0.9074074  0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.        ]


What should the Android do next?

Action: {"action_type": 4, "action_description": "Describe what the action means if needed", "coordinates_touch": [0.3358047902584076, 0.6130481362342834], "coordinates_lift": [0.3358047902584076, 0.6130481362342834], "text_input": [""]}