6*45

$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO:VLJ,PZBNB%BJTVLF4BLBNPUP5BLFP*HBSBTIJ

Not Good
Not GoodGood

Good

Visualization
Visualization

Interactive
Interactive
Optimization
Optimization
User’sUser’s
Edit Edit
Parameter
Parameter
Space Space

Suggested
Suggested
Designs
Designs

)PXDBODPNQVUBUJPOIFMQEFTJHO $SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO)PXDBODPNQVUBUJPOIFMQEFTJHO 
5BSHFUEFTJHOFYQMPSBUJPOCZQBSBNFUFSUXFBLJOH$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO)PXDBODPNQVUBUJPOIFMQEFTJHO 
5BSHFUEFTJHOFYQMPSBUJPOCZQBSBNFUFSUXFBLJOH

7JEFP

$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO0VS"QQSPBDI
 "OBMZ[FBEFTJHOTQBDFCZIVNBODPNQVUBUJPO&TUJNBUFBEJTUSJCVUJPOPGˑHPPEOFTT˒PGEFTJHOT *OUSPEVDFVTFSJOUFSGBDFTGPSEFTJHOFYQMPSBUJPO4NBSU4VHHFTUJPO 7JT0QU4MJEFS$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO0VS"QQSPBDI
 "OBMZ[FBEFTJHOTQBDFCZIVNBODPNQVUBUJPO&TUJNBUFBEJTUSJCVUJPOPGˑHPPEOFTT˒PGEFTJHOT *OUSPEVDFVTFSJOUFSGBDFTGPSEFTJHOFYQMPSBUJPO4NBSU4VHHFTUJPO 7JT0QU4MJEFS$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO0VS"QQSPBDI
 "OBMZ[FBEFTJHOTQBDFCZIVNBODPNQVUBUJPO&TUJNBUFBEJTUSJCVUJPOPGˑHPPEOFTT˒PGEFTJHOT *OUSPEVDFVTFSJOUFSGBDFTGPSEFTJHOFYQMPSBUJPO4NBSU4VHHFTUJPO 7JT0QU4MJEFS$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO8PSLPX
$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPODesign Task

design parameters$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPOAnalysis

Design Task

design parametersparameter 2parameter spaceparameter 1$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPOAnalysis

Design Task

design parametersparameter 2parameter spaceparameter 1$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPOAnalysis

Design Task

parameter spacedesign parametersparameter 2

crowd workers

parameter 1$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPOAnalysis

Design Task

parameter spacedesign parametersparameter 2

crowd workers

7JEFP

parameter 1$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPODesign Task

not good

Analysisgoodparameter spacedesign parametersparameter 2

crowd workers

parameter 1$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPODesign Task

not good

Analysis

good

f:

n

parameter spacedesign parametersparameter 2

crowd workers

parameter 1$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPODesign Task

not good

Analysis

good

f:

n

parameter spacedesign parametersparameter 2

crowd workers

parameter 1

User Interface
VisOpt Slider$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO%FNP 6TFS*OUFSGBDF $SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO3FBM5JNF%FNP$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO3FMBUFE8PSL$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO$PMMBCPSBUJWF,OPXMFEHFGPS%FTJHO6UJMJ[FEJTUSJCVUJPOPG
VTFSDSFBUFEHPPEEFTJHOTà/PUEFTJHOFEGPSPOEFNBOEBOBMZTJT<5BMUPO>

(BUIFSGFFECBDLGPSBDFSUBJOEFTJHOà/PUFYQMPSBUJPOPGQBSBNFUFSTQBDF
7PZBOU<9V>
$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO$PMMBCPSBUJWF,OPXMFEHFGPS%FTJHO6UJMJ[FEJTUSJCVUJPOPG
VTFSDSFBUFEHPPEEFTJHOTà/PUEFTJHOFEGPSPOEFNBOEBOBMZTJT<5BMUPO>

(BUIFSGFFECBDLGPSBDFSUBJOEFTJHOà/PUFYQMPSBUJPOPGQBSBNFUFSTQBDF
7PZBOU<9V>
$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO$SPXE1PXFSFE"OBMZTJTPG%FTJHO4QBDFT'POU<0ˏ%POPWBO>

7JFX%JSFDUJPO<4FDPSE>

8FC<3FJOFDLF>

à 6TFEPNBJOTQFDJDLOPXMFEHF


/PUF0VSTJTBQQMJDBCMFUPBSCJUSBSZEFTJHOTQBDFT$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO$SPXE1PXFSFE"OBMZTJTPG%FTJHO4QBDFT'POU<0ˏ%POPWBO>

7JFX%JSFDUJPO<4FDPSE>

8FC<3FJOFDLF>

à 6TFEPNBJOTQFDJDLOPXMFEHF


/PUF0VSTJTBQQMJDBCMFUPBSCJUSBSZEFTJHOTQBDFT$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO4VHHFTUJWF*OUFSGBDF

%FTJHO(BMMFSJFT<.BSLT>

#SBJOTUPSN<"GUFS&FDUT>

à/PUCBTFEPOIVNBOˏTBFTUIFUJDT$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO4MJEFS*OUFSGBDFWJTVBMJ[FEFTJHOQSFWJFXTWJTVBMJ[FSFMBUFEEBUB

4JEF7JFXT<5FSSZ>

4DFOUFE8JEHFU<8JMMFUU>à ˑ3BX˒JOGPSNBUJPO OPUHPPEOFTTWBMVFT 
à/PPQUJNJ[BUJPOGVODUJPO$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO4MJEFS*OUFSGBDFWJTVBMJ[FEFTJHOQSFWJFXTWJTVBMJ[FSFMBUFEEBUB

4JEF7JFXT<5FSSZ>

4DFOUFE8JEHFU<8JMMFUU>à ˑ3BX˒JOGPSNBUJPO OPUHPPEOFTTWBMVFT 
à/PPQUJNJ[BUJPOGVODUJPO$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO4MJEFS*OUFSGBDFWJTVBMJ[FEFTJHOQSFWJFXTWJTVBMJ[FSFMBUFEEBUB

4JEF7JFXT<5FSSZ>

4DFOUFE8JEHFU<8JMMFUU>à ˑ3BX˒JOGPSNBUJPO OPUHPPEOFTTWBMVFT 
à/PPQUJNJ[BUJPOGVODUJPO$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"OBMZTJT$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"OBMZTJT4BNQMJOH
TBNQMJOH
1BSBNFUFS4FUTQPJOUT(BUIFSJOH1BJSXJTF&TUJNBUJOH(PPEOFTT&TUJNBUJOH(PPEOFTT'JUUJOHB(PPEOFTTQBJSXJTF
HPPEOFTTHPPEOFTT$PNQBSJTPOT7BMVFTPG1PJOUT
7BMVFTPG1PJOUT'VODUJPODPNQBSJTPOFTUJNBUJPOPOQPJOUT FTUJNBUJPODPOUJOVPVT $SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"OBMZTJT4BNQMJOH
TBNQMJOH
1BSBNFUFS4FUTQPJOUT(BUIFSJOH1BJSXJTF&TUJNBUJOH(PPEOFTT&TUJNBUJOH(PPEOFTT'JUUJOHB(PPEOFTTQBJSXJTF
HPPEOFTTHPPEOFTT$PNQBSJTPOT7BMVFTPG1PJOUT
7BMVFTPG1PJOUT'VODUJPODPNQBSJTPOFTUJNBUJPOPOQPJOUT FTUJNBUJPODPOUJOVPVT $SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"OBMZTJT4BNQMJOH
TBNQMJOH
1BSBNFUFS4FUTQPJOUT(BUIFSJOH1BJSXJTF&TUJNBUJOH(PPEOFTT&TUJNBUJOH(PPEOFTT'JUUJOHB(PPEOFTTQBJSXJTF
HPPEOFTTHPPEOFTT$PNQBSJTPOT7BMVFTPG1PJOUT
7BMVFTPG1PJOUT'VODUJPODPNQBSJTPOFTUJNBUJPOPOQPJOUT FTUJNBUJPODPOUJOVPVT $SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"OBMZTJT
crowd workers

4BNQMJOH
TBNQMJOH
1BSBNFUFS4FUTQPJOUT(BUIFSJOH1BJSXJTF&TUJNBUJOH(PPEOFTT&TUJNBUJOH(PPEOFTT'JUUJOHB(PPEOFTTQBJSXJTF
HPPEOFTTHPPEOFTT$PNQBSJTPOT7BMVFTPG1PJOUT
7BMVFTPG1PJOUT'VODUJPODPNQBSJTPOFTUJNBUJPOPOQPJOUT FTUJNBUJPODPOUJOVPVT $SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"OBMZTJT-FBTUTRVBSFNFUIPE
4BNQMJOH
TBNQMJOH
1BSBNFUFS4FUTQPJOUT(BUIFSJOH1BJSXJTF&TUJNBUJOH(PPEOFTT&TUJNBUJOH(PPEOFTT'JUUJOHB(PPEOFTTQBJSXJTF
HPPEOFTTHPPEOFTT$PNQBSJTPOT7BMVFTPG1PJOUT
7BMVFTPG1PJOUT'VODUJPODPNQBSJTPOFTUJNBUJPOPOQPJOUT FTUJNBUJPODPOUJOVPVT $SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"OBMZTJT

3#'JOUFSQPMBUJPO4BNQMJOH
TBNQMJOH
1BSBNFUFS4FUTQPJOUT(BUIFSJOH1BJSXJTF&TUJNBUJOH(PPEOFTT&TUJNBUJOH(PPEOFTT'JUUJOHB(PPEOFTTQBJSXJTF
HPPEOFTTHPPEOFTT$PNQBSJTPOT7BMVFTPG1PJOUT
7BMVFTPG1PJOUT'VODUJPODPNQBSJTPOFTUJNBUJPOPOQPJOUT FTUJNBUJPODPOUJOVPVT à4FFUIFQBQFSGPSEFUBJMT$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO6TFS*OUFSGBDF$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO6TFS*OUFSGBDF4NBSU4VHHFTUJPO4VHHFTUJPOTCBTFEPOHPPEOFTT$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO6TFS*OUFSGBDF4NBSU4VHHFTUJPO*NQMFNFOUBUJPO (FOFSBUFEFTJHOTSBOEPNMZ
 4IPXCFTUEFTJHOT$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO6TFS*OUFSGBDF7JT0QU4MJEFS7JTVBMJ[BUJPO 7JT 

xj

xi
xj
xi
$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO6TFS*OUFSGBDF7JT0QU4MJEFS7JTVBMJ[BUJPO 7JT 

xj
DVSSFOUQBSBNFUFS

xi
xj

xi
$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO6TFS*OUFSGBDF7JT0QU4MJEFS7JTVBMJ[BUJPO 7JT 

xj

xi
xj
xi
$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO6TFS*OUFSGBDF7JT0QU4MJEFS7JTVBMJ[BUJPO 7JT 

xj

xi
xj
xi
$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO6TFS*OUFSGBDF7JT0QU4MJEFS7JTVBMJ[BUJPO 7JT  0QUJNJ[BUJPO 0QU 

xj"VUPNBUJDBEKVTUNFOU

xi
xj

6TFSˏTFEJUxi$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"QQMJDBUJPOT$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"QQMJDBUJPO  $PMPS$PSSFDUJPOQBSBNFUFSTJOUPUBM

7JEFP

$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO7JEFP$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"QQMJDBUJPO  $BNFSB-JHIUY Z [ JOUFOTJUZY Z [ GPW(PBM
OEBHPPEWJFXQBSBNFUFSTJOUPUBM$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"QQMJDBUJPO  $BNFSB-JHIUY Z [ JOUFOTJUZY Z [ GPW(PBM
OEBHPPEWJFXQBSBNFUFSTJOUPUBM$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO7JEFP$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"QQMJDBUJPO  4IBEFS "QQFBSBODF 
5BTLEFTJHOJOHBQQFBSBODFPGTUBJOMFTTUFBQPU

7JEFP

$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"QQMJDBUJPO  4IBEFS "QQFBSBODF 
5BTLEFTJHOJOHBQQFBSBODFPGTUBJOMFTTUFBQPU$SJUFSJBˑSFBMJTUJD˒BTTUBJOMFTTQBSBNFUFSTJOUPUBMh)JTGPS)PNF

FHTUBJOMFTT$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO7JEFP$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"QQMJDBUJPO  'BDJBM&YQSFTTJPO#MFOETIBQFDPOUSPMFYQSFTTJPOCZQBSBNFUFST

7JEFP

$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"QQMJDBUJPO  'BDJBM&YQSFTTJPO#MFOETIBQFDPOUSPMFYQSFTTJPOCZQBSBNFUFST
3BOEPNEFTJHOTà.PTUEFTJHOTBSFVOOBUVSBM CSPLFO $SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"QQMJDBUJPO  'BDJBM&YQSFTTJPO#MFOETIBQFDPOUSPMFYQSFTTJPOCZQBSBNFUFST$SJUFSJBOBUVSBM OPUCSPLFO QBSBNFUFSTJOUPUBM$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO7JEFP$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"QQMJDBUJPO  'BDJBM&YQSFTTJPO




OPUOBUVSBM

0.15
0.15

OBUVSBM

0.31
0.31

0.49
0.49

0.61
0.61

0.88

à"DIJFWFEWJTVBMMZQMBVTJCMFFTUJNBUJPO$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO"QQMJDBUJPO4UBUJTUJDT$PMPS
$BNFSB$PSSFDUJPO -JHIU

4IBEFS'BDJBM
&YQSFTTJPO







DSJUFSJB HPPE

HPPE

SFBMJTUJDOBUVSBMDPNQBSJTPOT 







UPUBMDPTU 64%

64%

64%

64%

UPUBMUJNF NJONJONJONJOQBSBNFUFST $SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO&WBMVBUJPO$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO&WBMVBUJPO"OBMZTJT$POWFSHFODF XSUDPNQBSJTPOT $SPTT7BMJEBUJPO̔4FFUIFQBQFSGPSEFUBJMT$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO&WBMVBUJPO6TFS*OUFSGBDFT

6TFSTUVEZBTLFETUVEFOUTUPVTFPVSJOUFSGBDFT4ZTUFN6TBCJMJUZ4DBMF<#BOHPS>àˑHPPE˒ "WFSBHF 4% 
̔4FFUIFQBQFSGPSEFUBJMT$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO%JTDVTTJPO$PODMVTJPO$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO-JNJUBUJPO• /FFESFDSPXETPVSDJOHXIFOUIFUBTLDIBOHFT• "QQMJDBCMFUPPOMZDPOUJOVPVTQBSBNFUFST OPUEJTDSFUFPOFT $SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO-JNJUBUJPO• /FFESFDSPXETPVSDJOHXIFOUIFUBTLDIBOHFT• "QQMJDBCMFUPPOMZDPOUJOVPVTQBSBNFUFST OPUEJTDSFUFPOFT $SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO-JNJUBUJPO• /FFESFDSPXETPVSDJOHXIFOUIFUBTLDIBOHFT• "QQMJDBCMFUPPOMZDPOUJOVPVTQBSBNFUFST OPUEJTDSFUFPOFT $SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO$PODMVTJPO
• "OBMZTJTPG BSCJUSBSZ EFTJHOTQBDFTCZVTJOHIVNBODPNQVUBUJPO• *OUFSGBDFTGPSEFTJHOFYQMPSBUJPO4NBSU4VHHFTUJPO 7JT0QU4MJEFS• FYBNQMFBQQMJDBUJPOT$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO$PODMVTJPO
• "OBMZTJTPG BSCJUSBSZ EFTJHOTQBDFTCZVTJOHIVNBODPNQVUBUJPO• *OUFSGBDFTGPSEFTJHOFYQMPSBUJPO4NBSU4VHHFTUJPO 7JT0QU4MJEFS• FYBNQMFBQQMJDBUJPOT$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO$PODMVTJPO
• "OBMZTJTPG BSCJUSBSZ EFTJHOTQBDFTCZVTJOHIVNBODPNQVUBUJPO• *OUFSGBDFTGPSEFTJHOFYQMPSBUJPO4NBSU4VHHFTUJPO 7JT0QU4MJEFS• FYBNQMFBQQMJDBUJPOT$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO$PODMVTJPO
• "OBMZTJTPG BSCJUSBSZ EFTJHOTQBDFTCZVTJOHIVNBODPNQVUBUJPO• *OUFSGBDFTGPSEFTJHOFYQMPSBUJPO4NBSU4VHHFTUJPO 7JT0QU4MJEFS• FYBNQMFBQQMJDBUJPOT$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPONot Good
Not GoodGood

Good

Visualization
Visualization

Interactive
Interactive
Optimization
Optimization
User’sUser’s
Edit Edit
Parameter
Parameter
Space Space

Suggested
Suggested
Designs
Designs

5IBOL:PV
$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO.JDSP5BTLGPS$SPXETPVSDJOH

8IBUJTUIFHPPEOFTTTDPSF ✗OB®WFBQQSPBDI
••BTLBCTPMVUFWBMVFEJDVMUUPDPOTJTUFOUMZBOTXFSFWFSZUJNF
EJFSFOUTDBMFGPSFBDIXPSLFS$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO.JDSP5BTLGPS$SPXETPVSDJOH

8IJDIJTCFUUFS ✔QBJSXJTFDPNQBSJTPO<4FDPSE(JOHPME$IBVEPIVSJ>

àFBTZGPSOPOFYQFSUT TVJUBCMFGPSDSPXETPVSDJOH$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO.JDSP5BTLGPS$SPXETPVSDJOH
Which of the two images of <OPVO>is more <BEKFDUJWF>? 	

For example, <DMBVTF>.	

Please choose the most appropriate one from the 5 options below.	

&YBNQMFPGVTFSˏTTQFDJDBUJPO<OPVO> vegetable
<BEKFDUJWF> good<DMBVTF>

suppose that you had to choose one of these two images toappear in a magazine or product advertisement	

$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO.JDSP5BTLGPS$SPXETPVSDJOH
2



















$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO2VBMJUZ$POUSPM
ˑ%VQMJDBUF˒BQQSPBDI<4FDPSE (JOHPME $IBVEIVSJ>
2

2





















%FUFDUDPOUSBEJDUJPO$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO2VBMJUZ$POUSPM
ˑ%VQMJDBUF˒BQQSPBDI<4FDPSE(JOHPME$IBVEIVSJ>
 "TLRVFTUJPOTSTU
 "TLUIFTBNFRVFTUJPOTXJUIJQQFEBSSBOHFNFOUT*GBQBJSPGBOTXFSTJTDPOUSBEJDUFEàEJTDBSEUIFN*GPWFSIBMGBOTXFSTBSFDPOUSBEJDUFEàEJTDBSEBMMPGUIFN$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO$SPXETPVSDJOH)VNBO$PNQVUBUJPO$SPXE1PXFSFE)VNBO$PNQVUBUJPO)VNBO@$PNQVUBUJPO@@$SPXETPVSDJOH$SPXETPVSDJOHBTLDSPXEXPSLFSTUPEPTPNFUBTLT)VNBO$PNQVUBUJPOBTTVNFIVNBOBTBQSPDFTTPSàTFF<2VJOO>GPSEFUBJMT$SPXE1PXFSFE1BSBNFUFS"OBMZTJTGPS7JTVBM%FTJHO&YQMPSBUJPO