= Vključevanje realnih problemov v primerjavo večkriterijskih optimizacijskih algoritmov =
<<BR>> ''[[ARRSProjekti/2017/SeznamARRSProjekti2017|Nazaj na seznam za leto 2017]]''

----
=== Oznaka in naziv projekta ===
Z2-8177 - Vključevanje realnih problemov v primerjavo večkriterijskih optimizacijskih algoritmov<<BR>> Z2-8177 - Incorporating real-world problems into the benchmarking of multiobjective optimizers

=== Logotipi ARRS in drugih sofinancerjev ===
{{attachment:ARRS_logotip.jpg|© Javna agencija za raziskovalno dejavnost Republike Slovenije|height="150"}}

=== Projektna skupina ===
Vodja projekta: '''dr. Tea Tušar''', [[http://www.sicris.si/public/jqm/search_basic.aspx?lang=slv&opdescr=search&opt=2&subopt=1&code1=cmn&code2=auto&search_term=tea%20tušar|SICRIS]]

=== Vsebinski opis projekta ===
Realni optimizacijski problemi, ki jih najdemo v inženirstvu, medicini in na drugih področjih, so po naravi večinoma večkriterijski, saj iščejo kompromise med, na primer, visoko kakovostjo in nizkimi stroški. Zelo pogosto nimamo vpogleda v lastnosti funkcij, ki jih želimo optimirati, kar pomeni, da imamo opravka s tako imenovanimi optimizacijskimi problemi črne škatle. Obstaja na stotine algoritmov za reševanje večkriterijskih optimizacijskih problemov črne škatle. Njihovo uspešnost lahko primerjamo med sabo samo s testiranjem na testnih problemih. Odprtokodna platforma za primerjavo optimizacijskih algoritmov [[https://github.com/numbbo/coco|COCO]] (angl. Comparing Continuous Optimizers), je bila pred kratkim razširjena z dvokriterijskimi testnimi problemi. To je bil pomemben napredek v metodologiji ocenjevanja uspešnosti v večkriterijski optimizaciji, saj COCO uspešnost ocenjuje s pristopom s fiksno ciljno vrednostjo (namesto s pristopom s fiksnim številom vrednotenj), ki omogoča kvantitativno interpretacijo rezultatov.

Čeprav primerjava večkriterijskih optimizacijskih algoritmov s platformo COCO pomeni pomemben korak naprej, so trenutni večkriterijski problemi v tej platformi (kot tudi drugih dostopnih zbirkah testnih problemov) v svojem bistvu še vedno sintetični in ne vključujejo pomembnih lastnosti realnih problemov, kot so: mešane spremenljivke, omejitve, dolgotrajna vrednotenja in vrednotenja v svežnjih. Za raziskave je na voljo le peščica realnih večkriterijskih optimizacijskih problemov, zato raziskovalci na področju večkriterijske optimizacije prepoznavajo potrebo po prosto dostopni zbirki realnih testnih problemov, modelov realnih problemov ter bolj realističnih sintetičnih problemov.

Ideja tega projekta je nadgraditi uveljavljeno platformo COCO in jo razširiti z vključitvijo realnih problemov in njihovih lastnosti z namenom premostitve vrzeli med raziskavami in praktično uporabo večkriterijskih optimizacijskih metod. Natančneje, glavni cilji tega projekta so: (1) razširiti formulacijo testnih problemov in metodologijo ocenjevanja uspešnosti v platformi COCO, da bosta podpirali posebnosti realnih problemov, (2) zgraditi novo zbirko večkriterijskih optimizacijskih problemov, ki bo vsebovala realne probleme, modele realnih problemov in sintetične probleme z lastnostmi realnih problemov, ter (3) razviti algoritem, ki bo omogočal reševanje problemov iz te nove zbirke, in njegove rezultate dati na voljo za prihodnje primerjave.

Nova zbirka večkriterijskih optimizacijskih problemov bo vključena v prihodnje delavnice BBOB (angl. Black-box Optimization Benchmarking) na priznanih konferencah s področja evolucijskega računanja, zato lahko upravičeno pričakujemo, da bo rezultat projekta imel velik vpliv v večkriterijski optimizacijski skupnosti.

Projekt financira Javna agencija za raziskovalno dejavnost Republike Slovenije.

Osnovni podatki sofinanciranja so dostopni na spletni strani [[http://www.sicris.si/|SICRIS]].

=== Faze projekta ===
Projekt je potekal od 1. 5. 2017 do 30. 4. 2019 (podaljšan do 31. 12. 2019).

Delo na projektu je organizirano v tri zaporedne vsebinske delovne sklope z dodatnim delovnim sklopom za organizacijo projekta in diseminacijo njegovih rezultatov, ki bo potekal čez celotno trajanje projekta.

 1. Prilagoditev formulacije problema in metodologije ocenjevanja uspešnosti (M1-M10)
  * Podpiranje mešanih spremenljivk
  * Podpiranje omejitev
  * Podpiranje dolgotrajnih vrednotenj
  * Podpiranje asinhronih vrednotenj kriterijev
 1. Izgradnja zbirke testnih problemov (M11-M18)
  * Vključevanje realnih problemov
  * Vključevanje modelov realnih problemov
  * Vključevanje sintetičnih problemov z lastnostmi realnih problemov
 1. Razvoj algoritma (M19-M24)
  * Snovanje algoritma
  * Implementiranje in preizkušanje algoritma
 1. Organizacija in diseminacija (M1-M24)
  * Organiziranje projektnega dela
  * Diseminiranje rezultatov projekta

Projekt se je zaključil brez odstopanj od predvidenega programa.

=== Bibliografske reference ===
[[http://splet02.izum.si/cobiss/bibliography?code=24894&langbib=slv&fromyear=2017&toyear=2021|Vse reference od 2017 do 2021 (SICRIS)]]

Reference, ki izhajajo iz projekta, so navedene glede na kategorizacijo v COBISSu:

==== 1.01 Izvirni znanstveni članek ====
 * BROCKHOFF, Dimo, AUGER, Anne, HANSEN, Nikolaus, TUŠAR, Tea. Using well-understood single-objective functions in multiobjective black-box optimization test suites. Evolutionary computation. [in press] 2021, 29 str. ISSN 1063-6560. DOI: 10.1162/evco_a_00298. [COBISS.SI-ID 83048195]

 * HANSEN, Nikolaus, AUGER, Anne, ROS, Raymond, MERSMANN, Olaf, TUŠAR, Tea, BROCKHOFF, Dimo. COCO : a platform for comparing continuous optimizers in a black-box setting. Optimization methods & software. Print ed. 2021, vol. 36, no. 1, str. 114-144. ISSN 1055-6788. DOI: 10.1080/10556788.2020.1808977. [COBISS.SI-ID 26252803] 

 * VARELAS, Konstantinos, EL HARA, Ouassim Ait, BROCKHOFF, Dimo, HANSEN, Nikolaus, MANH NGUYEN, Duc, TUŠAR, Tea, AUGER, Anne. Benchmarking large-scale continuous optimizers : the bbob-largescale testbed, a COCO software guide and beyond. Applied soft computing. [Print ed.]. 2020, vol. 97, part a, str. 106737-1-106737-13. ISSN 1568-4946. DOI: 10.1016/j.asoc.2020.106737. [COBISS.SI-ID 31431427] 

==== 1.08 Objavljeni znanstveni prispevek na konferenci ====
 * DE LORENZO, Andrea, MEDVET, Eric, TUŠAR, Tea, BARTOLI, Alberto. An analysis of dimensionality reduction techniques for visualizing evolution. GECCO' 19 : Proceedings of the Genetic and Evolutionary Computation Conference Companion, Prague, Czech Republic - July 13 - 17, 2019. New York: ACM = The Association for Computing Machinery, 2019. Str. 1864-1872. ISBN 978-1-4503-6748-6. DOI: 10.1145/3319619.3326868. [COBISS.SI-ID 32547879]

 * TUŠAR, Tea, BROCKHOFF, Dimo, HANSEN, Nikolaus. Mixed-integer benchmark problems for single- and bi-objective optimization. V: LÓPEZ-IBÁÑEZ, Manuel (ur.). GECCO '19 : Proceedings of the Genetic and Evolutionary Computation Conference Prague, Czech Republic - July 13 - 17, 2019. New York: ACM = Association for Computing Machinery, 2019. Str. 718-726. ISBN 978-1-4503-6111-8. DOI: 10.1145/3321707.3321868. [COBISS.SI-ID 32548135]

 * VOLZ, Vanessa, NAUJOKS, Boris, KERSCHKE, Pascal, TUŠAR, Tea. Single- and multi-objective game-benchmark for evolutionary algorithms. V: LÓPEZ-IBÁÑEZ, Manuel (ur.). GECCO '19 : Proceedings of the Genetic and Evolutionary Computation Conference Prague, Czech Republic - July 13 - 17, 2019. New York: ACM = Association for Computing Machinery, 2019. Str. 647-655. ISBN 978-1-4503-6111-8. https://dl.acm.org/citation.cfm?id=3321805, DOI: 10.1145/3321707.3321805. [COBISS.SI-ID 32547623]

 * BROCKHOFF, Dimo, TUŠAR, Tea. Benchmarking algorithms from the platypus framework on the biobjective bbob-biobj testbed. V: GECCO' 19 : Proceedings of the Genetic and Evolutionary Computation Conference Companion, Prague, Czech Republic - July 13 - 17, 2019. New York: ACM = The Association for Computing Machinery, 2019. Str. 1905-1911. ISBN 978-1-4503-6748-6. https://dl.acm.org/citation.cfm?id=3326896, DOI: 10.1145/3319619.3326896. [COBISS.SI-ID 32548391]

 * TUŠAR, Tea, VOLZ, Vanessa, BROCKHOFF, Dimo, HANSEN, Nikolaus. Handling real-world problems within the COCO platform. V: LUŠTREK, Mitja (ur.), GAMS, Matjaž (ur.), PILTAVER, Rok (ur.). Slovenska konferenca o umetni inteligenci : zbornik 22. Mednarodne multikonference Informacijska družba - IS 2019, 10. oktober 2019 : zvezek A = Slovenian Conference on Artificial Intelligence : proceedings of the 22nd International Multiconference Information Society - IS 2019, 10 October, 2019, Ljubljana, Slovenia : volume A. Ljubljana: Institut "Jožef Stefan", 2019. Str. 37-40. Informacijska družba. ISBN 978-961-264-155-9, ISBN 978-961-264-156-6. ISSN 2630-371X. http://library.ijs.si/Stacks/Proceedings/InformationSociety/2019/IS2019_Volume_A.pdf. [COBISS.SI-ID 32845351]

 * FILIPIČ, Bogdan, TUŠAR, Tea. A taxonomy of methods for visualizing Pareto front approximations. V: GECCO 2018, the Genetic and Evolutionary Computation Conference [a recombination of the 27th International Conference on Genetic Algorithms (ICGA) and the 23rd Annual Genetic Programming Conference (GP)], July 15th - 19th 2018, Kyoto, Japan. New York: ACM = Association for Computing Machinery. 2018, str. 649-656, doi: 10.1145/3205455.3205607. [COBISS.SI-ID 31727143]

 * VODOPIJA, Aljoša, TUŠAR, Tea, FILIPIČ, Bogdan. Comparing black-box differential evolution and classic differential evolution. V: GECCO 2018, the Genetic and Evolutionary Computation Conference Companion a recombination of the 27th International Conference on Genetic Algorithms (ICGA) and the 23rd Annual Genetic Programming Conference (GP), July 15th - 19th 2018, Kyoto, Japan. New York: ACM = Association for Computing Machinery. 2018, str. 1537-1544, doi: 10.1145/3205651.3208309. [COBISS.SI-ID 31575079]

 * TUŠAR, Tea. On using real-world problems for benchmarking multiobjective optimization algorithms. V: FILIPIČ, Bogdan (ur.), BARTZ-BEIELSTEIN, Thomas (ur.). Mednarodna konferenca o visokozmogljivi optimizaciji v industriji, HPOI 2018 : zbornik 21. mednarodne multikonference Informacijska družba - IS 2018, 8.-12. oktober 2018, Ljubljana, Slovenia : zvezek D = International Conference on High-Performance Optimization in Industry, HPOI 2018 : proceedings of the 21st International Multiconference Information Society - IS 2018, 8-12 October, 2018, [Ljubljana, Slovenia] : volume D, (Informacijska družba, ISSN 2630-371X). Ljubljana: Institut "Jožef Stefan". 2018, str. 7-10. [[https://is.ijs.si/archive/proceedings/2018/files/Zbornik%20-%20D.pdf|https://is.ijs.si/archive/proceedings/2018/files/Zbornik%20-%20D.pdf]]. [COBISS.SI-ID 31874855]

 * TUŠAR, Tea, HANSEN, Nikolaus, BROCKHOFF, Dimo. Anytime benchmarking of budget-dependent algorithms with the COCO platform. V: LUŠTREK, Mitja (ur.), PILTAVER, Rok (ur.), GAMS, Matjaž (ur.). Slovenska konferenca o umetni inteligenci : zbornik 20. mednarodne multikonference Informacijska družba - IS 2017, 9.-13. oktober 2017, [Ljubljana, Slovenia] : zvezek A = Slovenian Conference on Artificial Intelligence : proceedings of the 20th International Multiconference Information Society - IS 2017, 9th-13th October, 2017, Ljubljana, Slovenia : volume A. Ljubljana: Institut Jožef Stefan. 2017, str. 47-50. [[https://is.ijs.si/archive/proceedings/2017/files/Zbornik%20-%20A.pdf|https://is.ijs.si/archive/proceedings/2017/files/Zbornik%20-%20A.pdf]]. [COBISS.SI-ID 30856231]

==== 1.12 Objavljeni povzetek znanstvenega prispevka na konferenci ====

 * BLOM, Koern van der, DEIST, Timo M., TUŠAR, Tea, MARCHI, Mariapia, NOJIMA, Yusuke, OYAMA, Akira, VOLZ, Vanessa, NAUJOKS, Boris. Towards realistic optimization benchmarks : a questionnaire on the properties of real-world problems. V: GECCO '20 Proceedings of the 2020 Genetic and Evolutionary Computation Conference Companion, July 2020, Cancún, Mexico. New York: ACM = Association for Computing Machinery, 2020. Str. 293-294. ISBN 978-1-4503-7127-8. https://dl.acm.org/doi/10.1145/3377929.3389974. [COBISS.SI-ID 25684995] 

 * FILIPIČ, Bogdan, TUŠAR, Tea. Visualization in multiobjective optimization. V: GECCO '20 Proceedings of the 2020 Genetic and Evolutionary Computation Conference Companion, July 2020, Cancún, Mexico. New York: ACM = Association for Computing Machinery, 2020. Str. 775-800. ISBN 978-1-4503-7127-8. https://dl.acm.org/doi/10.1145/3377929.3389867, DOI: 10.1145/3377929.3389867. [COBISS.SI-ID 25685763] 

 * TUŠAR, Tea. Nove zbirke testnih problemov v platformi COCO. V: FILIPIČ, Bogdan (ur.), MERNIK, Marjan (ur.), PAPA, Gregor (ur.). Zbornik povzetkov slovenskih delavnic "Algoritmi po vzorih iz narave" v študijskem letu 2019/2020. Ljubljana: Institut "Jožef Stefan", 2020. Str. 8. [COBISS.SI-ID 38455299] 

 * FILIPIČ, Bogdan, TUŠAR, Tea. Visualization in multiobjective optimization. V: GECCO' 19 : Proceedings of the Genetic and Evolutionary Computation Conference Companion, Prague, Czech Republic - July 13 - 17, 2019. New York: ACM = The Association for Computing Machinery, 2019. Str. 951-974. ISBN 978-1-4503-6748-6. DOI: 10.1145/3319619.3323374. [COBISS.SI-ID 32548903]

 * FILIPIČ, Bogdan, TUŠAR, Tea. Visualization in multiobjective optimization. V: GECCO 2018, the Genetic and Evolutionary Computation Conference Companion a recombination of the 27th International Conference on Genetic Algorithms (ICGA) and the 23rd Annual Genetic Programming Conference (GP), July 15th - 19th 2018, Kyoto, Japan. New York: ACM = Association for Computing Machinery. 2018, str. 856-879, doi: 10.1145/3205651.3207891. [COBISS.SI-ID 31727399]

==== 1.16 Samostojni znanstveni sestavek ali poglavje v monografski publikaciji ====
 * AGUIRRE, Hernan, KIYOSHI, Tanaka, TUŠAR, Tea, FILIPIČ, Bogdan. Optimization and visualization in many-objective space trajectory design. V: BARTZ-BEIELSTEIN, Thomas (ur.), FILIPIČ, Bogdan (ur.), KOROŠEC, Peter (ur.). High-performance simulation-based optimization. Cham: Springer, cop. 2020. Str. 93-112. Studies in computational intelligence, vol. 833. ISBN 978-3-030-18763-7, ISBN 978-3-030-18764-4. ISSN 1860-949X. [COBISS.SI-ID 32412711]

 * STORK, Jörg, FRIESE, Martina, ZAEFFERER, Martin, BARTZ-BEIELSTEIN, Thomas, FISCHBACH, Andreas, BREIDERHOFF, Beate, NAUJOKS, Boris, TUŠAR, Tea. Open issues in surrogate-assisted optimization. V: BARTZ-BEIELSTEIN, Thomas (ur.), FILIPIČ, Bogdan (ur.), KOROŠEC, Peter (ur.). High-performance simulation-based optimization. Cham: Springer, cop. 2020. Str. 225-244. Studies in computational intelligence, vol. 833. ISBN 978-3-030-18763-7, ISBN 978-3-030-18764-4. ISSN 1860-949X. [COBISS.SI-ID 32412967]

==== 1.22 Intervju ====
 * TUŠAR, Tea (intervjuvanec). Sile, ki premikajo male žužke. Gea : poljudnoznanstvena revija, ISSN 0353-782X. [Tiskana izd.], sep. 2017, letn. 27, št. 9, str. 26-29. [COBISS.SI-ID 31051047]

==== 2.13 Elaborat, predštudija, študija ====
 * VODOPIJA, Aljoša, TUŠAR, Tea, FILIPIČ, Bogdan. Comparing black-box differential evolution and classic differential evolution : revisited investigation of invariance to rotation, (IJS delovno poročilo, 12585). 2018. [COBISS.SI-ID 31525671]

==== 2.21 Programska oprema ====
 * HANSEN, Nikolaus, TUŠAR, Tea, et al. COCO : a platform for comparing continuous optimizers in a black-box setting : verzija 2.3, 15. 3. 2019. Paris: INRIA, 2019. https://github.com/numbbo/coco. [COBISS.SI-ID 33003303]
 * HANSEN, Nikolaus, TUŠAR, Dejan, TUŠAR, Tea, et al.. COCO : a platform for comparing continuous optimizers in a black-box setting : verzija 2.2, 2. 3. 2018. Paris: INRIA, 2018. https://github.com/numbbo/coco. [COBISS.SI-ID 31245095]

==== 3.14 Predavanje na tuji univerzi ====
 * TUŠAR, Tea. Towards using real-world problems for benchmarking multiobjective optimizers : invited talk, Institute for Data Science, Engineering, and Analytics, Cologne University of Applied Sciences, 25 May 2018, Gummersbach, DE. [COBISS.SI-ID 31453479]

 * TUŠAR, Tea. Večkriterijska optimizacija z evolucijskimi algoritmi : vabljeno predavanje, Univerza v Ljubljani, Fakulteta za matematiko in fiziko, 2. junij 2017, Ljubljana, Slovenija. [COBISS.SI-ID 30943015]

 * TUŠAR, Tea, FILIPIČ, Bogdan, AGUIRRE, Hernan. Visualizing the progress of multiobjective optimization : the DESTINY mission case study : invited talk, Shinshu University, Faculty of Engineering, 16th November 2017, Nagano, Japan. [COBISS.SI-ID 32113447]

==== 3.15 Prispevek na konferenci brez natisa ====
 * VODOPIJA, Aljoša, TUŠAR, Tea, FILIPIČ, Bogdan. Modifying differential evolution for black-box optimization : presented at MESS 2018, Metaheuristics Summer School "From design to implementation", 21-25 July 2018, Acireale, Sicily, Italy. [COBISS.SI-ID 31647527]

 * TUŠAR, Tea. Towards benchmarking multi-objective optimizers with real-world problems : presented at 1st International Workshop on Computational Intelligence for Massive Optimization, (CIMO 2018), July 12-13, 2018, Nagano, Japan. [COBISS.SI-ID 32015655]

 * FILIPIČ, Bogdan, TUŠAR, Tea. Visualization in multiobjective optimization : IEEE Congress on Evolutionary Computation, CEC 2017, 5-8 June, 2017, Donostia, San Sebastian, Espain. [COBISS.SI-ID 30553127]

----
[[ARRSProjekti/SeznamARRSProjekti|Nazaj na seznam projektov po letih]]