Mr-BEC: Sodobni pristopi za primerjalno analizo v evolucijskem računanju

Nazaj na seznam za leto 2019

---

Oznaka in naziv projekta

Z2-1867 Mr-BEC: Sodobni pristopi za primerjalno analizo v evolucijskem računanju
Z2-1867 Mr-BEC: Modern approaches for Benchmarking in Evolutionary Computation

Logotipi ARRS in drugih sofinancerjev

Projektna skupina

Vodja projekta: dr. Tome Eftimov

Vsebinski opis projekta

Pri evolucijskem računanju (ER), delu računalniške inteligence, so glavne raziskave osredotočene na razvoj algoritmov za globalno optimizacijo, ki se zgledujejo po biološki evoluciji. Ti algoritmi so primerni za učinkovito iskanje dobrih rešitev NP‑težkih problemov, ki jih ni mogoče izračunati bodisi v analitski ali polanalitski obliki, kakor tudi ne z determinističnimi (natančnimi) algoritmi. Veliko realnih primerov vključuje optimizacijske probleme, npr.: zmanjševanje tveganj, zmanjševanje stroškov, maksimiranje zanesljivosti, čim večjo učinkovitost itd. Še več, ti v kombinaciji z algoritmi strojnega učenja postajajo močne tehnike za reševanje številnih napovednih problemov v industriji.

Primerjalna analiza je v ER ključna pri ovrednotenju uspešnosti (novo uvedenega) optimizacijskega algoritma napram drugim algoritmom. Teorija primerjalne analize vključuje tri glavna vprašanja: i) katere probleme je treba izbrati za primerjalno analizo, ii) kako nastaviti poskuse in iii) kako ovrednotiti uspešnost. Težišče predlaganega projekta so pristopi ovrednotenje uspešnosti, ki se uporabljajo, ko so problemi že izbrani in poskusi določeni.

Obstoječi pristopi za ovrednotenje uspešnosti temeljijo na statistični primerjavi rezultatov optimizacijskih algoritmov. Čeprav je za raziskave ključnega pomena, da so pristopi za ovrednotenje uspešnosti povezani s statistično relevantnostjo, v realnem svetu še vedno obstaja velika razlika med teorijo in prakso, saj se včasih statistična relevantnost ne odraža v praksi. Dodatna težava je izbira mer uspešnosti, s katerimi lahko opisujemo različne vidike uspešnosti. Lahko se zgodi, da je ovrednotena dobra uspešnost algoritma bolj rezultat korelacije med izbrano mero uspešnosti in metodologijo algoritma, kot dejanska nepristransko dobljena uspešnost (npr. z uporabo mere, ki je bolj naklonjena primerjavi analiziranega algoritma). Mera uspešnosti običajno pretvori rezultate optimiranja v enodimenzionalne podatke, ki se analizirajo ne da bi pri tem upoštevali informacije zajete v večdimenzionalnem prostoru, kar bi lahko dalo dodaten vpogled v učinkovitost optimizacijskega algoritma. Da bi zagotovili resnično poglobljeno razumevanje uspešnosti algoritmov je treba poleg »preprostih« statistik v celoti obravnavati vsa omenjena vprašanja. To bo izboljšalo uporabnost optimizacijskih algoritmov.

Glavni cilj predlaganega projekta je iznajti, razviti, implementirati in ovrednotiti ogrodje za primerjalno analizo v ER, ki bo sestavljeno iz metodologij za poglobljeno razumevanje obnašanja optimizacijskih algoritmov. Še posebej se bo metodologija osredotočala na ugotavljanje praktične relevantnosti rezultatov, pridobivanja znanja iz večdimenzionalnih prostorov in pridobivanja splošnejših zaključkov z uporabo več mer uspešnosti namesto ene. V predlagani metodologiji bodo sodobni pristopi za primerjalno analizo temeljili na sinergiji med statistikami (frekvenčna in Bayesova), informacijsko teorijo in teorijo naključnih matrik. Osnovna ideja predlagane metodologije je uvedba rangirne sheme za pretvorbo neobdelanih podatkov v vhodne podatke za analizo z ustreznim statističnim testom. Vsem rangirnim shemam bo skupno to, da bodo temeljile na primerjavi distribucij in tako skušale obravnavati podatke, ki opisujejo različne vidike uspešnosti. Razvoj predlagane metodologije in njeno izvajanje je motiviran z nenehno rastjo industrijskih optimizacijskih problemov, kar vodi v zahtevo po boljšem razumevanju narave in metodologije algoritmov. Pričakujemo, da bo vpliv predlagane metodologije v sodobnih pristopih za primerjalno analizo pri ER vodil k poglobljenemu razumevanju uspešnosti optimizacijskih algoritmov. Pričakujemo, da bomo identificirali primere z drugih raziskovalnih področij, kot so obdelava naravnega jezika, strojno učenje in obdelava signalov ter tako pokazali splošno uporabnost predlagane metodologije.

Osnovni podatki sofinanciranja so dostopni na spletni strani SICRIS.

Faze projekta

Predlagani raziskovalni projekt bo inovativen glede na naslednje temeljne cilje, ki jih želimo doseči:

1. Razviti metodologijo za ugotavljanje praktičnega pomena in jo eksperimentalno ovrednotiti na javno dostopnih primerjalnih optimizacijskih problemih. 2. Razviti metodologijo za večdimenzionalne podatke ter preizkusiti razvito metodologijo v večmodalnem iskalnem prostoru enokriterijske optimizacije in večdimenzionalnih rezultatih pridobljenih iz večkriterijske optimizacije.

3. Razviti metodologijo za splošnejši zaključek primerjalnih analiz z uporabo niza mer uspešnosti in opraviti njihovo analizo občutljivosti.

4. Implementirati vse predlagane metodologije kot spletne storitve vključene v javno dostopno spletno platformo (http://ws.ijs.si/dsc/), ki se trenutno razvija na Institutu »Jožef Stefan«.

5. Predstaviti uporabnost metodologije na treh raziskovalnih področjih, ki ne sodijo na področje evolucijskega računanja, in sicer: (i) strojno učenje, (ii) obdelava naravnega jezika in (iii) obdelava signalov.

Več informacij: http://cs.ijs.si/project/mrbec/

Bibliografske reference

• Reference - SICRIS

Journal articles:

• Eftimov, T., Paudel, B., Popovski, G., & Kocev, D. (2021). A Framework for Evaluating Personalized Ranking Systems by Fusing Different Evaluation Measures. Big Data Research, 25, 100211.

• Eftimov, T.,& Korošec, P. (2021). Deep Statistical Comparison for Multi-Objective Stochastic Optimization Algorithms. Swarm and Evolutionary Computation.

• Eftimov, T., Popovski, G., Petković, M.,Koroušić Seljak, B., & Kocev, D. (2020). COVID-19 pandemic changes the food consumption patterns. Trends in food science & technology, 104, 268-272.

• Korošec, P., & Eftimov, T. (2020). Insights into Exploration and Exploitation Power of Optimization Algorithm Using DSCTool. Mathematics, 8(9), 1474.

• Korošec, P., & Eftimov, T. (2020). Multi-Objective Optimization Benchmarking Using DSCTool. Mathematics, 8, 839.

• Škvorc, U., Eftimov, T, & Korošec, P. (2020).Understanding the problem space in single-objective numerical optimization using exploratory landscape analysis. Applied Soft Computing, 106138.

• Simjanoska, M., Kochev, S., Tanevski, J., Bogdanova, A. M., Papa, G., & Eftimov, T. (2020). Multi-level information fusion for learning a blood pressure predictive model using sensor data. Information Fusion, 58, 24-39.

• Eftimov, T., Petelin, G., & Korošec, P. (2020). DSCTool: A web-service-based framework for statistical comparison of stochastic optimization algorithms. Applied Soft Computing, 87, 105977.

• Eftimov, T., & Korošec, P. (2019). Identifying practical significance through statistical comparison of meta-heuristic stochastic optimization algorithms. Applied Soft Computing, 85, 105862.

Conference articles:

• Jankovic A., Eftimov T., & Doerr C. (2021, April) Towards Feature-Based Performance Regression Using Trajectory Data. In: Castillo P.A., Jiménez Laredo J.L. (eds) Applications of Evolutionary Computation. EvoApplications 2021. Lecture Notes in Computer Science, vol 12694. Springer, Cham.

• Wang H., Castellanos C.I.H., & Eftimov T. (2021, March) On Statistical Analysis of MOEAs with Multiple Performance Indicators. In: Ishibuchi H. et al. (eds) Evolutionary Multi-Criterion Optimization. EMO 2021. Lecture Notes in Computer Science, vol 12654. Springer, Cham.

• Eftimov, T., Popovski, G., Renau, Q., Korosec, P., & Doerr, C. (2020, December). Linear Matrix Factorization Embeddings for Single-objective Optimization Landscapes. In Proceedings of the 2020 IEEE Symposium Series on Computational Intelligence.

• Škvorc, U., Eftimov, T., & Korošec, P. (2020, July). Using exploratory landscape analysis to visualize single-objective problems. In Proceedings of the 2020 Genetic and Evolutionary Computation Conference Companion (pp. 27-28).

• Eftimov, T., Hribar, R., Škvorc, U., Popovski, G., Petelin, G., & Korošec, P. (2020, July). PerformViz: a machine learning approach to visualize and understand the performance of single-objective optimization algorithms. In Proceedings of the 2020 Genetic and Evolutionary Computation Conference Companion (pp. 7-8).

• Eftimov, T., Petelin, G., Hribar, R., Popovski, G., Škvorc, U., & Korošec, P. (2020, July). Deep statistics: more robust performance statistics for single-objective optimization benchmarking. In Proceedings of the 2020 Genetic and Evolutionary Computation Conference Companion (pp. 5-6).

• Eftimov, T., & Korošec, P. (2020, July). Is the statistical significance between stochastic optimization algorithms' performances also significant in practice?. In Proceedings of the 2020 Genetic and Evolutionary Computation Conference Companion (pp. 19-20).

• Eftimov, T., Popovski, G., Kocev, D., & Korošec, P. (2020, July). Performance2vec: a step further in explainable stochastic optimization algorithm performance. In Proceedings of the 2020 Genetic and Evolutionary Computation Conference Companion (pp. 193-194).

• Paudel, B., Kocev, D., & Eftimov, T. (2019, December). Mix and Rank: A Framework for Benchmarking Recommender Systems. In 2019 IEEE International Conference on Big Data (Big Data) (pp. 3717-3726). IEEE.

Tutorials:

• Eftimov, T., & Korošec, P. (2020, September). Next Generation Statistics for Meta-heuristic Stochastic Optimization Algorithms (Tutorial at the 16th International Conference on Parallel Problem Solving from Nature (PPSN 2020), Leiden, The Netherlands.

• Eftimov, T., & Korošec, P. (2020, July). Statistical Analyses for Meta-heuristic Stochastic Optimization Algorithms (Tutorial at the Genetic and Evolutionary Computation Conference (GECCO 2020), Cancun, Mexico.

• Eftimov, T., Hribar, R., & Korošec, P. (2019, December). Deep Statistics: Next Generation Statistics for Optimization Algorithms (Tutorial at the 2019 IEEE Symposium Series on Computational Intelligence (IEEE SSCI 2019), Xiamen, China.

Workshops:

• Doerr, C., Eftimov, T., Kerschke, P., Oliveto, S., P., Preuss, M. & others (2020, September). Good Benchamrking Practicies for Evolutionary Computation (Workshop at the 16th International Conference on Parallel Problem Solving from Nature (PPSN 2020), Leiden, The Netherlands.

• Eftimov, T., La Cava, W., Najuoks, B., Oliveto, S., P., Volz, V., Weisse, T. & others (2020, July). Good Benchamrking Practicies for Evolutionary Computation (Workshop at the Genetic and Evolutionary Computation Conference (GECCO 2020), Cancun, Mexico.

• Zamuda, A., Eftimov, T., & Picek, S. (2020, July). Benchamrking Practicies of Evolutionary Algorithms for Discrete Optimization (Special Session at the IEEE World Confress on Computational Intelligence (IEEE WCCI), 2020 IEEE Congress on Evolutionary Computation (IEEE CEC 2020), Glasgow, UK..

---

Nazaj na seznam projektov po letih