Automating literature screening with large language models
Електронна бібліотека НАПН України
View Archive Info| Field | Value | |
| Relation |
https://lib.iitta.gov.ua/id/eprint/741791/
https://itest.chdtu.edu.ua/Conference-Proceedings-ITEST-2024_25_06.pdf#page=130 |
|
| Title |
Automating literature screening with large language models
Автоматизація перевірки літератури за допомогою великих мовних моделей |
|
| Creator |
Semerikov, Serhiy O.
Mintii, I.S. |
|
| Subject |
001.8 Methodology
004 Computer science and technology. Computing. Data processing |
|
| Description |
Screening research papers for inclusion in a literature review is a time-consuming manual process. We explore automating this process using OpenAI’s GPT-3.5 Turbo large language model (LLM). Given text prompts specifying the inclusion/exclusion criteria, the LLM evaluated the abstract of each paper. It is classified into one of four categories: meeting both criteria, violating the first criteria, violating the second criteria, or violating both criteria. Our Python code interfaced with the OpenAI API to pass paper abstracts as prompts to the LLM. For 347 papers, the LLM flagged 173 as meeting the criteria, with 3 additional papers included after accounting for missing abstracts, yielding 176 papers selected for full-text retrieval. A manual review of a sample suggested reasonable accuracy. While further validation is needed, this demonstrates LLMs’ potential for accelerating systematic literature reviews.
Відбір дослідницьких статей для включення до огляду літератури є трудомістким ручним процесом. Ми досліджуємо автоматизацію цього процесу за допомогою великої мовної моделі (LLM) OpenAI GPT-3.5 Turbo. Враховуючи текстові підказки із зазначенням критеріїв включення/виключення, магістр права оцінив анотацію кожної статті. Його класифікують за однією з чотирьох категорій: відповідає обом критеріям, порушує перший критерій, порушує другий критерій або порушує обидва критерії. Наш код на Python інтерфейсував із OpenAI API, щоб передавати анотації до LLM як підказки. З 347 статей LLM позначив 173 як такі, що відповідають критеріям, з 3 додатковими статтями, включеними після врахування відсутніх тез, у результаті чого 176 статей було відібрано для повнотекстового пошуку. Перевірка зразка вручну показала прийнятну точність. Хоча необхідна подальша перевірка, це демонструє потенціал LLM для прискорення систематичних оглядів літератури. |
|
| Publisher |
ЧДТУ
|
|
| Date |
2024
|
|
| Type |
Book Section
PeerReviewed |
|
| Format |
text
|
|
| Language |
en
|
|
| Identifier |
https://lib.iitta.gov.ua/id/eprint/741791/1/Conference-Proceedings-ITEST-2024_25_06-130-132.pdf
- Semerikov, Serhiy O. (orcid.org/0000-0003-3586-4311 <http://orcid.org/0000-0003-3586-4311>) and Mintii, I.S. (orcid.org/0000-0003-0789-0272 <http://orcid.org/0000-0003-0789-0272>) (2024) Automating literature screening with large language models In: Conference proceedings of the VII International Scientific-Practical Conference “Information Technology for Education, Science and Technics” (ITEST-2024), (Cherkasy, May 23-24, 2024) . ЧДТУ, м. Черкаси, Україна, pp. 130-132. |
|