Evaluating Tool-Augmented ReAct Language Agents
Treballs finals del Màster de Fonaments de Ciència de Dades, Facultat de matemàtiques, Universitat de Barcelona. Any: 2025. Tutor: Laura Igual Muñoz i Pablo Álvarez
| Author: | |
|---|---|
| Format: | Master's thesis |
| Publication date: | 2025 |
| Country: | España |
| Institution: | Universidad de Barcelona |
| Repository: | Dipòsit Digital de la UB |
| OAI Identifier: | oai:diposit.ub.edu:2445/223176 |
| Online Access: | https://hdl.handle.net/2445/223176 |
| Access Level: | Open access |
| Keyword: | Tractament del llenguatge natural (Informàtica) Intel·ligència artificial Agents intel·ligents (Programari) Treballs de fi de màster Natural language processing (Computer science) Artificial intelligence Intelligent agents (Computer software) Master's thesis |
| _version_ | 1878735588065017856 |
|---|---|
| author | Eguzkitza Zalakain, Jokin |
| author_browse | Eguzkitza Zalakain, Jokin |
| author_facet | Eguzkitza Zalakain, Jokin |
| author_role | author |
| collection | Dipòsit Digital de la UB |
| description | Treballs finals del Màster de Fonaments de Ciència de Dades, Facultat de matemàtiques, Universitat de Barcelona. Any: 2025. Tutor: Laura Igual Muñoz i Pablo Álvarez |
| eu_rights_str_mv | openAccess |
| format | masterThesis |
| id | ES_7fb2a8e7bb4087d63014e64cfd487f52 |
| institution | Universidad de Barcelona |
| instname_str | Universidad de Barcelona |
| network_acronym_str | ES |
| network_name_str | España |
| oai_identifier_str | oai:diposit.ub.edu:2445/223176 |
| publishDate | 2025 |
| publishDateSort | 2025 |
| reponame_str | Dipòsit Digital de la UB |
| spelling | Evaluating Tool-Augmented ReAct Language Agents Eguzkitza Zalakain, Jokin Tractament del llenguatge natural (Informàtica) Intel·ligència artificial Agents intel·ligents (Programari) Treballs de fi de màster Natural language processing (Computer science) Artificial intelligence Intelligent agents (Computer software) Master's thesis Treballs finals del Màster de Fonaments de Ciència de Dades, Facultat de matemàtiques, Universitat de Barcelona. Any: 2025. Tutor: Laura Igual Muñoz i Pablo Álvarez This thesis studies how to evaluate ReAct agents that use external tools. ReAct agents are AI Agents that combine reasoning and tool use (functions), allowing large language models to perform tasks that require accessing external sources of information. These agents are becoming more common in real applications, but evaluating their behaviour remains a challenge. Using LangGraph and LangChain three different AI agents are created using locally deployed LLM models served with Ollama. These agents use open-source tools like Wikipedia, Wikidata, Yahoo Finance and PDF readers. To evaluate them, the project combines rule-based checks with RAGAS metrics to measure tool use, answer quality, factual correctness and context use. The results show that prompt design is very important to guide the agent’s behaviour, and that typical question-answer metrics are not always enough to measure how well an agent works. This work offers a simple and practical way to test LLM agents. All the corresponding code notebook can be found on the following repository, https://github.com/Jokinn9/Evaluating-Tool-Augmented-ReAct-Language-Agents https://hdl.handle.net/2445/223176 |
| spellingShingle | Evaluating Tool-Augmented ReAct Language Agents Eguzkitza Zalakain, Jokin Tractament del llenguatge natural (Informàtica) Intel·ligència artificial Agents intel·ligents (Programari) Treballs de fi de màster Natural language processing (Computer science) Artificial intelligence Intelligent agents (Computer software) Master's thesis |
| title | Evaluating Tool-Augmented ReAct Language Agents |
| title_full | Evaluating Tool-Augmented ReAct Language Agents |
| title_fullStr | Evaluating Tool-Augmented ReAct Language Agents |
| title_full_unstemmed | Evaluating Tool-Augmented ReAct Language Agents |
| title_short | Evaluating Tool-Augmented ReAct Language Agents |
| title_sort | Evaluating Tool-Augmented ReAct Language Agents |
| topic | Tractament del llenguatge natural (Informàtica) Intel·ligència artificial Agents intel·ligents (Programari) Treballs de fi de màster Natural language processing (Computer science) Artificial intelligence Intelligent agents (Computer software) Master's thesis |
| topic_facet | Tractament del llenguatge natural (Informàtica) Intel·ligència artificial Agents intel·ligents (Programari) Treballs de fi de màster Natural language processing (Computer science) Artificial intelligence Intelligent agents (Computer software) Master's thesis |
| url | https://hdl.handle.net/2445/223176 |