Resumo: Na área de Inteligência Artificial (IA), os modelos de linguagem ganharam um espaço importante devido aos grandes avanços obtidos em vários campos de conhecimento e a recente popularização de sistemas capazes de simular conversas realistas com seres humanos através da geração de textos. Por conta dos seus impactos na sociedade, torna-se fundamental que esses modelos sejam desenvolvidos e implantados de forma responsável, com atenção aos seus impactos negativos e possíveis danos. Nos últimos anos, houve um aumento na publicação de Ferramentas de Ética para IA (AIETs, do inglês AI Ethics Tools). Essas AIETs têm como objetivo ajudar desenvolvedores, empresas, governos e outras partes interessadas a estabelecer confiança, transparência e responsabilidade com suas tecnologias. As AIETs visam trazer valores aceitos para orientar os estágios de projeto, desenvolvimento e uso da IA. No entanto, muitas AIETs carecem de boa documentação, exemplos de utilização e provas da sua eficácia. Neste trabalho, apresentamos uma metodologia abrangente para selecionar e avaliar AIETs em modelos de linguagem. Nossa abordagem envolveu a realização de uma extensa pesquisa bibliográfica sobre AIETs. Aplicamos critérios de inclusão e exclusão para filtrar todas as 213 AIETs encontradas, resultando em oito AIETs. Para testar e adaptar nosso método, entrevistamos três desenvolvedores do modelo CAPIVARA, onde aplicamos quatro AIETs diferentes -- Model Cards, ALTAI, FactSheets e Harms Modeling. Realizamos as entrevistas usando os itens de cada AIET analisada como um roteiro. A partir dos resultados preliminares, readaptamos a metodologia para avaliar apenas as AIETs Model Cards e Harms Modeling em quatro modelos de linguagem desenvolvidos para a língua portuguesa. A avaliação considerou as percepções dos desenvolvedores sobre o uso e a qualidade das AIETs em ajudar a identificar considerações éticas sobre os modelos de linguagem, bem como se as considerações levantadas correspondem à literatura sobre os impactos éticos desses modelos. Os resultados mostram as preferências dos desenvolvedores para cada AIET utilizada e sugerem uma possível aceitação dos desenvolvedores quanto ao uso das AIETs como auxílio na identificação e elaboração de considerações éticas sobre o modelo. Contudo, notamos que a facilidade de uso das AIETs é um fator importante que influencia as preferências dos desenvolvedores. Além disso, as AIETs analisadas se apresentaram generalistas e exaustivas quando aplicadas em modelos de linguagem, uma vez que elas abordaram tópicos que não são aplicadas ao contexto desses modelos, além de não avaliarem aspectos únicos tais como desempenho multilíngue, sotaques, gírias, expressões regionais e idiomáticas, entre outros aspectos relevantes na análise de modelos de linguagem. Também notou-se que não foram abordados pelas AIETs riscos específicos para modelos de linguagem desenvolvidos para a língua portuguesa, tais como falta de representatividade de aspectos culturais e sociais da população brasileira e das populações falantes da língua portuguesa Ver menos

Abstract: In Artificial Intelligence (AI), language models have gained an important place due to the significant advances made in various fields of knowledge and the recent popularization of systems capable of simulating realistic conversations with human beings through the generation of texts. Because of their impact on society, developing and deploying these language models must be done responsibly, with attention to their negative impacts and possible harms. In the past few years, there has been a rise in the publication of AI Ethics Tools (AIETs). These AIETs are intended to help developers, companies, governments, and other interested parties to establish trust, transparency, and responsibility with their technologies. AIET aims to bring accepted values to guide AI's design, development, and use stages. However, many AIETs lack good documentation, examples of use, and proof of their effectiveness. In this work, we present a comprehensive methodology for selecting and evaluating AIETs in language models. Our approach involved carrying out an extensive literature survey on AIETs. We applied inclusion and exclusion criteria to filter all 213 AIETs found, resulting in eight AIETs. To test and adapt our method, we interviewed three developers of the CAPIVARA model, where we applied four different AIETs -- Model Cards, ALTAI, FactSheets and Harms Modeling. We conducted the interviews using the items from each analyzed AIET as a script. Based on the preliminary results, we readapted the methodology to evaluate only the AIETs Model Cards and Harms Modeling in four language models developed for the Portuguese language. The evaluation considered the developers' perceptions of the AIETs' use and quality in helping to identify ethical considerations about language models and whether the concerns raised correspond to the literature on the ethical impacts of language models. The results show the developers' preferences for each AIET used and show a possible acceptance by developers in using AIETs as an aid in identifying and elaborating ethical considerations about the model. However, we note that the ease of use of the AIETs is an essential factor influencing developers' preferences. In addition, the analyzed AIETs were general and exhaustive when applied to language models since they addressed topics that do not apply to the context of these models, in addition to not evaluating unique aspects such as multilingual performance, accents, slang, regional and idiomatic expressions, among other relevant aspects in the analysis of language models. We also noted that the AIETs did not address specific risks for language models developed for the Portuguese language, such as the lack of representativeness of cultural and social aspects of the Brazilian population and Portuguese-speaking populations Ver menos