Een kijkje bij Scopus AI; een interview met Maxim Khan

Max is Senior Vice President van de analyseproducten en het dataplatform bij Elsevier en hij leidt het team dat Scopus AI heeft ontwikkeld. Max vertelt over de onderliggende technologie achter dit nieuwe generatieve AI-product, geeft informatie over enkele van de principes achter de ontwikkeling en hoe Elsevier denkt dat het onderzoekers kan helpen met samenvattingen en mogelijke onderzoeksinzichten. Hier is een transcriptie van een deel van het gesprek dat Todd Carpenter had met deze gepassioneerde specialist.

Eerste vraag een beetje een introductie voor degenen die niets weten over Scopus AI. Vertel ons iets over Scopus AI en welke service biedt het aan gebruikers boven de bestaande Scopus-service?

Scopus AI is een nieuw generatief kunstmatige-intelligentieproduct dat Elsevier in januari lanceerde. Het breidt de functionaliteit uit van Scopus, een uitgebreide, multidisciplinaire, betrouwbare, abstracte en database. De ontwikkeling ervan werd gemotiveerd door onderzoekers die om hulp vroegen om door het toenemende aantal onderzoeksartikelen te navigeren en te leren over nieuwe onderzoeksgebieden. Dit gold vooral voor degenen die in verschillende disciplines werkten. Door de opkomst van Large Language Models (LLM's) en generatieve AI konden we nog beter aan deze behoefte voldoen en de bestaande functionaliteit op Scopus aanvullen.

Scopus AI is ontwikkeld in nauwe samenwerking met de onderzoeksgemeenschap en helpt gebruikers op verschillende manieren:

• Uitgebreide samenvattingen: Het verstrekken van snelle overzichten van belangrijke onderwerpen voor diepere verkenning en soms het blootleggen van hiaten in de literatuur;

• Fundamentele en invloedrijke papers: Onderzoekers helpen om snel belangrijke publicaties te identificeren;

• Academic Expert Search: Het identificeren van toonaangevende experts in hun vakgebied en het verduidelijken van hun expertise met betrekking tot de vraag van de gebruiker, waardoor kostbare tijd wordt bespaard.

Scopus AI combineert de gecureerde inhoud en hoogwaardige linked data van Scopus met geavanceerde generatie AI-technologie om onderzoekers te helpen.

Kunt u ons iets vertellen over de technologie die ten grondslag ligt aan Scopus AI?
Wat is er zo uniek aan deze aanpak?

De vertrouwde inhoud van Scopus vormt de basis van Scopus AI met meer dan 29.200 actieve serietitels van meer dan 7.000 uitgevers wereldwijd, 2,4 miljard citaties waaronder meer dan 19,6 miljoen auteursprofielen. De inhoud wordt grondig doorgelicht door een onafhankelijke beoordelingscommissie van wereldberoemde wetenschappers, onderzoekers en bibliothecarissen die de belangrijkste wetenschappelijke disciplines vertegenwoordigen.

Scopus AI maakt gebruik van een aangepaste RAG-architectuur (Retrieval-Augmented Generation, creating bots that can answer user questions in various contexts by cross-referencing authoritative knowledge sources), inclusief modellen en prompts voor samenvattingen in Scopus. Het bestaat uit een zoekmodule, herrangschikking en een module voor een groot taalmodel (LLM) voor het genereren van tekst.

De zoekmodule maakt gebruik van ‘vector search’, kleine taalmodellen die worden gebruikt om numerieke waarden toe te wijzen aan het opvragen van woorden en zinnen op basis van de taalvectorruimte. De resultaten van de vectorzoekopdracht worden vervolgens ingevoerd in ons grote taalmodel, samen met de oorspronkelijke zoekopdracht. Prompt engineering biedt LLM duidelijke regels die gevolgd moeten worden bij het genereren van de Scopus AI-reactie.

We gebruiken OpenAI's grote taalmodel (LLM) ChatGPT gehost op een privécloud van Microsoft Azure. We hebben een overeenkomst met Microsoft die ervoor zorgt dat alle gegevens worden opgeslagen in een beschermde en privéomgeving die exclusief voor ons is gemaakt en die niet wordt en niet kán worden gedeeld met andere partijen. Dit is een belangrijk kenmerk van onze implementatie, ontworpen om privacy en gemoedsrust te bieden aan zowel gegevensuitgevers als auteurs.

Je gebruikt een nieuwe versie van de RAG-techniek, genaamd Fusion RAG.  Aangezien de meesten niet bekend zijn met deze versies van tools, kunt u eerst kort beschrijven wat RAG's zijn en hoe ze werken?

Simple RAG combineert een zoekmodel, dat grote datasets of kennisbanken doorzoekt, met een generatiemodel, zoals een groot taalmodel (LLM), om leesbare tekstantwoorden te produceren. Deze methode verbetert de zoekrelevantie door context toe te voegen uit aanvullende gegevensbronnen en de oorspronkelijke kennisbank van het LLM aan te vullen.

Scopus AI integreert Retrieval-Augmented Generation Fusion (RAG Fusion) in zijn zoekmodule - een baanbrekende zoekmethode om de diepte en het perspectief van zoekopdrachten te verbeteren door resultaten van uitgebreide zoekopdrachten samen te voegen. Een gebruiker voert een zoekopdracht in, variaties van die zoekopdracht worden vervolgens automatisch gegenereerd om de nauwkeurigheid te verbeteren, vectorzoekopdrachten worden vervolgens uitgevoerd op elk van deze zoekopdrachten, de resultaten worden vervolgens samengevoegd en gerangschikt met behulp van een wederkerig rangschikkingsfusie-algoritme, de samenvatting wordt vervolgens gegenereerd op basis van het topresultaat.

 Scopus AI is in eigen huis gebouwd en we hebben deze techniek gedeeld met de community. RAG Fusion verbetert de diepte en het perspectief van de vraag aanzienlijk, waardoor blinde vlekken kunnen worden geïdentificeerd en een uitgebreider en genuanceerder antwoord kan worden gegeven.

Scopus AI genereert momenteel resultaten op basis van de inhoud van de afgelopen 11 jaar, vanaf 2013. Waarom is er voor deze pauze gekozen?

We waren van mening dat dit een goed uitgangspunt was dat relevantie, recentheid en diepgang van de resultaten in evenwicht bracht. Dit is een startpunt en we zullen het corpus van inhoud in de loop van de tijd uitbreiden. Hoewel Scopus AI voornamelijk inhoud vanaf 2013 gebruikt voor het genereren van reacties, is het belangrijk op te merken dat de basisdocumenten het volledige Scopus-corpus omvatten. Technisch gezien kon een RAG-model op elke schaal van gegevens worden gebruikt, dus er was geen technische reden voor de breuk.

Elsevier heeft een reeks principes aangenomen voor het gebruik van AI-systemen. Kun je eerst de mensen een kort overzicht geven van die principes?

Al meer dan tien jaar gebruikt Elsevier AI en machine learning-technologieën in zijn producten. Bij elke stap van de ontwikkeling, van ontwerp tot en met de implementatie van machinegestuurde inzichten, zijn de Responsible AI Principles van Elsevier diep verankerd in het proces. Klantervaring, privacy en integriteit van gegevens en verantwoorde AI vormen de kern van de productontwikkeling van Elsevier.

Wat nog belangrijker is, ik wil er een paar bespreken, en hun rol ten opzichte van Scopus AI. Ik wil graag beginnen met privacy. In hoeverre verbetert het systeem op basis van gebruikersinteracties?

Het is de moeite waard om te herhalen dat we OpenAI's GPT en Large Language Model (LLM) technologie gebruiken in een private cloud-omgeving. Er wordt geen data uitgewisseld met OpenAI en de cloud provider gebruikt de data niet buiten onze omgeving.

Het respecteren en beschermen van gebruikersgegevens en privacy zijn belangrijke prioriteiten bij Elsevier, aangezien het behouden van het vertrouwen van de mensen die onze producten en diensten gebruiken van cruciaal belang voor ons is. We doen er alles aan om ons integer en verantwoordelijk te gedragen met betrekking tot gegevensprivacy. Onze privacybeginselen vormen de leidraad voor onze omgang met persoonsgegevens en meer informatie is hier beschikbaar.

Vooringenomenheid is een ander belangrijk element van je principes. Hoe heb je geprobeerd om vooroordelen aan te pakken in de training van de modellen die je gebruikt? Het is duidelijk dat je geen invloed kunt hebben op vooringenomenheid in het basismodel, ChatGPT, vraag ik met betrekking tot je eigen getrainde Small Language Model, dat het RAG-systeem ondersteunt.

 Vooringenomenheid is inderdaad een cruciaal element van onze principes. Om vooroordelen in de training van onze modellen aan te pakken, met name onze eigen Small Language Models (SLM's) die het RAG-systeem ondersteunen, hebben we verschillende maatregelen geïmplementeerd:

• Integriteit van de gegevensbron: We baseren onze antwoorden op de vertrouwde en doorgelichte Scopus-database en zorgen ervoor dat de inhoud betrouwbaar is en door vakgenoten wordt beoordeeld.

• Prompt engineering: Ons prompt engineering-proces is ontworpen om mogelijke vooroordelen te identificeren en te verminderen, door prompts te maken die het model begeleiden om verschillende perspectieven in overweging te nemen en te voorkomen dat stereotypen worden versterkt.

• Tools voor het detecteren en beperken van vooroordelen: We gebruiken tools om schadelijke vooroordelen in onze door AI gegenereerde inhoud te testen en op te sporen.

• Continue monitoring en feedback: We hebben een evaluatiekader opgesteld dat de output van het model continu controleert op coherentie, kwaliteit en vooringenomenheid. Dit raamwerk vertegenwoordigt een breed scala aan perspectieven en disciplines. Door verschillende bronnen en standpunten op te nemen, proberen we het risico op vooringenomenheid in de antwoorden van het model te minimaliseren.

• Focus op schadelijke vooroordelen: Hoewel het onmogelijk is om alle vooroordelen te elimineren, kunnen vooroordelen in de academische literatuur zelf voorkomen, we richten ons uitgebreid op het identificeren en beperken van schadelijke vooroordelen. Actief testen is bedoeld om schadelijke reacties uit te lokken en aan te pakken, om ervoor te zorgen dat het model zo eerlijk en onbevooroordeeld mogelijk blijft.

Door middel van deze maatregelen streven we ernaar om nauwkeurigere informatie te verstrekken met minder vooringenomenheid.

Eerder dit jaar schreef ik over de noodzaak van voorzichtigheid bij het overlaten van lezen aan machines.  Ik ben benieuwd naar uw mening over de mogelijke valkuilen van deze aanpak.  Waar moeten gebruikers op letten als ze deze tools benaderen?  Wat zou je zeggen om de angsten van gebruikers weg te nemen?

 We hebben evaluatiefuncties voor ethiek, vooringenomenheid en toxiciteit ontwikkeld in de evaluatie van Scopus AI.

Nauwkeurigheid in door AI gegenereerde inhoud is cruciaal, vooral voor academisch onderzoek. Hallucinaties, gevallen van AI die niet-feitelijke of niet-verifieerbare informatie genereert, kunnen de waarde van AI-tools aanzienlijk ondermijnen. We hebben hallucinatie-evaluatiecontroles om te bepalen of de resultaten verkeerde informatie hebben gegenereerd.

Het is duidelijk dat je veel doet om dit systeem te verbeteren. Kunt u ons iets vertellen over uw proces om gebruikers te betrekken?  Hoe zet je menselijke experts in om het systeem te verbeteren?

Productinnovatie is een iteratief proces van testen, leren, verfijnen. We hebben een zeer vroege versie van het product, of 'alpha', uitgebracht voor bestaande Scopus-gebruikers die willekeurig zijn geselecteerd om deel te nemen aan het testen, wat ons helpt feedback te krijgen van een groot cohort via webinars, 1-2-1 gebruikersinterviews en focusgroepen. Deze live feedback van de community zorgt voor continue verbeteringen op alle gebieden:

• Validatie van de gebruikerservaring: Feedback die tijdens het testen wordt verzameld, helpt ons de productinterface te verfijnen, workflows te stroomlijnen en de gebruikerservaring en -tevredenheid te verbeteren.

• Prestatietests: Real-world gebruiksscenario's tijdens het testen helpen ook bij het beoordelen van prestaties onder verschillende omstandigheden, zoals variërende netwerksnelheden, hardwareconfiguraties of gebruikspatronen. Dit stelt ons in staat om de prestaties te optimaliseren en de stabiliteit van het uiteindelijke gelanceerde product te garanderen.

• Functievalidatie: om te valideren of de geïmplementeerde functies voldoen aan de behoeften en verwachtingen van gebruikers. Deze feedback helpt bij het prioriteren, verfijnen van functionaliteit en het elimineren van onnodige of overbodige functies.

• Kwantitatieve betrokkenheidsstatistieken: Gebruikerstevredenheidsscores op individuele functies helpen bij het stimuleren van ontwikkeling en validatie.

• Validatie van compatibiliteit: Gebruikers zullen in verschillende omgevingen werken met verschillende besturingssystemen, apparaten en configuraties. Testen helpt ervoor te zorgen dat de software correct functioneert op verschillende platforms en configuraties.

Hoe kunnen gebruikers van Scopus betrokken raken bij het proces van testen en verbeteren van het systeem?

 De behoeften en inzichten van de onderzoeksgemeenschap vormen de kern van productinnovatie. We staan voortdurend open voor feedback van klanten en individuele gebruikers. Mensen kunnen hun interesse in Scopus AI registreren en meer informatie krijgen op: https://www.elsevier.com/en-gb/products/scopus/scopus-ai

Note: Dit artikel is door Toda A Carpenter eerder in het Engels gepubliceerd door de Scholarly Kitchen met als titel: ‘A Look Under the Hood of Scopus AI: An Interview with Maxim Khan’

Todd A Carpenter

Todd Carpenter is Executive Director of the National Information Standards Organization (NISO). He additionally serves in a number of leadership roles of a variety of organizations, including as Chair of the ISO Technical Subcommittee on Identification & Description (ISO TC46/SC9), founding partner of the Coalition for Seamless Access, Past President of FORCE11, Treasurer of the Book Industry Study Group (BISG), and a Director of the Foundation of the Baltimore County Public Library. He also previously served as Treasurer of SSP.

Bron: Elsevier