AI-robotar Överbelastar Wikipedias Servrar

Wikimedia Foundation har larmat om den ökande belastningen på sina servrar på grund av automatiserade botar som skrapar data för att träna artificiella intelligensmodeller.

Stiftelsen rapporterade nyligen i ett inlägg att maskingenererad trafik fortsätter att växa i en aldrig tidigare skådad takt, medan människor endast utgör en liten del av denna trafik.

”Sedan januari 2024 har vi sett bandbredden som används för att ladda ner multimedia-innehåll öka med 50%,” säger inlägget.

”Denna ökning kommer inte från mänskliga läsare, utan främst från automatiserade program som skrapar Wikimedia Commons bildkatalog med öppet licensierade bilder för att mata bilder till AI-modeller,” tillade inlägget.

Robotarna som kallas för ”crawlers” stjäl stora mängder data från Wikimedias projekt, inklusive Wikipedia och Wikimedia Commons, utan korrekt erkännande eller officiella åtkomstverktyg. Processen gör det svårt för nya användare att upptäcka Wikimedia och lägger en oproportionerlig belastning på deras tekniska system.

Till exempel, noterar inlägget att Jimmy Carters Wikipedia-sida fick mer än 2,8 miljoner visningar den dagen han gick bort i december 2024. Videon från 1980 års debatt orsakade en betydande ökning av webbplatstrafiken. En video från hans debatt 1980 ledde också till en topp i trafiken. Wikimedia klarade av det – men bara knappt. Det verkliga problemet, enligt ingenjörerna, är det kontinuerliga flödet av robottrafik.

”65% av vår dyraste trafik kommer från bots”, skrev Stiftelsen. Bots ”bulk läser” innehåll, särskilt mindre populära sidor, vilket utlöser dyra förfrågningar till Wikimedias kärndatacenter.

Medan Wikimedias innehåll är fritt att använda, är inte deras servrar det. ”Vårt innehåll är gratis, vår infrastruktur är det inte”, sa Stiftelsen. Teamet fortsätter att utveckla metoder för att främja ”ansvarsfull användning av infrastruktur” genom att uppmana utvecklare att använda API istället för att skrapa hela webbplatsen.

Problemet påverkar Wikimedia såväl som talrika andra webbplatser och utgivare. Men för världens största öppna kunskapsplattform hotar det stabiliteten för de tjänster miljontals människor förlitar sig på.