Så håller du AI borta från din blogg och stoppar sökrobotar

Så håller du AI borta från din blogg och stoppar sökrobotar

yellow and black robot toy

AI-lösningar kräver att de tränas på befintlig information och utvecklarna har därför skapat automatiska funktioner som samlar in enorma mängder data ute på nätet för att träna på. Det betyder att de här AI-lösningarna kan komma på besök och samla in information frpn din blogg, hemsida eller webbplats. Så här stoppar du dem.

Det ska sägas direkt att det inte finns några hundraprocentigt säkra metoder för att stoppa och bli av med AI-crawlers (sökrobot) som de här funktionerna kallas. Det är upptill de olika bolagen och utvecklarna att respektera din önskan, eller inte göra det.

Så här gör du

Det finns flera olika sätt att blockera AI-bolagens sökrobotar – vi börjar med att redigera filen robots.txt:

Robots.txt

Det du kan göra är att lägga in text i filen robots.txt som du sedan lägger i root-katalogen (start-katalogen) för din webbplats. Här är en lista på de sökrobotar som du kan/bör blockera i filen. Innan du skapar robots.txt så titta så att det inte redan finns en fil i din root-katalog. I så fall kan du redigera den direkt.

Disallow: /*/action~*/
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Omgilibot
Disallow: /
User-agent: Omgili
Disallow: /
User-agent: FacebookBot
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: Teoma
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: Nutch
Disallow: /
User-agent: psbot
Disallow: /
User-agent: SentiBot
Disallow: /
User-agent: sentibot

functions.php

Använder du WordPress så kan du redigera filen functions.php och lägga till de olika namnen på de olika ”crawlers” som används:

add_filter('robots_txt', 'my_robots_commands', 99, 2); // filter to add robots
function my_robots_commands($output, $public) 
{ $output .= "User-agent: GPTBot\nDisallow: /"
; return $output; }

WordPress använder en virtuell robots.txt som skapas och hanteras internt. Det i sin tur innebär att du inte kan skriva in allt i en textfil, robots.txt – utan du får ta en ”omväg” via functions.php.

Du kan även använda en plugin som kan hantera script, skapa en textfil, importera den och få samma funktion. Code Snippets rekommenderas om du väljer den metoden. Du skriver in texten ovan, upprepar den för alla de olika sökrobotar som du vill stoppa. Byt ut GPTBot mot de övriga sökrobotarna. Du hittar namnen ovan – i robots.txt.

Plugin

Den enklaste metoden är att ladda ned och installera en plugin som hanterar filen robots.txt.

Block AI Crawlers blockerar följande sökrobotar:

  • ChatGPT och GPTBot – Sökrobotar och webbläsare som används av OpenAI
  • Google Extended – Crawler som används för Googles Gemini (tidigare Google Bard) AI-utbildning
  • FacebookBot – Crawler som används för Facebooks AI-träning
  • CommonCrawl – Crawler som sammanställer datauppsättningar som används för att träna AI-modeller
  • Anthropic AI / Claude – Crawler som används av Anthropic
  • Omgili – Crawler som används av Omgili för AI-träning
  • Bytespider – Crawler som används av TikTolk för AI-träning
  • Cohere – Crawler som används av Cohere AI-träning
  • DiffBot – Crawler som används av Diffbot för AI-träning
  • Imagesift – Sökrobot som används av Imagesift för bilder
Respektera

Oavsett vilken metod du väljer så är det helt upptill de lika bolagen och deras sökrobotar huruvida de respekterar din vilja och önskan eller inte. Kom också ihåg att blockerar du sökrobotarna i robots.txt så betyder inte det att redan insamlad data plockas bort. Har en robot redan hälsat på så är sedan redan skedd så att säga.

Adobe ändrar sina regler – uppror bland användarna

Adobe ändrar sina regler – uppror bland användarna

blank

Adobe har uppdaterat sina regler för hur deras program får användas – däribland populära Adobe Photoshop. Adobe kräver tillgång till användarens information, bilder och annat – det som kan redigeras med Adobes program. Regeländringar som nu lett till uppror bland användarna.

Först reglerna:

Enbart i syfte att driva eller förbättra tjänsterna och programvaran ger du oss en icke-exklusiv, världsomspännande, royaltyfri underlicensiering, licens, att använda, reproducera, offentligt visa, distribuera, modifiera, skapa härledda verk baserat på, offentligt utföra , och översätt innehållet. Till exempel kan vi underlicensiera vår rätt till innehållet till våra tjänsteleverantörer eller till andra användare för att tillåta tjänsterna och programvaran att fungera med andra, till exempel att låta dig dela foton

Världsomspännande, royaltyfri underlicensiering, licens, att använda, reproducera, offentligt visa, distribuera, modifiera, skapa härledda verk baserat på, offentligt utföra , och översätt innehållet.

Adobe vill få tillgång till allt det du skapar, redigerar och gör med deras program – gratis. Adobe kräver att få göra det utan ersättning och Adobe vill även kunna dela med sig av din information till andra. Allt det du skapar och gör tillhör därmed även Adobe.

Säga nej

Nu skulle du ju kunna förvänta dig att du kan säga nej. Det vore ju onekligen rimligt med tanke på att det du skapar, kanske för kunders räkning borde vara din intellektuella egendom. Du kan inte tacka nej. Du kan överhuvudtaget inte använda de program som du har köpt in eller prenumererar på med mindre än att du accepterar Adobes nya regler.

blank

Förutom att Adobe kräver fullgång till allt du du gör så vill de kunna använda din information för att träna sina AI-lösningar – också, utan ersättning.

Uppror

De nya reglerna, tvingande regler, för att överhuvudtaget kunna starta och använda Adobes program har lett till ett mindre uppror – inte minst bland professionella användare.

blank

Wetterschneider är professionell designer med bland andra Nike och DC Comics som kunder.

Duncan Jones är filmregissör:

blank

Jobbar du professionellt med design så får du räkna med att skriva under ett NDA-avtal, non-disclosure, ett avtal om tystnadsplikt som vanligen brukar innehålla stora skadestånd. Det säger sig självt att Adobes nya regler kan stå i direkt konflikt med sådana avtal.

Adobes försvar

This policy has been in place for many years. As part of our commitment to being transparent with our customers, we added clarifying examples earlier this year to our Terms of Use regarding when Adobe may access user content.  Adobe accesses user content for a number of reasons, including the ability to deliver some of our most innovative cloud-based features, such as Photoshop Neural Filters and Remove Background in Adobe Express, as well as to take action against prohibited content. Adobe does not access, view or listen to content that is stored locally on any user’s device. 

Venture Beat

Molntjänst

Adobe förbehåller sig rätten till att scanna material som laddas upp till sitt moln, vilket i stort sett alla leverantörer av molntjänster gör. Något de flesta utan omsvep lär acceptera. Nu ser det ut som att Adobes regelverk går betydligt längre än så vilket lett till protester.

Belgien tar ny sats med ChatControl 2.0

Belgien tar ny sats med ChatControl 2.0

blank

Den belgiska regeringen föreslagit en ny förmodad ”lösning” på dödläget för chattkontroll (förordningen om sexuella övergrepp mot barn). Som Magasin Macken tidigare har rapporterats så ska leverantörer av privata kommunikationstjänster måste be folk att samtycka till skanning av sina privata chattar – eller förbjudas att dela bilder, videor och webbadresser.

Nu har European Digital Rights, (EDRi), lyft frågan och förslaget och protesterar mot förslaget på en rad punkter. Det belgiska förslaget går ut på presumtionen att medgivande till skanning inte är massövervakning – vilket  helt underkänner som argumentation:

Utgångspunkten för detta nya belgiska tillvägagångssätt verkar vara att om människor samtycker till skanning så är det inte massövervakning. Detta är ett allvarligt missförstånd inte bara av massövervakning, utan också av samtycke. Samtycke till databehandling, enligt EU-lagstiftning, måste ges fritt. Det kan inte tvingas under hotet att utan att ge ett sådant samtycke, kommer du inte längre att kunna dela bilder med din familj, skicka länkar till dina kollegor och mycket mer. Big Tech-plattformar har i åratal tvingat användare att acceptera olaglig databehandling som ett villkor för att använda tjänsten. Med den senaste texten kommer EU:s regeringar bokstavligen att bli kopior av Big Techs missbruk och mörka mönster.

EDRi

Underkänner

Organisationen underkänner också effektivteten med förslaget. De som vill distribuera barnporr kommer helt enkelt neka att bli skannade och sedan välja en annan tjänst – där de inte skannas. Tvånget att få sin privata information kommer således att drabba helt oskyldiga naävndare som vill skicka bilder och videor till vänner och bekanta.

Detta nya belgiska tillvägagångssätt har myntats som ”uppladdningsmoderering”. Men trots ett trevligare klingande namn skulle det som finns på bordet fortfarande vara samma sak: massskanning av privat kommunikation från personer som inte är misstänkta för något brott, även i krypterade miljöer från ände till ände.

EDRi

 

Striden om ChatControl 2.0 är långt ifrån över – nytt förslag läggs fram

Belgien tar ny sats med ChatControl 2.0

Striden om ChatControl 2.0 är långt ifrån över – nytt förslag läggs fram

blank

Det som har kommit att kallas för ChatControl 2.0, ett mycket kontroversiellt förslag om övervakning och scanning av enskilda medborgares data för att stoppa spridning av barnporr är långt ifrån över. Förslaget har nu lyfts upp på agendan igen i något annorlunda form under det belgiska ordförandeskapet inom EU.

Det är det belgiska inrikesministeriet som tagit fram ett nytt förslag som nu läggs fram. Enligt det nya förslaget som ska diskuteras imorgon, den 24 maj, så ska alla användare antingen gå med på att alla bilder och filmer, som skickas till andra, ska skannas automatiskt och om barnporr hittas – rapporteras till EU och polisen.

Tekniskt

Ska detta fungera tekniskt så innebär det att säker kryptering (end-to-end) måste förses med en bakdörr, i praktiken så är krypteringen inte säker längre. Här skiljer sig det belgiska förslaget något från den tidigare lösningen där scanningen skulle göras lokalt på användarens enhet. Nu ska scanningen göras när bilder och videor skickas vidare.

Vill en användare inte gå med på att skanna sina privata bilder och videor så ska tjänsten fortfarande gå att använda men inga bilder eller videor kan skickas vidare eller publiceras.

Kritik

Därmed kvarstår den huvudsakliga kritiken mot, även detta något modifierade, förslag för i praktiken så innebär det belgiska förslaget att totalsträcks­krypterad (end-to-end) kommunikation ska kunna läsas av. Därmed är krypteringen och kommunikationen inte säker och någon slags bakdörr måste läggas in för att bilder och videor som ska skickas ska kunna scannas.

Patrick Breyer

Länkar

Chat Control 2.0 är varje diktators våta dröm

Chat Control 2.0: Ylva Johansson tror på teknik som inte finns

Hundratals forskare och experter protesterar mot Chat Control 2.0

Israels förbud av Al Jazeera är censur och ett slag rakt mot pressfriheten

Israels förbud av Al Jazeera är censur och ett slag rakt mot pressfriheten

al jazeera, app, apple

Den Qatar-ägda tv-kanalen Al Jazeera har stoppats i Israel. Polis har slagit till mot tv-kanalen och beslagtagit kameror och annan teknisk utrustning. Därmed har också direktrapporterna från Gaza stängts ned för Al Jazeera var en av få tv-kanaler som fortfarande sände från området.

Al Jazeera har anklagats för att driva en arabiskvänlig agenda, för att vara politiserad, även på nyhetsplats men kritikerna glömmer då bort Fox News som under flera år politiserat nyheter. Kritikerna glömmer också bort att CNN raskt tenderat till att presentera politiserade nyheter under Trumps sista år och att tv-kanalen kan sägas att fortsatt att ha en liberal slagsida.

Uppvigla

Al Jazeera har anklagats för att uppvigla, för att presentera vinklade nyheter med en tydlig positiv palestinsk vinkling – av Israel. Det Qatari-baserade nyhetsnätverket, har varit en av få nyhetskanaler som har kunnat producera rapportering på plats från Israels krig mot Hamas i Gaza. Al Jazeera har sänt direkt från Gaza och i stort varit ensamma om att göra det.

Det med livet som insats vilket kan tyckas vara ett rätt dramatiska ord men Al Jazeeras journalist Shireen Abu Akleh dödades i maj 2022, Al Jazeeras kameraman dödades i december 2023 och det finns rapporter om att över 60 journalister har dödats på Gaza sedan Israel inledde sitt krig mot Hamas. Al Jazeera har i sin tur anklagat israel för att systematiskt rikta sina attacker mot journalister, något som Israel har tillbakavisat.

Pressfrihet

Frågan här handlar inte om huruvida Israels krig mot Hamas kan rättfärdigas eller inte. Det handlar inte heller om huruvida Israel folkrättsligt har rätt att bedriva sitt krig på det sätt nu görs – det handlar om något så fundamentalt som yttrande- och pressfriheten. Nu ska tilläggas att under vissa mycket speciella omständigheter så skulle samma sak kunna hända även i de nordiska länderna som idag toppar listan över de länder som har mest och bäst pressfrihet, Norge, Danmark och Sverige. I en krigssituation så skulle medier kunna förbjudas och stoppas, även om det idag känns långsökt, och det skulle säkerligen vara det även i ett allvarligt läge.

Censur

Israel kan hävda att landet är i krig och att de därför är i sin alla rätt att förbjuda och stoppa en tv-kanal. Oavsett juridiken i sammanhanget så är detta censur och det är en mycket allvarlig inskränkning i yttrandefriheten – och pressfriheten. Lägg sedan alltså till att Israel nu stoppar direktrapportering inifrån Gaza. Israel har stängt ned rapportering från ett område där det pågår strider och till en närmast ofattbar kostnad för civilbefolkningen.

Pressfrihetindex

Rättighetsfrågor av den här typen finns inte på agendan. Tydligen ryms inte demokratifrågor för detta är bara ytterligare ett exempel av många där vi inte reagerar nämnvärt över attacker mot demokratin – här hemma och på andra platser i världen. Nyligen presenterades ett nytt pressfrihetindex och Sverige ligger med i toppen men har petats ned till en tredje plats.

Jag vet att stängningen av Al Jazeera och Sveriges plats i ett pressfrihetsinxex kan te sig som att de inte har med varandra att göra men det har de. Det handlar om allas vår medvetenhet om vad demokratin är värd, vad den innebär och när det är dags för oss som medborgare att protestera och säga ifrån.

När mellanösterns enda demokrati stänger en tv-kanal så borde det få större uppmärksamhet och det borde resultera i mer högljudda och mer kraftfulla protester. Låt oss se vad som händer nu – protesterna kanske låter vänta på sig.

blank

Europa polischefer vill riva upp all kryptering – bryr sig någon?

Europa polischefer vill riva upp all kryptering – bryr sig någon?

a golden padlock sitting on top of a keyboard

Kravet börjar likna droppen som urholkar stenen – stoppa, förbjud och lös upp alla kryptering därför att kryptering används av kriminella och det försvårar brottsutredningar.

I ett brevs om publicerades på Europol i veckan framförs samma krav som flera gånger tidigare:

Förbjud mot ”end-to-end” kryptering – det som ibland kallas fullsträckskryptering. Utvecklare ska inte kunna utveckla södra meddelandeprogram, mötesprogram och program som använder den här typen av kryptering där informationen skickas i krypterad form, hela vägen fram till mottagaren.

Undergräva

Detta trots att FN fastslagit att starkt kryptering ingår i de mänskliga rättigheterna, trots att Europadomstolen för mänskliga rättigheter (ECHR) har slagit fast att en försvagning av end-to-end-kryptering riskerar att undergräva grundläggande mänskliga rättigheter.

Vi är därför djupt oroade över att kryptering från början till slut lanseras på ett sätt på ett sätt som kommer att undergräva båda dessa förmågor. Företag kommer inte att kunna svara effektivt på en laglig myndighet. De kommer inte heller att kunna
identifiera eller rapportera olaglig aktivitet på sina plattformar. Som ett resultat av detta kommer vi helt enkelt inte kunna hålla allmänheten säker. Våra samhällen har inte tidigare tolererat utrymmen som är utom räckhåll för brottsbekämpning, där brottslingar kan kommunicera säkert och barnmisshandel kan blomstra. Det bör de inte göra nu heller. Vi får inte låta oss förblindas av brottsligheten. Vi vet vet från de skydd som darkweb erbjuder hur snabbt och omfattande brottslingar brottslingar utnyttjar sådan anonymitet.

Joint Declaration of the European Police Chiefs

Vändor

FBI har i flera vändor framför samma krav, liksom CIA och en lång rad polisorganisationer anser att användandet av kryptering leder till att grova brottslingar går fria. Jag förstår att poliser vill vätta dig brottslingar. Samhället har samma intresse och jag har full förståelse för att det kan vara frustrerande att inte kunna avlyssna och ta del av allt men det finns en aspekt som ofta glöms bort – samhället är den starkare parten. Samhället har heltidsanställda poliser, heltidsanställda utredare och åklagare medan vi som enskilda individer inte har mycket att sätta emot. I botten avd et här finns rättssäkerhet och det är därför du ska andes vara oskyldig tills motsatsen bevisats i domstol sen får utredande poliser anser att de ringat en grovt kriminell individ hur mycket de vill. Vi har fortfarande rättssäkerhet att ta hänsyn till här.

Poliser ska inte utreda och döma utan insyn och kontroll, runt dem finns ett säkerhetsnät – en åklagare, en domstol, nämndemän och domare.

Mänskliga rättigheter

Kryptering handlar naturligtvis inte enbart om brott och kriminella. Det är ett skydd för enskilda som jagas av diktaturer, repressiva regimer och av det skälet så anser både FN och EU att det skyddet ska upprätthållas och det är ett inslag i de mänskliga rättigheterna.

För EU:s polischefer väger det lätt och de framför samma krav som framförts så många gånger tidigare. Frågan nu är om någon bryr sig längre?