Ett startupföretag för AI-bildgenerering lämnade över en miljon bilder och videor, skapade med deras system, oskyddade och tillgängliga för alla online. Den ”överväldigande majoriteten” av bilderna involverade nakenhet och skildrade vuxet innehåll, och vissa föreföll avbilda barn eller barns ansikten på AI-genererade nakna vuxenkroppar.
Säkerhetsforskaren Jeremiah Fowler upptäckte databasen i oktober och noterade att flera webbplatser, inklusive MagicEdit och DreamPal, tycktes använda samma oskyddade databas. Databasen växte med ciraj 10 000 nya bilder dagligen. Bilderna inkluderade ”oändrade” foton av verkliga personer som kan ha blivit icke-samtyckande ”avklädda” med AI eller fått sina ansikten bytta på nakna kroppar. Fowler betonar att det verkliga problemet är att oskyldiga människor, särskilt minderåriga, får sina bilder använda utan samtycke för att skapa sexuellt innehåll. Han rapporterade den exponerade databasen till US National Center for Missing and Exploited Children.
Fynden
Fynden kommer i en tid då AI-verktyg i allt högre grad används för att skapa explicit material utan samtycke, inklusive genom ”nudify”-tjänster. Rapporter om kriminellas användning av AI för att skapa material som utgör sexuella övergrepp mot barn (CSAM) har fördubblats under det senaste året.
Ett talesperson för startupföretaget DreamX, som driver MagicEdit och DreamPal, hävdar att de tar dessa farhågor på största allvar. De förnekar koppling till marknadsföringsföretaget SocialBook, trots att Fowlers rapport indikerar att databasen var kopplad till SocialBook och inkluderade bilder med dess vattenstämpel. Efter att Fowler kontaktat dem stängde företaget omedelbart tillgången till den exponerade databasen, inledde en intern utredning och stängde tillfälligtprodukterna MagicEdit och DreamPal.
Google bekräftade att de hade avstängt MagicEdit och andra associerade appar tidigare på grund av policyöverträdelser relaterade till sexuellt explicit innehåll/nakenhet, och Apple bekräftade att de hade tagit bort apparna från App Store.
Databasen
Den exponerade databasen innehöll 1 099 985 poster, varav nästan alla var pornografiska. DreamPal marknadsförde sig mer explicit med en ”AI roleplay chat” där användare kunde ”skapa din dröm AI-flickvän” och sade sig ha tagit bort NSFW-filter (Not Safe For Work) för att tillåta intima fantasier. Kritiker menar att problemet är förutsägbart och drivs av sexualisering och kontroll av kvinnors och flickors kroppar, nu ”superladdat av AI”.
Källa:
Wired
