Slik modererer vi

Begge veier

Det du skriver kontrolleres før det når modellen. Det hun svarer kontrolleres før du ser det. Et svar som ikke går gjennom, lagres ikke i det hele tatt — det blir aldri en del av samtalen, og kan derfor ikke brukes til å dytte henne videre i samme retning i neste melding.

Kontrollen gjelder også den delen av tjenesten der du kan snakke utenfor rollen, og den gratis smakebiten du får uten å registrere deg.

De tre lagene

Ingen enkelt klassifiserer løser dette. En standardmodell er samtidig for streng og for slapp for en tjeneste som vår, og de tre lagene finnes fordi de feiler på ulike måter.

1. Lokal kontroll

Et lite sett med signaler som ikke krever nettverk: entydige uttrykk, og oppgitt alder under 18 i seksuell sammenheng. Dette laget står selv om alt annet er nede.

Det er med vilje smalt. «Barn» og «jente» er helt vanlige norske ord, og et filter som nekter dem lærer folk at modereringen er ødelagt. Alt som krever kontekst overlates til lagene under.

2. Generell klassifisering

En ekstern klassifiserer som fanger de universelle stoppene: seksualisering av mindreårige, hatefulle ytringer, oppskrifter på kriminalitet, og oppfordring til selvskading.

Den leses ulikt avhengig av hvem du snakker med. Modeller av denne typen flagger nemlig «seksuelt innhold», «truende» og «grafisk vold» på nettopp den samtalen en voksen følgesvenn er der for å ha — «jeg vil binde deg fast» ser truende ut for en maskin som ikke kan se at det var invitert. På en voksen følgesvenn er derfor ikke de tre signalene stoppkriterier.

3. Vår egen kategoriklassifiserer

Det siste laget er skrevet mot den konkrete lista kortnettverkene opererer med, fordi en standardmodell rett og slett ikke har kategorier for det meste av den.

• Mindreårige, i enhver innpakning
• Manglende samtykke — tvang, søvn, bevisstløshet
• Rus, dop eller hypnose som gjør samtykke umulig
• Familie, inkludert stefamilie
• Dyr
• Urin og avføring
• Drap, tortur og alvorlig skade som del av det seksuelle
• Kjøp og salg av seksuelle tjenester
• Flerkoneri som ramme
• Virkelige, navngitte personer

Den er uttrykkelig instruert om at eksplisitt samtale mellom samtykkende voksne skal slippe gjennom, inkludert dominans, underkastelse og hardt rollespill. Full liste med forklaringer.

Trappen

Bare det du selv sender teller. En følgesvenn som svarer noe hun ikke skulle er vår feil, ikke din — svaret holdes tilbake og hendelsen loggføres, men den går ikke på kontoen din.

Hva som loggføres

Hvert avslag registreres med kategori, hvilket lag som fanget det, hvilken retning det gikk, og et utdrag av teksten. Ikke hele meldingen og ikke samtalen rundt — et utdrag er nok til å vurdere avgjørelsen på nytt senere, og resten har ingenting i en slik logg å gjøre.

Loggen brukes til tre ting: å håndheve trappen over, å behandle klager, og å dokumentere overfor myndigheter og betalingsleverandører at reglene faktisk håndheves.

Hva maskiner ser, og hva mennesker ser

Den automatiske kontrollen går på alt, også private samtaler. Den må det, for at reglene skal bety noe. Ingen mennesker leser noe som del av den kontrollen.

Et menneske ser innhold bare når automatikken har flagget noe, når noen har meldt fra, eller når en konkret sak krever det. Vi blar ikke i private samtaler.

Når vi tar feil

Automatikken tar feil begge veier. Vi tester derfor mot to sett saker: de som må stoppes, og de som absolutt ikke skal stoppes — vanlig flørting, samtykkende BDSM, og setninger som «jeg har en datter på åtte år». Det andre settet er det viktigste, fordi feil der er usynlige for oss og irriterende for deg.

Ble noe stoppet som ikke burde vært det, si fra. Slik klager du.