Aggiornamento del prodotto: lancio di Wordvice AI Detector 2.0

Nove mesi dopo il rilascio di AI Detector 1.0 nel dicembre 2025, stiamo distribuendo un importante aggiornamento del modello.

Negli ultimi nove mesi, l'intelligenza artificiale è avanzata a un ritmo straordinario, con nuove tecnologie e nuovi modelli che emergono quasi ogni giorno. Anche i modi in cui esseri umani e IA collaborano nel processo di scrittura sono cambiati rapidamente. Allo stesso tempo, si sono intensificate le discussioni su come dovrebbe essere rilevato il testo generato dall'IA, su come i risultati del rilevamento dovrebbero essere verificati dagli esseri umani e su quali misure etiche o pratiche dovrebbero seguire. Tuttavia, nonostante queste discussioni in corso, non esiste ancora un consenso chiaro, mentre la tecnologia dell'IA continua ad avanzare a una velocità notevole.

In questo contesto in rapida evoluzione, Wordvice ha continuato a migliorare le prestazioni dei propri modelli esistenti, valutando al contempo cambiamenti più fondamentali sia nel modello stesso che nel servizio complessivo. In particolare, il nostro articolo di ricerca, "Style as a Confound: False Positives in AI Detection of Non-Native Academic Writing", che sarà presentato all'EMNLP 2026, ha contribuito ad approfondire la nostra comprensione tecnica di come i testi scritti da esseri umani e revisionati professionalmente interagiscano con i sistemi di rilevamento dell'IA. Leggi di più nel nostro articolo del blog.

E oggi lanciamo AI Detector 2.0.

Questo aggiornamento non riguarda semplicemente il rilevamento di una maggiore quantità di testo generato dall'IA. Si concentra sull'identificazione più affidabile del testo riscritto dall'IA e dei casi limite difficili che emergono nell'utilizzo reale di Wordvice. Abbiamo inoltre migliorato le informazioni a livello di frase per aiutare gli utenti a comprendere e verificare meglio i risultati del rilevamento.

I tre principali miglioramenti di AI Detector 2.0 sono:

• Un modello di rilevamento del testo generato dall'IA addestrato su dati provenienti da un'ampia varietà di fonti
• Il Hard Negative Mining (HNM), che concentra l'addestramento aggiuntivo sui casi difficili che vengono classificati erroneamente con maggiore frequenza
• Un Boundary Detector che evidenzia le parti di un documento che mostrano pattern generati dall'IA relativamente più marcati a livello di frase

Nella nostra valutazione interna, il modello finale ha raggiunto un punteggio F1 di 0,9773 e un AUROC di 0,9979 sul set di test in-domain. In particolare, per il rilevamento della riscrittura dell'IA, in cui l'IA viene utilizzata per riscrivere testo esistente, il modello ha raggiunto un punteggio F1 di 0,9819 e un recall di 0,9917.

Tuttavia, metriche di prestazione elevate non significano che i risultati del rilevamento dell'IA possano essere trattati come prova definitiva della paternità di un testo. Un rilevatore di IA fornisce un segnale che indica quanto un testo assomigli ai pattern generati dall'IA apprese dal modello. I suoi risultati dovrebbero quindi essere interpretati insieme al processo di scrittura, al contesto, alla cronologia delle revisioni e alla verifica umana.

Stiamo inoltre aggiornando la nostra politica di utilizzo. Per consentire agli utenti a pagamento di utilizzare l'AI Detector praticamente senza limitazioni pratiche, il limite di utilizzo mensile viene aumentato a 1 milione di caratteri. Questo riflette la nostra convinzione che un rilevatore di IA non dovrebbe essere utilizzato solo una volta per verificare un documento finito. Può invece essere utilizzato durante tutto il processo di scrittura e revisione per identificare e ridurre i pattern specifici dell'IA, o "AI slop", aiutando gli utenti a produrre infine una scrittura di qualità superiore.

A settembre, Wordvice ha anche lanciato un progetto di miglioramento delle prestazioni del rilevatore di IA con il supporto ufficiale della Publication Industry Promotion Agency of Korea. Sulla base di questo lavoro, stiamo pianificando un secondo importante aggiornamento entro la fine dell'anno. Il prossimo aggiornamento andrà oltre la semplice identificazione dei pattern di scrittura simili a quelli dell'IA e si concentrerà su problemi pratici che possono derivare da un uso negligente o inappropriato dell'IA, tra cui la verifica delle fonti e i controlli di coerenza logica.

Siamo lieti di condividere ulteriori novità con l'avanzare del progetto. Di seguito, esaminiamo più in dettaglio l'architettura del modello, la metodologia di addestramento, i dati di valutazione e le prestazioni dettagliate di AI Detector 2.0.

Cosa è cambiato tecnicamente in Detector 2.0?

1. Addestrato su una gamma più ampia di pattern di scrittura del mondo reale

Detector 2.0 è stato addestrato su circa 600.000 testi scritti da esseri umani e generati dall'IA. I dati di addestramento comprendono scrittura accademica e generale, così come un'ampia gamma di testi generati e riscritti dall'IA, consentendo al modello di apprendere pattern che rispecchiano più fedelmente l'utilizzo reale.

Tuttavia, semplicemente aumentare la quantità di dati di addestramento non è stato sufficiente.

La nostra analisi del modello iniziale ha mostrato che le classificazioni errate tendevano a concentrarsi attorno a casi limite difficili. In alcuni casi, il modello identificava testo scritto da esseri umani come generato dall'IA. In altri, testo generato dall'IA assomigliava molto alla scrittura umana e non veniva rilevato.

Per risolvere questo problema, Detector 2.0 identifica questi casi difficili separatamente e conferisce loro maggiore rilevanza durante l'addestramento aggiuntivo.

2. Il Hard Negative Mining concentra l'addestramento sui casi difficili

Dopo la fase di addestramento iniziale, abbiamo selezionato esempi che il modello trovava relativamente difficili da classificare e li abbiamo incorporati in un ulteriore ciclo di addestramento. Internamente, chiamiamo questo processo Hard Negative Mining (HNM).

Nello specifico, abbiamo selezionato testi scritti da esseri umani che hanno ricevuto punteggi di generazione IA relativamente alti, così come testi generati dall'IA che hanno ricevuto punteggi relativamente bassi. In altre parole, il processo non si limita a raccogliere esempi che il modello ha classificato in modo errato. Si concentra più ampiamente sui casi in cui la distinzione tra scrittura umana e scrittura dell'IA è difficile da stabilire per il modello, indipendentemente dal fatto che la sua previsione originale fosse tecnicamente corretta.

Durante la seconda fase di addestramento, a questi esempi difficili è stato assegnato un peso maggiore in modo che apparissero più frequentemente nel processo di addestramento. Ciò ha permesso al modello di concentrarsi non solo su esempi già facili da distinguere, ma anche su testi che rappresentano sfide reali nel rilevamento nel mondo reale.

3. Aggiunta di un'analisi più dettagliata a livello di frase e segmento

Detector 2.0 va oltre la fornitura di un singolo risultato per un intero documento. Fornisce inoltre informazioni più dettagliate su dove i pattern generati dall'IA appaiono più intensamente all'interno del testo.

Il Boundary Detector è un modello a livello di token che classifica i pattern umani o generati dall'IA per singoli token. Questi punteggi a livello di token vengono poi aggregati a livello di parola e frase, consentendo agli utenti di identificare le sezioni di un documento in cui i pattern generati dall'IA sono relativamente più marcati.

Questa analisi Boundary è separata dal percorso di analisi a livello di frase di Detector 2.0. Mentre il Boundary Detector aggrega le previsioni a livello di token per evidenziare pattern dettagliati all'interno di un documento, il punteggio della frase viene generato da un modello separato che valuta ciascuna frase insieme al contesto circostante.

Il risultato finale del rilevamento considera sia il rilevamento a livello di documento che l'analisi a livello di frase, mentre questi singoli percorsi di analisi forniscono anche informazioni esplicative aggiuntive. Le evidenziazioni Boundary e i punteggi delle frasi vengono quindi generati in modi diversi e dovrebbero essere interpretati in base ai rispettivi ruoli.

In che modo è migliorato il rilevamento della riscrittura dell'IA?

L'impatto dell'HNM è emerso in modo particolarmente evidente nella nostra valutazione del testo riscritto dall'IA, in cui l'IA viene utilizzata per riscrivere contenuti esistenti.

Metrica di valutazione	Modello iniziale	Detector 2.0	Variazione
AI Rewrite F1	Circa 0,955	0,9819	+0,027
AI Rewrite Recall	Circa 0,933	0,9917	+0,059

Su un set di test in-domain separato, il modello finale ha raggiunto anche un punteggio F1 di 0,9773 e un AUROC di 0,9979.

In particolare, il recall nella valutazione della riscrittura dell'IA è aumentato da circa 0,933 a 0,9917. Ciò indica che, all'interno di questo set di dati di valutazione, un numero minore di testi riscritti dall'IA è stato classificato erroneamente come scritto da esseri umani.

L'obiettivo di Detector 2.0 non era semplicemente migliorare le metriche di prestazione complessive. Un obiettivo chiave era migliorare il rilevamento del testo riscritto dall'IA e dei casi limite difficili con cui i rilevatori esistenti possono avere difficoltà nell'utilizzo reale.

Come possono essere utilizzate le informazioni a livello di frase?

Quando un rilevatore fornisce solo un risultato a livello di documento come "Simile a pattern generati dall'IA", può essere difficile per gli utenti capire cosa abbia contribuito a quel risultato.

Detector 2.0 fornisce informazioni più dettagliate su dove i pattern generati dall'IA appaiono relativamente più intensi all'interno del testo, aiutando gli utenti a identificare quali parti potrebbero richiedere una verifica più attenta.

Ad esempio:

Frase	Similarità IA
"This study examines…"	0,82
"We propose a novel…"	0,31

Un punteggio di 0,82 non significa che ci sia una probabilità dell'82% che la frase sia stata scritta dall'IA.

Questi punteggi sono indicatori relativi progettati per rendere i pattern identificati dal modello più facili da interpretare per gli utenti. Un punteggio elevato per una determinata frase non dovrebbe quindi essere considerato come prova che la frase sia stata generata dall'IA.

Lo scopo delle informazioni a livello di frase è aiutare gli utenti a identificare quali parti di un documento potrebbero richiedere una verifica più attenta.

Come è stato valutato il Boundary Detector?

Abbiamo valutato il Boundary Detector utilizzando un benchmark pubblico di rilevamento del testo IA progettato per identificare i punti di transizione tra testo scritto da esseri umani e testo generato dall'IA.

La metrica di valutazione principale era il MAE (Mean Absolute Error), che misura la distanza media tra il punto di transizione umano/IA previsto e quello effettivo. Un MAE più basso indica un rilevamento dei confini più accurato.

Come riferimento, di seguito sono riportati i risultati precedentemente pubblicati sullo stesso set di test SemEval.

Sistema	Overall MAE ↓
Baseline ufficiale SemEval	21,54
TM-TREK	15,68
DeepPavlov	13,38
Wordvice Boundary Detector	7,16

Questa tabella, tuttavia, non deve essere interpretata come una classifica diretta delle prestazioni dei sistemi.

Ogni sistema è stato addestrato utilizzando dataset e condizioni di addestramento diversi, pertanto i risultati misurati sullo stesso set di test da soli non sono sufficienti per stabilire una superiorità assoluta delle prestazioni. Questi risultati dimostrano piuttosto come si sia comportato il Wordvice Boundary Detector sullo stesso benchmark pubblico.

Più efficace su testi accademici familiari, ma è necessaria maggiore cautela in nuovi ambiti

Le metriche di prestazione complessive raccontano solo una parte della storia. È altrettanto importante capire dove un modello funziona bene e dove può incontrare maggiori difficoltà.

Quando scomponiamo i risultati del Boundary Detector per ambiente di dati, emerge una differenza evidente.

Ambiente di valutazione	MAE ↓	Token F1
Testi accademici simili alla distribuzione di addestramento	2,72	0,987
Ambiti esterni non visti	15,96	0,956
Complessivo	7,16	0,973

Il Boundary Detector ha mostrato prestazioni solide sui testi accademici simili alla sua distribuzione di addestramento, mentre il tasso di errore è aumentato negli ambiti esterni non rappresentati nell'addestramento.

Si tratta di un limite importante dei sistemi di rilevamento dell'IA. Prestazioni complessive elevate su un dataset non garantiscono lo stesso livello di precisione in tutte le lingue, ambiti o tipi di scrittura.

Detector 2.0 riflette questo limite anche nell'esperienza del prodotto. Quando le informazioni in ingresso sono insufficienti, o quando una lingua o un ambito non è ancora stato sufficientemente validato, agli utenti viene fornita un'indicazione aggiuntiva che li incoraggia a interpretare i risultati con maggiore cautela.

Attualmente, l'analisi a livello di frase è stata validata più ampiamente su testi accademici in inglese. I risultati a livello di frase per testi non in inglese o per scritti che differiscono sostanzialmente dalla distribuzione di addestramento dovrebbero quindi essere interpretati con maggiore cautela.

Cosa cambia nell'utilizzo reale?

I miglioramenti pratici di Detector 2.0 possono essere riassunti come segue.

Scenario di utilizzo	Difficoltà con il rilevamento esistente	Miglioramento di Detector 2.0
L'IA genera l'intero testo	Difficile catturare l'intera gamma di pattern di generazione dell'IA	Addestramento su una gamma più ampia di pattern di scrittura umani e generati dall'IA
Un testo scritto da un essere umano viene riscritto dall'IA	La riscrittura può rendere il testo più naturale e più difficile da rilevare	Maggiore enfasi nell'addestramento sui casi difficili di riscrittura dell'IA grazie all'HNM
Un essere umano scrive con uno stile simile a quello dell'IA	Il testo scritto da un essere umano può essere identificato erroneamente come generato dall'IA	I casi difficili scritti da esseri umani vengono incorporati nell'addestramento aggiuntivo
I pattern dell'IA compaiono in modo marcato solo in una parte di un documento	Un risultato a livello di documento da solo non indica quali sezioni richiedano una verifica	Informazioni a livello di frase e segmento tramite il Boundary Detector e l'analisi delle frasi
Il testo è breve o appartiene a un ambito meno validato	Informazioni limitate possono portare gli utenti a fidarsi eccessivamente del risultato	Un'indicazione aggiuntiva incoraggia un'interpretazione più cautelativa