StylometrAI on trial with collective writing
From Quaderni piacentini and Quindici to ChatGPT
DOI:
https://doi.org/10.6092/issn.2532-8816/21219Keywords:
Stylometry, Authorship attribution, Large Language Models, GPT-4, Magazines, #AIUCD2024Abstract
The research aims to explore the ability of GPT-4 to emulate the style of two Italian cultural magazines active in the 1960s, «Quaderni Piacentini» and «Quindici». Using a corpus derived from the early issues of these magazines, the study assesses whether GPT-4 can bypass stylometric analysis by producing text that reflects the editorial strategy of a specific magazine. After using GPT-4 for generating emulative texts, a stylometric analysis was conducted to compare the AI generated texts with the original corpus. Comparison with traditional stylometric methodologies has allowed the identification of aspects where the two journals diverge, and consequently, the nodes on which the model focuses for stylistic and thematic differentiation. The research intends to open new applications on the use of stylometry for the computational analysis of texts related to specific cultural contexts; indeed, until now, the scientific community has focused on the ability of LLMs to faithfully reproduce the styles of different authors. Applying these methodologies to the field of magazines would allow for broader considerations on editorial strategies, reading trends, and the processes of idea circulation.
References
[1] Asor Rosa, Alberto. 1975. «La cultura». In Dall’Unità a oggi. Vol. IV. Storia d’Italia. Torino: Einaudi.
[2] Asprovska, Marijana, e Nathan Hunter. 2024. «The Tokenization Problem: Understanding Generative AI’s Computational Language Bias». Ubiquity Proceedings. https://doi.org/10.5334/uproc.123.
[3] Auerbach, Erich. Mimesis : il realismo nella letteratura occidentale. 2 voll. Torino: Einaudi, 1956.
[4] Baldini, Anna. 2023. A regola d’arte: storia e geografia del campo letterario italiano (1902-1936). Prima edizione. Letteratura tradotta in Italia. Macerata: Quodlibet.
[5] Balestrini, Nanni, a c. di. 2008. Quindici: una rivista e il Sessantotto. Saggi universale economica Feltrinelli. Milano: Feltrinelli.
[6] Baranelli, Luca, e Grazia Cherchi, a c. di. 1977. “Quaderni piacentini” 1962-1968. Milano: Gulliver.
[7] Barthes, Roland. Il grado zero della scrittura. Milano: Lerici, s.d.
[8] Bazzocchi, Marco A. 2021. “Comico e marginalità”. In Cento anni di letteratura italiana 1910-2010, edited by M. A. Bazzocchi. Einaudi.
[9] Berruto, Gaetano. 1987. Sociolinguistica dell’italiano contemporaneo. La nuova Italia Scientifica.
[10] Bortolotto, Francesco, e Davide Paone. 2018. «Una crepa nel sistema: dalla crisi di “Quindici” alla ricostruzione di “Alfabeta”». In Sistema periodico. Il secolo interminabile delle riviste, 189–209. Bologna: Pendragon.
[11] Bortolotto, Francesco, Eleonora Fuochi, Davide Antonio Paone, e Federica Parodi, a c. di. 2018. Sistema periodico. Il secolo interminabile delle riviste. Bologna: Pendragon.
[12] Bourdieu, Pierre. 1992. Les Règles de l’art. Genèse et structure du champ littéraire. Paris: Le Seuil.
[13] Burrows, J. 2002. «“Delta”: A Measure of Stylistic Difference and a Guide to Likely Authorship». Literary and Linguistic Computing 17 (3): 267–87. https://doi.org/10.1093/llc/17.3.267.
[14] Burrows, J. 2007. «All the Way Through: Testing for Authorship in Different Frequency Strata». Literary and Linguistic Computing 22 (1): 27–47. https://doi.org/10.1093/llc/fqi067.
[15] Cadioli, A. 1998. La ricezione. Laterza.
[16] Cadioli, A., Decleva, E. and Spinazzola, V., eds. 1999. La mediazione editoriale. Il Saggiatore/Fondazione Arnoldo e Alberto Mondadori.
[17] Carpi, Umberto. 1981. L’estrema avanguardia del Novecento. Roma: Editori Riuniti.
[18] Eder, M. 2013. «Mind Your Corpus: Systematic Errors in Authorship Attribution». Literary and Linguistic Computing 28 (4): 603–14. https://doi.org/10.1093/llc/fqt039.
[19] Eder, Maciej. 2015. «Does Size Matter? Authorship Attribution, Small Samples, Big Problem». Digital Scholarship in the Humanities 30 (2): 167–82. https://doi.org/10.1093/llc/fqt066.
[20] Eder, Maciej. 2017. «Short Samples in Authorship Attribution: A New Approach». In Digital Humanities Conference. https://api.semanticscholar.org/CorpusID:7574620.
[21] Eder, Maciej, Jan Rybicki, e Mike Kestemont. 2016. «Stylometry with R: A Package for Computational Text Analysis». The R Journal 8 (1): 107. https://doi.org/10.32614/RJ-2016-007.
[22] Fofi, Goffredo, e Vittorio Giacopini, a c. di. 1998. Prima e dopo il ’68: antologia dei Quaderni piacentini. 1. ed. Roma: Minimum fax.
[23] Franzini, Greta, Mike Kestemont, Gabriela Rotari, Melina Jander, Jeremi K. Ochab, Emily Franzini, Joanna Byszuk, e Jan Rybicki. 2018. «Attributing Authorship in the Noisy Digitized Correspondence of Jacob and Wilhelm Grimm». Frontiers in Digital Humanities 5 (aprile):4. https://doi.org/10.3389/fdigh.2018.00004.
[24] Giuliani, Alfredo. 1967. «Le cerimonie sadiche della critica». Quindici, 1967.
[25] Gray, Andrew. 2024. «ChatGPT “contamination”: estimating the prevalence of LLMs in the scholarly literature». arXiv. https://doi.org/10.48550/ARXIV.2403.16887.
[26] Guerriero, Stefano. 2021. «Salotto, laboratorio, dipartimento: la rivista come istituzione letteraria nel secondo Novecento, da “Aretusa” a “Linea d’Ombra”». In Passeurs. La letteratura italiana del SEcondo Novecento fuori d’Italia: ricezione e immaginario (1945-1989). Vol. 49. Liminaires. Bruxelles: Peter Lang.
[27] Haaf, Susanne, Frank Wiegand, e Alexander Geyken. 2013. «Measuring the Correctness of Double-Keying: Error Classification and Quality Control in a Large Corpus of TEI-Annotated Historical Text». Journal of the Text Encoding Initiative, fasc. Issue 4 (marzo). https://doi.org/10.4000/jtei.739.
[28] Holley, Rose. 2009. «How Good Can It Get?: Analysing and Improving OCR Accuracy in Large Scale Historic Newspaper Digitisation Programs». D-Lib Magazine 15 (3/4). https://doi.org/10.1045/march2009-holley.
[29] Italia, Paola. 2013. Editing Novecento. Salerno.
[30] Jauss, Hans R. 1982. Ästhetische Erfahrung und literarische Hermeneutik. Suhrkamp.
[31] Jones, Cameron R., e Benjamin K. Bergen. 2025. «Large Language Models Pass the Turing Test». https://doi.org/10.48550/ARXIV.2503.23674.
[32] Kestemont, Mike. 2014. «Function Words in Authorship Attribution. From Black Magic to Theory?» In Proceedings of the 3rd Workshop on Computational Linguistics for Literature (CLFL), 59–66. Gothenburg, Sweden: Association for Computational Linguistics. https://doi.org/10.3115/v1/W14-0908.
[33] Kichuk, Diana. 2015. «Loose, Falling Characters and Sentences: The Persistence of the OCR Problem in Digital Repository E-Books». Portal: Libraries and the Academy 15 (1): 59–91. https://doi.org/10.1353/pla.2015.0005.
[34] Kjell, Bradley, W.Addison Woods, e Ophir Frieder. 1994. «Discrimination of Authorship Using Visualization». Information Processing & Management 30 (1): 141–50. https://doi.org/10.1016/0306-4573(94)90029-9.
[35] Köbis, Nils, e Luca Mossink. 2020. «Artificial Intelligence versus Maya Angelou: Experimental evidence that people cannot differentiate AI-generated from human-written poetry». arXiv. https://doi.org/10.48550/ARXIV.2005.09980.
[36] Koppel, Moshe, e Yaron Winter. 2014. «Determining If Two Documents Are Written by the Same Author». Journal of the Association for Information Science and Technology 65 (1): 178–87. https://doi.org/10.1002/asi.22954.
[37] Liang, Weixin, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, et al. 2024. «Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews». arXiv. https://doi.org/10.48550/ARXIV.2403.07183.
[38] Liang, Weixin, Mert Yuksekgonul, Yining Mao, Eric Wu, e James Zou. 2023. «GPT detectors are biased against non-native English writers». arXiv. https://doi.org/10.48550/ARXIV.2304.02819.
[39] Luperini, Romano. 1981. Il Novecento. Torino: Loescher.
[40] Mangoni, Luisa. 1974. L’interventismo della cultura. Intellettuali e riviste del fascismo. Roma-Bari: Laterza.
[41] Mitchell, Melanie, e David C. Krakauer. 2023. «The Debate over Understanding in AI’s Large Language Models». Proceedings of the National Academy of Sciences 120 (13): e2215907120. https://doi.org/10.1073/pnas.2215907120.
[42] Muraca, Giuseppe. 1990. «Cronistoria dei ‘Quaderni piacentini’». In Da Il Politecnico a ‘Linea D’ombra. Poggibonsi: Lalli.
[43] Patat, Alejandro, e Brigitte Poitrenaud-Lamesi, a c. di. 2021. Passeurs: La letteratura italiana del Secondo Novecento fuori d’Italia: ricezione e immaginario (1945-1989). Brussels: Peter Lang.
[1] Asor Rosa, Alberto. 1975. «La cultura». In Dall’Unità a oggi. Vol. IV. Storia d’Italia. Torino: Einaudi.
[2] Asprovska, Marijana, e Nathan Hunter. 2024. «The Tokenization Problem: Understanding Generative AI’s Computational Language Bias». Ubiquity Proceedings. https://doi.org/10.5334/uproc.123.
[3] Auerbach, Erich. Mimesis : il realismo nella letteratura occidentale. 2 voll. Torino: Einaudi, 1956.
[4] Baldini, Anna. 2023. A regola d’arte: storia e geografia del campo letterario italiano (1902-1936). Prima edizione. Letteratura tradotta in Italia. Macerata: Quodlibet.
[5] Balestrini, Nanni, a c. di. 2008. Quindici: una rivista e il Sessantotto. Saggi universale economica Feltrinelli. Milano: Feltrinelli.
[6] Baranelli, Luca, e Grazia Cherchi, a c. di. 1977. “Quaderni piacentini” 1962-1968. Milano: Gulliver.
[7] Barthes, Roland. Il grado zero della scrittura. Milano: Lerici, s.d.
[8] Bazzocchi, Marco A. 2021. “Comico e marginalità”. In Cento anni di letteratura italiana 1910-2010, edited by M. A. Bazzocchi. Einaudi.
[9] Berruto, Gaetano. 1987. Sociolinguistica dell’italiano contemporaneo. La nuova Italia Scientifica.
[10] Bortolotto, Francesco, e Davide Paone. 2018. «Una crepa nel sistema: dalla crisi di “Quindici” alla ricostruzione di “Alfabeta”». In Sistema periodico. Il secolo interminabile delle riviste, 189–209. Bologna: Pendragon.
[11] Bortolotto, Francesco, Eleonora Fuochi, Davide Antonio Paone, e Federica Parodi, a c. di. 2018. Sistema periodico. Il secolo interminabile delle riviste. Bologna: Pendragon.
[12] Bourdieu, Pierre. 1992. Les Règles de l’art. Genèse et structure du champ littéraire. Paris: Le Seuil.
[13] Burrows, J. 2002. «“Delta”: A Measure of Stylistic Difference and a Guide to Likely Authorship». Literary and Linguistic Computing 17 (3): 267–87. https://doi.org/10.1093/llc/17.3.267.
[14] Burrows, J. 2007. «All the Way Through: Testing for Authorship in Different Frequency Strata». Literary and Linguistic Computing 22 (1): 27–47. https://doi.org/10.1093/llc/fqi067.
[15] Cadioli, A. 1998. La ricezione. Laterza.
[16] Cadioli, A., Decleva, E. and Spinazzola, V., eds. 1999. La mediazione editoriale. Il Saggiatore/Fondazione Arnoldo e Alberto Mondadori.
[17] Carpi, Umberto. 1981. L’estrema avanguardia del Novecento. Roma: Editori Riuniti.
[18] Eder, M. 2013. «Mind Your Corpus: Systematic Errors in Authorship Attribution». Literary and Linguistic Computing 28 (4): 603–14. https://doi.org/10.1093/llc/fqt039.
[19] Eder, Maciej. 2015. «Does Size Matter? Authorship Attribution, Small Samples, Big Problem». Digital Scholarship in the Humanities 30 (2): 167–82. https://doi.org/10.1093/llc/fqt066.
[20] Eder, Maciej. 2017. «Short Samples in Authorship Attribution: A New Approach». In Digital Humanities Conference. https://api.semanticscholar.org/CorpusID:7574620.
[21] Eder, Maciej, Jan Rybicki, e Mike Kestemont. 2016. «Stylometry with R: A Package for Computational Text Analysis». The R Journal 8 (1): 107. https://doi.org/10.32614/RJ-2016-007.
[22] Fofi, Goffredo, e Vittorio Giacopini, a c. di. 1998. Prima e dopo il ’68: antologia dei Quaderni piacentini. 1. ed. Roma: Minimum fax.
[23] Franzini, Greta, Mike Kestemont, Gabriela Rotari, Melina Jander, Jeremi K. Ochab, Emily Franzini, Joanna Byszuk, e Jan Rybicki. 2018. «Attributing Authorship in the Noisy Digitized Correspondence of Jacob and Wilhelm Grimm». Frontiers in Digital Humanities 5 (aprile):4. https://doi.org/10.3389/fdigh.2018.00004.
[24] Giuliani, Alfredo. 1967. «Le cerimonie sadiche della critica». Quindici, 1967.
[25] Gray, Andrew. 2024. «ChatGPT “contamination”: estimating the prevalence of LLMs in the scholarly literature». arXiv. https://doi.org/10.48550/ARXIV.2403.16887.
[26] Guerriero, Stefano. 2021. «Salotto, laboratorio, dipartimento: la rivista come istituzione letteraria nel secondo Novecento, da “Aretusa” a “Linea d’Ombra”». In Passeurs. La letteratura italiana del SEcondo Novecento fuori d’Italia: ricezione e immaginario (1945-1989). Vol. 49. Liminaires. Bruxelles: Peter Lang.
[27] Haaf, Susanne, Frank Wiegand, e Alexander Geyken. 2013. «Measuring the Correctness of Double-Keying: Error Classification and Quality Control in a Large Corpus of TEI-Annotated Historical Text». Journal of the Text Encoding Initiative, fasc. Issue 4 (marzo). https://doi.org/10.4000/jtei.739.
[28] Holley, Rose. 2009. «How Good Can It Get?: Analysing and Improving OCR Accuracy in Large Scale Historic Newspaper Digitisation Programs». D-Lib Magazine 15 (3/4). https://doi.org/10.1045/march2009-holley.
[29] Italia, Paola. 2013. Editing Novecento. Salerno.
[30] Jauss, Hans R. 1982. Ästhetische Erfahrung und literarische Hermeneutik. Suhrkamp.
[31] Jones, Cameron R., e Benjamin K. Bergen. 2025. «Large Language Models Pass the Turing Test». https://doi.org/10.48550/ARXIV.2503.23674.
[32] Kestemont, Mike. 2014. «Function Words in Authorship Attribution. From Black Magic to Theory?» In Proceedings of the 3rd Workshop on Computational Linguistics for Literature (CLFL), 59–66. Gothenburg, Sweden: Association for Computational Linguistics. https://doi.org/10.3115/v1/W14-0908.
[33] Kichuk, Diana. 2015. «Loose, Falling Characters and Sentences: The Persistence of the OCR Problem in Digital Repository E-Books». Portal: Libraries and the Academy 15 (1): 59–91. https://doi.org/10.1353/pla.2015.0005.
[34] Kjell, Bradley, W.Addison Woods, e Ophir Frieder. 1994. «Discrimination of Authorship Using Visualization». Information Processing & Management 30 (1): 141–50. https://doi.org/10.1016/0306-4573(94)90029-9.
[35] Köbis, Nils, e Luca Mossink. 2020. «Artificial Intelligence versus Maya Angelou: Experimental evidence that people cannot differentiate AI-generated from human-written poetry». arXiv. https://doi.org/10.48550/ARXIV.2005.09980.
[36] Koppel, Moshe, e Yaron Winter. 2014. «Determining If Two Documents Are Written by the Same Author». Journal of the Association for Information Science and Technology 65 (1): 178–87. https://doi.org/10.1002/asi.22954.
[37] Liang, Weixin, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, et al. 2024. «Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews». arXiv. https://doi.org/10.48550/ARXIV.2403.07183.
[38] Liang, Weixin, Mert Yuksekgonul, Yining Mao, Eric Wu, e James Zou. 2023. «GPT detectors are biased against non-native English writers». arXiv. https://doi.org/10.48550/ARXIV.2304.02819.
[39] Luperini, Romano. 1981. Il Novecento. Torino: Loescher.
[40] Mangoni, Luisa. 1974. L’interventismo della cultura. Intellettuali e riviste del fascismo. Roma-Bari: Laterza.
[41] Mitchell, Melanie, e David C. Krakauer. 2023. «The Debate over Understanding in AI’s Large Language Models». Proceedings of the National Academy of Sciences 120 (13): e2215907120. https://doi.org/10.1073/pnas.2215907120.
[42] Muraca, Giuseppe. 1990. «Cronistoria dei ‘Quaderni piacentini’». In Da Il Politecnico a ‘Linea D’ombra. Poggibonsi: Lalli.
[43] Patat, Alejandro, e Brigitte Poitrenaud-Lamesi, a c. di. 2021. Passeurs: La letteratura italiana del Secondo Novecento fuori d’Italia: ricezione e immaginario (1945-1989). Brussels: Peter Lang.
[44] Piazzoni, Irene. 2023. Il Novecento dei libri. Una storia dell’editoria in Italia. Roma: Carocci.
[45] Pontremoli, Giacomo. s.d. I «Piacentini». Storia di una rivista (1962-1980). Edizioni dell’Asino.
[46] Press, Gil. 2016. «Cleaning Big Data: Most Time-Consuming, Least Enjoyable Data Science Task, Survey Says». Forbes. 23 marzo 2016. https://www.forbes.com/sites/gilpress/2016/03/23/data-preparation-most-time-consuming-least-enjoyable-data-science-task-survey-says/.
[47] Rebora, Simone. 2023a. «GPT-3 vs. Delta. Applying stylometry to large language models». In La memoria digitale. Forme del testo e organizzazione della conoscenza, 292–97.
[48] Rebora, Simone. 2023b. «Short Texts with Fewer Authors. Revisiting the Boundaries of Stylometry», giugno. https://doi.org/10.5281/ZENODO.8107473.
[49] Rossi, Cesare, e Renuccio Tirelli. 1962. «Due interventi». Quaderni Piacentini, Aprile: 25-30.
[50] Redazione Quaderni Piacentini. 1962. «Editoriale». Quaderni Piacentini, marzo.
[51] Redazione Quindici. 1967. «Editoriale». Quindici, giugno.
[52] Scalia, Gianni, a c. di. 1960. La cultura italiana del ’900 attraverso le riviste. Torino: Einaudi.
[53] Sharma, Nishchal, e Ajay Kumar. 2024. «Deep Learning for Stylometry and Authorship Attribution: a Review of Literature». International Journal for Research in Applied Science and Engineering Technology 12 (9): 212–15. https://doi.org/10.22214/ijraset.2024.64168.
[54] Spitzer, Leo. 1954. Critica stilistica e storia del linguaggio. Gius. Laterza & Figli.
[55] Stamatatos, Efstathios. 2009. «A Survey of Modern Authorship Attribution Methods». Journal of the American Society for Information Science and Technology 60 (3): 538–56. https://doi.org/10.1002/asi.21001.
[56] Stokel-Walker, Chris. 2024. «Chatbot Invasion». Scientific American 331 (1): 16. https://doi.org/10.1038/scientificamerican072024-7bVpuVjnKZbJ8IQrkgMTlR.
[57] Van Der Lee, Chris, Albert Gatt, Emiel Van Miltenburg, e Emiel Krahmer. 2021. «Human Evaluation of Automatically Generated Text: Current Trends and Best Practice Guidelines». Computer Speech & Language 67 (maggio):101151. https://doi.org/10.1016/j.csl.2020.101151.
[58] Varnum, Michael E. W., Nicolas Baumard, Mohammad Atari, e Kurt Gray. 2024. «Large Language Models Based on Historical Text Could Offer Informative Tools for Behavioral Science». Proceedings of the National Academy of Sciences 121 (42): e2407639121. https://doi.org/10.1073/pnas.2407639121.
[59] Ward, Joe H. 1963. «Hierarchical Grouping to Optimize an Objective Function». Journal of the American Statistical Association 58 (301): 236–44. https://doi.org/10.1080/01621459.1963.10500845.
[60] Wickham, Hadley. 2014. «Tidy Data». Journal of Statistical Software 59 (10). https://doi.org/10.18637/jss.v059.i10.
[61] Zaitsu, Wataru, e Mingzhe Jin. 2023. «Distinguishing ChatGPT(-3.5, -4)-generated and human-written papers through Japanese stylometric analysis». PLOS ONE 18. https://doi.org/10.1371/journal.pone.0288453.
[62] Zanotti, Paolo. 2011. Dopo il primato. La letteratura francese dal 1968 a oggi. Roma-Bari: Laterza.
[63] Zinato, Emanuele. 2017. «Editoria e critica». In Modernità italiana. Cultura, lingua e letteratura dagli anni settanta a oggi, 75–115. Roma: Carocci.
[64] Zinato, Emanuele. 2018. «Ciclostilati in proprio: la critica dei “Quaderni piacentini”». In Sistema periodico. Il secolo interminabile delle riviste, 173-188. Bologna. Pendragon.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2025 Marco De Cristofaro, Mariangela Giglio
This work is licensed under a Creative Commons Attribution 4.0 International License.
