Human and Non-Human Agency as Practical Accomplishment

Interactional Occasions for Ascription and Withdrawal of (Graduated) Agency in the Use of Smart Speaker Technology

Authors

DOI:

https://doi.org/10.7146/si.v6i1.137378

Keywords:

praxeology, ssmart speaker, voice user interface, agency, domestication theory

Abstract

The article takes its starting point with heuristics, according to which agency is not to be seen as something that certain ontological entities stably do or do not possess. Rather, it is assumed that agency, especially in voice-based exchange with smart speaker technology, is a dynamic accomplishment, basically bound to the local (linguistic) practices carried out by or rather involving contributions by participants with unequal resources for participating. Following Hirschauer (2016), we distinguish between levels of activity both on an active-passive spectrum as well as on a proactive-inhibitive spectrum and reconstruct empirically against that background how in particular the smart speaker can appear in different situations and contexts. The article concludes with a discussion of the notion of agency relating the observed practices on the one hand and against the background of a broader context of agency as media theory has it on the other, including domestication theory as well as recent smart home technologies and platform logics.

References

Ammari, Tawfiq, Kaye, Jofish, Tsai, Janice Y., & Bentley, Frank (2019): Music, Search, and IoT. How People (Really) Use Voice Assistants. ACM Transactions on Computer-Human Interaction, 26 (3), 1–28.

Ayaß, Ruth (2004): Konversationsanalytische Medienforschung. Medien & Kommunikationswissenschaft, 52 (1), 5–29.

Ayaß, Ruth (2012): Introduction. Media appropriation and everyday life. In: Ayaß, Ruth, & Gerhardt, Cornelia (Eds.): The Appropriation of Media in Everyday Life (1–16). Amsterdam: Benjamins.

Ayaß, Ruth, & Bergmann, Jörg (Eds.) (2011): Qualitative Methoden der Medienforschung. Mannheim: Verlag für Gesprächsforschung. URL: http://www.verlag-gespraechsforschung.de/2011/pdf/medienforschung.pdf

Bourdieu, Pierre (1983): Ökonomisches Kapital – Kulturelles Kapital – Soziales Kapital. In: Kreckel, Reinhard (Ed.): Soziale Ungleichheiten (183–198). Göttingen: Schwartz (= Soziale Welt, Sonderband 2). http://unirot.blogsport.de/images/bourdieukapital.pdf

Buckingham, David (2017): Media Theory 101: AGENCY. The Journal of Media Literacy, 64 (1/2), 12–15.

Crawford, Kate (2021): Atlas of AI. Power, Politics, and the Planetary Costs of Artificial Intelligence. New Haven; London: Yale University Press.

Faber, Marlene (2001): Medienrezeption als Aneignung. In: Holly, Werner, Püschel, Ulrich, & Bergmann, Jörg (Eds.): Der sprechende Zuschauer. Wie wir uns Fernsehen kommunikativ aneignen (25–40). Wiesbaden: Westdeutscher Verlag.

Folkerts, Liesa (2001): Promotoren in Innovationsprozessen. Wiesbaden: Universitäts-Verlag (= Betriebswirtschaftslehre für Technologie und Innovation).

Garfinkel, Harold (1967): Studies in Ethnomethodology. Cambridge: Polity.

Goffman, Erving (2005): Interaction Ritual. Essays in Face-to-Face Behaviour. With a new introduction by Joel Best. Interaktionsrituale. Über Verhalten in direkter Kommunikation. New Brunswick: Transaction Publishers [Original 1967].

Goodwin, Charles (2018): Co-Operative Action. Cambridge: Cambridge University Press.

Habscheid, Stephan (2022): Socio-Technical Dialogue and Linguistic Interaction. Intelligent Personal Assistants (IPA) in the Private Home. Sprache und Literatur, 51 (2).

Habscheid, Stephan, Hector, Tim, Hrncal, Christine, & Waldecker, David (2021). Intelligente Persönliche Assistenten (IPA) mit Voice User Interfaces (VUI) als ,Beteiligte‘ in häuslicher Alltagsinteraktion. Welchen Aufschluss geben die Protokolldaten der Assistenzsysteme? Journal für Medienlinguistik, 4 (1), 16–53.

Hector Tim (2022): Smart Speaker in der Praxis. Methodologische Überlegungen zur medienlinguistischen Erforschung von stationären Sprachassistenzsystemen. Sprache und Literatur, 51 (2).

Hector, Tim, Hrncal, Christine, Niersberger-Gueye, Franziska, & Petri, Franziska (2022): The ‘Conditional Voice Recorder’: Data practices in the co-operative advancement and implementation of data-collection technology. Working Paper Series Media of Cooperation 23.

Hennig, Martin, & Hauptmann, Kilian (2019). Alexa, optimier mich! KI-Fiktionen digitaler Assistenzsysteme in der Werbung. Zeitschrift für Medienwissenschaft, 11 (21), 86–94.

Hepp, Andreas (2020): Deep mediatization. Abingdon, Oxon/New York, NY: Routledge (= Key ideas in media and cultural studies).

Heritage, John, & Raymond, Geoffrey (2005): The Terms of Agreement: Indexing Epistemic Authority and Subordination in Talk-in-Interaction. Social Psychology Quarterly, 86 (1), 15–38.

Hirschauer, Stefan (2004): Praktiken und ihre Körper. Über materielle Partizipanden des Tuns. In: Reuter, Julia, & Hörning, Karl H. (Eds.): Doing Culture. Neue Positionen zum Verhältnis von Kultur und sozialer Praxis (73–91). Bielefeld: Transcript.

Hirschauer, Stefan (2016): „Verhalten, Handeln, Interagieren. Zu den mikrosoziologischen Grundlagen der Praxistheorie.“ In: Schäfer; Hilmar (Ed.): Praxistheorie. Ein soziologisches Forschungsprogramm (45–67). Bielefeld: Transcript.

Holly, Werner (2000): Beziehungsmanagement und Imagearbeit. In: Antos, Gerd, Brinker, Klaus, Heinemann, Wolfgang, & Sager, Sven F. (Eds.): Text- und Gesprächslinguistik (1382–1393). Bd. 2. Berlin,New York: de Gruyter 2001.

Ibnelkaïd, Samira (2019). L‘agentivité multimodale en interaction par écran, entre sujet et tekhnê. In: Mazur-Palandre, Audrey, & Colón de Carvajal, Isabel (Eds.): Multimodalité du langage dans les interactions et l’acquisition (281–315). Grenoble: UGA Éditions.

Ibnelkaïd, Samira, & Avgustis, Iuliia (2022/this issue). Situated agency in digitally artifacted social interactions: Introduction to the special issue. Social Interaction. Video-Based Studies of Human Sociality.

Keppler, Angela (1993): Fernsehunterhaltung aus Zuschauersicht. In: Holly, Werner, & Püschel, Ulrich (Eds.) (1993): Medienrezeption als Aneignung. Methoden und Perspektiven qualitativer Medienforschung (103–113). Wiesbaden: VS Verlag für Sozialwissenschaften.

Krummheuer, Antonia (2010): Interaktion mit virtuellen Agenten? Zur Aneignung eines ungewohnten Artefakts. Stuttgart: Lucius&Lucius.

Krummheuer, Antonia (2015): Technical Agency in Practice: The enactment of artefacts as conversation partners, actants and opponents. PsychNology Journal, 13 (2-3), 179–202.

Latour, Bruno (1993): We have never been modern. Cambridge: Harvard University Press.

Latour, Bruno (2007). Reassembling the social: An introduction to Actor-Network-Theory. Clarendon lectures in management studies. Oxford: Oxford University Press.

Lau, Josephine, Zimmerman, Benjamin, & Schaub, Florian (2018): Alexa, Are You Listening? Proceedings of the ACM on Human-Computer Interaction, 2, 1–31.

Lotze, Netaya (2016): Chatbots. Eine linguistische Analyse. Berlin Peter Lang.

Luff, Paul, Hindmarsh, Jon, & Heath, Christian (Eds.) (2000): Workplace studies. Recovering work practice and informing system design. Cambridge: Cambridge University Press.

Mondada, Lorenza (2013): Displaying, contesting and negotiating epistemic authority in social interaction: Descriptions and questions in guided visits. Discourse Studies, 15 (5), 597–626.

Neff, Gina, & Nagy, Peter (2018): Agency in the Digital Age: Using Symbiotic Agency to Explain Human–Technology Interaction. In: Papacharissi, Zizi (Ed.): A Networked Self and Human Augmentics, Artificial Intelligence, Sentience. London: Routledge.

Natale, Simone (2020): To believe in Siri: A critical analysis of AI voice assistants. Working Paper Communicative Figurations 32.

Oberzaucher, Frank (2018): Konversationsanalyse und Studies of Work. In: Habscheid, Stephan, Müller, Andreas, Thörle, Britta, & Wilton, Antje (Eds.): Handbuch Sprache in Organisationen (307–326). Berlin, Boston: de Gruyter.

Och, Anastasia Patricia, & Habscheid, Stephan (2022): Kann Influencing Beratung sein? Zur Pragmatizität von Beauty-Kommunikation auf YouTube – am Beispiel von „First Impressions“. In: Hennig, Mathilde, & Niemann, Robert (Eds.): Ratgeben in der spätmodernen Gesellschaft. Ansätze einer linguistischen Ratgeberforschung (69–96). Tübingen: Stauffenburg.

Pentzold, Christian, & Bischof, Andreas (2019): Making Affordances Real: Socio-Material Prefiguration, Performed Agency, and Coordinated Activities in Human–Robot Communication. Social Media + Society, 5 (3).

Pins, Dominik, & Alizadeh, Fatemeh (2021): „Im Wohnzimmer kriegt die schon alles mit“ – Sprachassistentendaten im Alltag, In: Boden, Alexander, Jakobi, Timo, Stevens, Gunnar, & Bala, Christian (Eds.): Verbraucherdatenschutz – Technik und Regulation zur Unterstützung des Individuums. Schriften der Verbraucherinformatik, Band 1.

Pins, Dominik, Boden, Alexander, Stevens, Gunnar, & Essing, Britta (2020): „Miss Understandable“: Eine Studie zur Aneignung von Sprachassistenten und dem Umgang mit Fehlinteraktionen. Proceedings of Mensch und Computer 2020 (MUC20). ACM, Magdeburg, Germany.

Porcheron, Martin, Fischer, Joel, Reeves, Stuart, & Sharples, Sarah (2018): Voice interfaces in everyday life. In: Mandryk, Regan, Hancock, Mark, Perry, Mark, & Cox, Anna (Eds.): Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, 1–12.

Rammert, Werner (2008): Where the Action Is: Distributed Agency between Humans, Machines, and Programs. The Technical University Technology Studies Working Papers TUTS-WP-4-2008. Berlin: Technische Universität Berlin.

Rammert, Werner, & Schulz-Schaeffer, Ingo (2002): Technik und Handeln: wenn soziales Handeln sich auf menschliches Verhalten und technische Artefakte verteilt. In: Rammert, Werner, & Schulz-Schaeffer, Ingo (Eds.): Können Maschinen handeln? Soziologische Beiträge zum Verhältnis von Mensch und Technik (11–64). Frankfurt a.M.: Campus.

Rolf, Eckard (1997): lllokutionäre Kräfte. Grundbegriffe der lllokutionslogik. Opladen: Westdeutscher Verlag.

Röser, Jutta, & Peil, Corinna (2012). Das Zuhause als mediatisierte Welt im Wandel: Fallstudien und Befunde zur Domestizierung des Internets als Mediatisierungsprozess. In Hepp, Andreas, & Krotz, Friedrich (Eds.): Mediatisierte Welten. Beschreibungsansätze und Forschungsfelder (137–163). Wiesbaden: VS Verlag.

Sacks, Harvey, Schegloff, Emanuel, & Jefferson, Gail (1974): A simplest systematics for the organisation of turn taking in conversation. Language, 50 (4), 696–735.

Schüttpelz, Erhard, & Gießmann, Sebastian (2015): Medien der Kooperation. Überlegungen zum Forschungsstand. Navigationen, 15 (1), 7–55.

Schüttpelz, Erhard, & Meyer, Christian (2017): Ein Glossar zur Praxistheorie. ,Siegener Version‘ (Frühjahr 2017). Navigationen, 17 (1), 155–163.

Schüttpelz, Erhard, & Meyer, Christian (2018): Charles Goodwin’s Co-Operative Action: The Idea and the Argument. Media in Action. Interdisciplinary Journal on Cooperative Media 1, 171–188.

Selting, Margret, Auer, Peter, Barth-Weingarten, Dagmar, Bergmann, Jörg, Bergmann, Pia, Birkner, Karin, Couper-Kuhlen, Elizabeth, Deppermann, Arnulf, Gilles, Peter, Günthner, Susanne, Hartung, Martin, Kern, Friederike, Mertzlufft, Christine, Meyer, Christian, Morek, Miriam, Oberzaucher, Frank, Peters, Jörg, Quasthoff, Uta, Schütte, Wilfried, Stukenbrock, Anja, & Uhmann, Susanne (2011): A system for transcribing talk-in-interaction: GAT 2 translated and adapted for English by Elizabeth Couper-Kuhlen and Dagmar Barth-Weingarten. Gesprächsforschung - Online-Zeitschrift Zur Verbalen Interaktion, 12, 1–51.

Silverstone, Roger (1994): Television and everyday life. London: Routledge.

Suchman, Lucy (1987): Plans and situated actions. The problem of human-machine communication. Cambridge: Cambridge University Press [reprint].

Suchman, Lucy (1990): What is Human-Machine Interaction? Cognition, computing and cooperation 1990, 25–55.

Suchman, Lucy (2007): Human-machine reconfigurations. Plans and situated actions (2nd edition). Cambridge: Cambridge University Press.

Sweeney, Miriam, & Davis, Emma (2020): Alexa, Are You Listening? Information Technology and Libraries, 39 (4).

Tas, Serpil, Hildebrandt, Christian, & Arnold, René (2019): Sprachassistenten in Deutschland, WIK Diskussionsbeitrag, No. 441. WIK Wissenschaftliches Institut für Infrastruktur und Kommunikationsdienste, Bad Honnef. URL: http://hdl.handle.net/10419/227052

Turow, Joseph (2021): The Voice Catchers: How Marketers Listen in to Exploit Your Feelings, Your Privacy, and Your Wallet. Yale: Yale University Press.

Tomasello, Michael (2008): The Origins of Human Communication. Cambridge, London: The MIT Press.

Waldecker, David, Hector, Tim, & Hoffmann, Dagmar (forthc.): Intelligent Personal Assistants in practice. Situational agencies and the multiple forms of cooperation without consensus. To be published in: Görland, Stephan, Roitsch, Cindy, & Hepp, Andreas (Eds.): Special Issue “Agency in a Datafied Society. Communication between and across humans, platforms, and machines”.

Willems, Herbert, & Kautt; York (2003): Theatralität der Werbung. Theorie und Analyse massenmedialer Wirklichkeit: Zur kulturellen Konstruktion von Identitäten. Berlin, New York: de Gruyter.

Willson, Michele (2017): Algorithms (and the) everyday. Information, Communication & Society, 20 (1), 137–150.

Zoeppritz, Magdalena (1985): Computer talk? Technical Report TN 85.05. Heidelberg: IBM Heidelberg Scientific Center.

Zuboff, Shoshana (2019): The Age of Surveillance Capitalism. New York: Public Affairs.

Downloads

Published

2023-06-12

How to Cite

Habscheid, S., Hector, T., & Hrncal, C. (2023). Human and Non-Human Agency as Practical Accomplishment: Interactional Occasions for Ascription and Withdrawal of (Graduated) Agency in the Use of Smart Speaker Technology. Social Interaction. Video-Based Studies of Human Sociality, 6(1). https://doi.org/10.7146/si.v6i1.137378