AI Challenges From a Personal Data Perspective

Czech original: Umělá inteligence – nové výzvy z pohledu osobních údajů

Martin Mach
  • Právník 4/2025
  • Volume: 164
  • Pages: 347-360
  • Section: Articles

In 2023, we saw the rise of artificial intelligence (AI) and its expansion to mass use by users around the world. However, AI also brings significant privacy challenges, as do all previous significant changes in modern technology. Globally, two approaches to AI in the context of data protection can be observed, one approach represented mainly by the United States of America and the other approach represented mainly by the European Union. The US focuses mainly on innovation and flexibility, while the EU emphasises privacy and security over technological advancement. The present paper will focus on the protection of users when using AI and the specific privacy risks of AI, including unauthorised access to sensitive data, misuse of data for tracking and profiling users, and lack of transparency of algorithms. In relation to the risks of using AI, the paper will focus on the EU’s proposed regulation setting out harmonised rules for AI, the so-called AI Act. This would provide a comprehensive framework for AI regulation, including obligations for AI developers and users, to minimise risks and ensure the ethical use of AI. Finally, the paper will focus on whether the AI Act effectively ensures the protection of users in the context of AI.

Czech original: V roce 2023 jsme zažili vzestup umělé inteligence (AI) a její rozšíření k masovému používání uživateli po celém světě. Umělá inteligence však také přináší významné výzvy v oblasti ochrany osobních údajů, tak jako všechny předchozí výrazné změny v oblasti moderních technologií. Celosvětově lze sledovat dva přístupy k AI v souvislosti s ochranou osobních údajů, jeden přístup reprezentují zejména Spojené státy americké a druhý přístup reprezentuje zejména Evropská unie. USA se zaměřují zejména na inovace a flexibilitu, zatímco EU klade důraz na ochranu soukromí a bezpečnost nad technologický posun. Předkládaný příspěvek se zaměří na ochranu uživatelů při užívání umělé inteligence a na konkrétní rizika ochrany osobních údajů u AI zahrnující neoprávněný přístup k citlivým datům, zneužití dat pro sledování a profilování uživatelů a nedostatečnou transparentnost algoritmů. V souvislosti s riziky užívání AI se příspěvek zaměří na nařízení stanovující harmonizovaná pravidla pro umělou inteligenci EU, tzv. AI Act, publikovaný EU. Ten by měl představovat komplexní rámec pro regulaci AI, který zahrnuje povinnosti pro vývojáře a uživatele AI, s cílem minimalizovat rizika a zajistit etické využití AI. Příspěvek se na konci bude zabývat tím, zda AI Act efektivně zajišťuje ochranu uživatelů v souvislosti s AI.

Keywords: artificial intelligence, privacy, big tech, GDPR, AI Act

Czech original: umělá inteligence, ochrana osobních údajů, Big Tech, GDPR, AI Act