쉬운 요약

• 인공지능 제품과 서비스를 이용하는 사람의 권리와 피해구제 절차를 강화하기 위한 법률 개정안이에요.
• 고영향 인공지능을 이용할 때 이용자가 결과나 판단의 이유를 설명해 달라고 요구할 수 있는 근거를 마련하려 해요.
• 인공지능을 제공하거나 운영하는 주체의 이용자 보호 업무를 평가하는 제도를 도입하려 해요.
• 인공지능 제품이나 서비스 때문에 분쟁이 생겼을 때 조기에 해결할 수 있도록 별도 분쟁조정위원회를 만들려 해요.
• 법안이 제안하는 보호 장치가 실제로 작동하려면 고영향 인공지능의 범위, 설명의 수준, 조정 결과의 효력이 구체적으로 정해져야 해요.

주요 내용

• 고영향 인공지능 이용자 설명요구권: 고영향 인공지능의 판단이나 결과에 대해 이용자가 설명을 요구할 수 있는 제도를 마련하려 해요.
• 설명 절차 구체화: 설명요구가 언제, 누구에게, 어떤 방식으로 이뤄지는지에 관한 절차를 별도로 두려 해요.
• 이용자 보호 업무 평가: 인공지능 제공자나 관련 주체가 이용자 보호 업무를 제대로 수행하는지 평가하는 제도를 도입하려 해요.
• 인공지능 분쟁조정위원회 설치: 인공지능 제품 또는 서비스 이용 중 발생한 분쟁을 조정할 전담 기구를 신설하려 해요.
• 분쟁조정 절차 마련: 분쟁 신청부터 사실 확인, 조정안 제시와 절차 종료까지 필요한 규정을 마련하려 해요.
• 피해구제 체계 보완: 알고리즘의 불투명성이나 학습데이터의 편향성으로 생긴 이용자 피해에 대응할 제도적 통로를 넓히려 해요.

왜 나왔나

발의 당시 설명은 현행 인공지능 기본법에 인공지능 이용자의 권익을 보호하기 위한 구체적인 권리와 절차, 피해구제 수단이 충분하지 않다고 봐요. 인공지능이 사회 전반으로 빠르게 확산되면서 알고리즘이 어떻게 작동했는지 알기 어렵거나 학습데이터의 편향 때문에 이용자 피해가 발생할 수 있지만, 피해 원인을 확인하고 분쟁을 해결할 제도적 장치가 부족하다는 문제의식이에요. 특히 고영향 인공지능은 사람의 생활과 권리에 큰 영향을 줄 수 있어 이용자가 판단 이유를 확인할 수 있어야 한다는 방향을 제시하고 있어요. 이에 설명요구권과 이용자 보호 업무 평가, 분쟁조정위원회를 통해 인공지능 이용자를 더 두텁게 보호하려는 취지예요.

무엇이 달라지나

1) 고영향 인공지능 설명요구권 신설

발의안은 제34조의2를 신설해 고영향 인공지능 이용자에게 설명을 요구할 수 있는 권리를 별도로 규정하려 해요. 이용자가 인공지능 제품이나 서비스의 결과를 받아들이는 데 그치지 않고, 그 결과가 나온 이유를 확인할 수 있는 통로를 마련하려는 내용이에요.

• 설명요구의 대상이 되는 고영향 인공지능을 어디까지 볼지가 권리의 범위를 결정해요.
• 설명이 단순한 결과 안내인지, 판단에 영향을 준 주요 요소와 처리 과정을 포함하는지 구체화가 필요해요.
• 영업상 비밀이나 보안 문제를 이유로 설명이 제한될 때 이용자의 권리와 어떻게 조정할지도 중요한 쟁점이에요.

2) 이용자 보호 업무 평가 제도

제안안은 제35조의2를 통해 인공지능 이용자 보호 업무에 대한 평가 제도를 별도로 두려 해요. 인공지능을 제공하는 주체가 이용자 보호를 위해 어떤 업무를 수행하는지 확인하고, 보호 수준을 높이려는 방향이에요.

• 평가 대상이 되는 사업자와 업무의 범위를 명확히 정해야 해요.
• 평가 결과가 단순한 내부 점검인지, 공개나 개선 요구 등 후속 조치로 이어지는지에 따라 제도의 실효성이 달라져요.
• 알고리즘의 불투명성과 학습데이터 편향처럼 이용자가 직접 확인하기 어려운 문제를 평가에 어떻게 반영할지도 살펴봐야 해요.

3) 인공지능 분쟁조정위원회 신설

발의안은 제36조의2부터 제36조의11까지 인공지능 분쟁조정위원회와 관련 절차를 새로 두려 해요. 인공지능 제품이나 서비스를 이용하다가 피해나 분쟁이 발생했을 때, 이용자가 전담 조정 절차를 통해 문제 해결을 시도할 수 있도록 하려는 내용이에요.

• 법원에 바로 소송을 제기하기 전에 전문적인 분쟁조정을 신청할 수 있는 통로가 마련될 수 있어요.
• 인공지능의 기술적 원인과 이용자 피해의 관계를 다룰 수 있도록 위원회의 전문성이 중요해져요.
• 위원회의 구성과 독립성, 조정 과정에서 사업자와 이용자에게 주어지는 절차적 권리가 함께 정해져야 해요.

4) 분쟁조정 절차와 피해구제 보완

신설 조문들은 분쟁조정위원회의 설치뿐 아니라 인공지능 이용 분쟁을 접수하고 처리하기 위한 여러 절차를 규정하려는 구조예요. 다만 제공된 발의 당시 설명에는 각 조문별 세부 절차와 조정 결과의 법적 효력이 구체적으로 제시돼 있지 않아, 실제 권리구제 수준은 법안 원문과 후속 규정에서 확인해야 해요.

• 이용자가 어떤 피해를 입증해야 하는지, 사업자가 어떤 자료를 제출해야 하는지가 조정의 핵심이 될 수 있어요.
• 알고리즘이나 학습데이터 관련 자료를 사업자가 보유한 경우 이용자가 정보 부족으로 불리해지지 않도록 하는 장치가 필요해요.
• 조정이 성립했을 때 사업자가 이를 따라야 하는지, 따르지 않을 경우 어떤 후속 수단이 있는지 확인해야 해요.

누구에게 영향이 있나

• 인공지능 제품·서비스 이용자: 결과의 이유를 설명받거나 피해 발생 시 분쟁조정을 신청할 수 있는 권리가 넓어질 수 있어요.
• 고영향 인공지능 이용자: 사람의 권리와 생활에 큰 영향을 줄 수 있는 인공지능을 이용할 때 별도의 설명요구 절차를 활용할 수 있어요.
• 인공지능 제공자와 사업자: 이용자 보호 업무를 평가받고 설명요구나 분쟁조정에 대응해야 할 수 있어요.
• 인공지능 개발자와 데이터 보유 주체: 알고리즘의 작동 방식과 학습데이터 편향에 관한 설명이나 자료 제출 요구에 대비해야 할 수 있어요.
• 분쟁조정위원회와 관계 기관: 기술적 쟁점과 이용자 피해를 함께 검토하고 분쟁을 조기에 해결하는 역할을 맡게 될 수 있어요.

봐야 할 점

• 고영향 인공지능의 범위가 지나치게 좁으면 설명요구권이 일부 이용자에게만 적용되고, 너무 넓으면 사업자의 대응 부담이 커질 수 있어요.
• 설명이 이용자에게 실제로 이해 가능한 수준인지, 전문 용어와 형식적인 안내에 그치지 않는지 확인해야 해요.
• 평가 제도가 사업자의 자율 점검에 머무르지 않고 이용자 피해 예방과 개선으로 이어지는지 봐야 해요.
• 분쟁조정위원회의 전문성·독립성과 함께 조정 결과가 어느 정도의 구속력을 갖는지 살펴야 해요.
• 알고리즘과 학습데이터를 둘러싼 영업비밀 보호가 이용자의 자료 접근과 피해 입증을 과도하게 막지 않도록 균형을 잡아야 해요.