쉬운 요약

• 인공지능 에이전트가 늘어나는 상황에 맞춰, 안전 기준과 지원 기준을 새로 두려는 법률 개정안이에요. 사람의 지시 없이 여러 단계를 스스로 수행하는 시스템을 제도 안에서 더 분명하게 다루려는 거예요.
• 국민 대상 교육과 홍보를 늘려서, 인공지능을 더 책임 있게 쓰게 하려는 내용이에요. 단순히 산업만 키우는 게 아니라 활용 역량도 같이 키우려는 거예요.
• 인공지능사업자에게는 에이전트 개발·제공 시 지켜야 할 의무가 새로 붙어요. 권한 범위, 위험평가, 감독, 기술적 조치를 미리 준비하게 하려는 거예요.
• 외부 시스템이나 도구와 연결될 때 생길 수 있는 위험도 함께 보려는 방향이에요. 여러 단계를 자율적으로 수행하는 특성 때문에 생기는 새로운 위험을 제도에 반영하려는 거예요.
• 핵심은 인공지능시스템의 확산을 막는 게 아니라, 자율적으로 움직이는 시스템에 맞는 안전장치와 국민 역량 지원을 같이 붙이려는 데 있어요.

주요 내용

• 국민 역량 지원 추가: 모든 국민이 인공지능을 윤리적이고 책임 있게 활용할 수 있도록 교육, 홍보, 지원을 시책에 넣으려는 내용이에요.
• 디지털역량 연계: 이런 활동을 디지털역량 함양 활동과 연결해서 운영하려는 방향이에요.
• 에이전트 의무 신설: 인공지능사업자가 인공지능 에이전트를 개발하거나 제공할 때 지켜야 할 의무를 새로 두려는 거예요.
• 권한 범위 사전 설정: 시스템이 어디까지 할 수 있는지 미리 정해 두도록 하려는 내용이에요.
• 위험평가와 관리: 외부 시스템이나 도구와 연계될 때 생길 수 있는 위험을 미리 평가하고 관리하도록 하려는 거예요.
• 사람의 감독과 기술적 조치: 권한을 벗어난 작동을 막기 위해 사람의 관리·감독과 기술적 장치를 함께 요구하려는 방향이에요.

왜 나왔나

현행법은 인공지능의 신뢰 기반을 만들기 위한 정부의 시책과 고영향 인공지능에 대한 사업자의 책무를 두고 있어요. 그런데 최근에는 사람의 개별 지시 없이 스스로 계획하고 추론하면서 외부 시스템이나 도구를 활용해 여러 단계를 수행하는 인공지능시스템이 빠르게 늘고 있어요. 이런 시스템은 편리하지만, 권한을 넘어서 작동하거나 외부 연계 과정에서 예상하지 못한 위험이 생길 수 있어요. 법안은 이런 변화를 반영해서, 안전장치와 국민 역량 지원을 함께 법에 넣으려는 거예요.

무엇이 달라지나

1) 국민 교육·홍보 확대

현행 기본법은 인공지능 신뢰 기반을 위한 정부 시책을 두고 있지만, 모든 국민이 인공지능을 윤리적이고 책임 있게 활용할 수 있도록 역량을 키우는 부분은 분명하게 적혀 있지 않아요. 개정안은 교육, 홍보, 지원을 시책에 넣고, 디지털역량 함양 활동과도 이어지게 하려는 거예요.

• 인공지능을 만드는 사람만이 아니라 쓰는 사람의 역량도 같이 보겠다는 뜻이에요.
• 활용법만 알려주는 수준이 아니라 윤리와 책임까지 함께 다루려는 방향이에요.
• 학교, 교육기관, 공공 홍보사업 등으로 이어질 가능성이 있어요.

2) 인공지능 에이전트 대응 의무 신설

기존 제도는 고영향 인공지능에 대한 일반적인 책무는 두고 있지만, 사람의 지시 없이 스스로 여러 단계를 수행하는 인공지능시스템, 즉 인공지능 에이전트에 맞춘 별도 의무는 없었어요. 이번 개정안은 이런 시스템을 개발하거나 제공하는 사업자에게 맞춤형 의무를 새로 부여하려는 거예요.

• 일반적인 인공지능과 달리, 스스로 행동 범위를 넓히는 시스템을 따로 보겠다는 거예요.
• 서비스 제공 전 단계에서 위험을 더 꼼꼼히 따져야 해요.
• 사업자 책임이 한층 구체적으로 정리될 수 있어요.

3) 권한 범위 사전 설정

법안은 인공지능 에이전트가 수행할 수 있는 권한의 범위와 한계를 미리 정해 두도록 하고 있어요. 시스템이 어디까지 결정하고 실행할 수 있는지 사전에 묶어 두는 장치예요.

• 자율성이 커질수록 통제 경계도 분명해야 해요.
• 권한이 모호하면 예상 밖 행동이 나올 수 있어요.
• 사업자는 설계 단계에서부터 사용 범위를 좁히거나 나눠서 관리해야 할 수 있어요.

4) 외부 연계 위험평가

인공지능 에이전트는 외부 시스템이나 도구를 연결해 여러 단계의 임무를 수행할 수 있어요. 개정안은 이런 연계가 만들어 내는 위험을 평가하고 관리하도록 요구해요.

• 연결 지점이 많아질수록 예상하지 못한 사고 가능성도 커져요.
• 단일 모델의 성능만 보는 방식으로는 부족하다는 문제의식이 들어 있어요.
• 외부 도구와의 연동 방식, 접근 권한, 실패 시 대응이 더 중요해져요.

5) 사람 감독과 기술적 조치

법안은 권한을 벗어난 작동을 막기 위해 사람의 관리·감독과 기술적 조치를 함께 요구해요. 자동화만 믿지 말고, 사람이 개입할 수 있는 구조와 안전장치를 같이 두라는 뜻이에요.

• 완전 자율보다 감독 가능한 구조를 우선하려는 거예요.
• 기술적 조치만으로 부족하면 사람의 확인 절차가 붙을 수 있어요.
• 오작동이나 과도한 실행이 생겼을 때 빠르게 멈출 수 있어야 해요.

누구에게 영향이 있나

• 인공지능사업자: 에이전트를 개발하거나 제공할 때 새 의무를 맞게 돼요.
• 인공지능 서비스 이용자: 더 안전한 구조를 기대할 수 있지만, 이용 절차는 조금 더 엄격해질 수 있어요.
• 교육·홍보 기관: 국민 역량 함양 사업을 맡을 여지가 커져요.
• 플랫폼과 외부 도구 제공자: 인공지능과 연계될 때 위험관리 요구를 함께 받게 될 수 있어요.
• 정부와 감독기관: 새로운 시책을 설계하고 지원·점검하는 역할이 더 중요해져요.

봐야 할 점

• 인공지능 에이전트를 어디까지로 볼지 범위가 중요해요.
• 권한의 범위와 한계를 실제 서비스에 맞게 어떻게 정할지 기준이 필요해요.
• 외부 시스템이나 도구 연계 위험을 어떤 방식으로 평가할지 실무 기준이 중요해요.
• 사람의 관리·감독이 형식적 절차로 끝나지 않도록 점검해야 해요.
• 교육·홍보가 실제 활용 역량 향상으로 이어지는지도 꾸준히 봐야 해요.