20. 주요 위험과 대응

위험	영향	대응
AI 도우미의 잘못된 예약·주문	비용·일정 피해	결과 검증, 최종 확인, 취소·보상 절차
웹 화면 변경	실행 실패	API 우선, 자동 탐지, 격리된 재시도
프롬프트 인젝션	정보유출·오행동	외부 콘텐츠 분리, 도구 권한 제한
실행 공간 탈취	개인정보 침해	기기 인증, 격리, 짧은 권한, 원격 차단
키오스크 잔존 데이터	다음 이용자 노출	이용 종료 후 초기화, 로컬 암호화, 자동 삭제
음성·착용형 기기 오인식	잘못된 판단	확인, 다중 신호, 의료 진단 금지
반려 AI 도우미 무응답 오판	불필요한 신고·불안	단계적 재확인, 사용자 지정 연락순서, 오경보 측정
AI가 사람 관계를 대체	고립 심화·의존	실제 사람 만남·통화 우선 제안, 사용시간·중단권, 효과 검증
로봇의 충돌·오작동	신체·재산 피해	속도·공간·힘 제한, 물리 중단, 안전표준·보험·단계적 현장 시험
집 안 센서의 감시화	사생활 침해	기본값 비수집, 로컬 처리, 명시적 채널별 동의, 즉시 삭제
보호자의 과도한 통제	사용자 자기결정 침해	세분화 권한, 점검 기록, 철회
데이터 보상에 의한 유인	취약계층 착취	별도 동의, 공정 보상, 최소수집
실행 공간 보상 부정	비용 증가	결과 증명, 이상탐지, 분쟁 검토
플랫폼 정책 변경	모바일 기능 제한	표준·전화·워치·키오스크·보안 실행 공간 다중 채널
사람 도움의 품질 편차	안전·신뢰 저하	역할 검증, 교육, 평가, 자격 제한

20.1 자동화를 중단해야 하는 상황

사용자의 의도가 불명확한데 비용이나 법적 효과가 발생할 때
요청하지 않은 개인정보 전송이 필요할 때
웹사이트가 권한 확대나 외부 연락을 요구할 때
결과를 검증할 수 없는데 중복 실행 위험이 있을 때
의료·법률·금융 전문 판단이 필요할 때
사용자가 불안·혼란·거부 의사를 표현할 때
반려 AI 도우미가 사용자의 무응답을 해석할 근거가 부족할 때
로봇의 센서·제동·네트워크 상태가 안전 기준을 벗어날 때