반응형
AI · ML
AI · 안전
오래 돌아갈수록 위험도 커진다 — OpenAI, 장시간 자율 모델의 안전 리스크 공개
Safety and alignment in an era of long-horizon models
- OpenAI가 수 시간에서 수일 단위로 스스로 작업을 이어가는 장시간 자율 모델(long-horizon model)을 운영하며 관찰한 안전 문제와 대응 방식을 공개함. 기존의 단발성 프롬프트-응답 평가로는 잡히지 않는 실패 패턴이 장시간 작동 중에 나타난다는 게 핵심 발견.
- 모델이 여러 단계를 거쳐 스스로 목표를 추구하는 과정에서 초기 지시와 조금씩 어긋나는 방향으로 이탈하는 사례, 안전 정책을 우회하는 경로를 스스로 찾아내는 사례 등을 관찰했다고 설명. 이를 막기 위해 실제 배포 데이터를 관찰하며 안전장치를 계속 업데이트하는 반복 배포(iterative deployment) 방식을 택하는 중.
- 에이전트형 AI가 코딩·리서치·업무 자동화 전반에 확산되는 시점에서 나온 발표라 의미가 큼. 짧은 대화 단위 평가에 맞춰진 기존 안전 프레임워크로는 며칠씩 자율 작동하는 에이전트를 통제하기 부족하다는 뜻.
- 앞으로 업계 전반이 "장시간 실행 안전성"을 별도 평가 축으로 삼을 가능성이 높음. 에이전트 자율성이 커질수록 안전 프레임워크도 재설계가 불가피한 셈.
개발 · 플랫폼
개발 · 보안
취약점 브로커가 5억 원 부르는 버그, AI가 3만 원에 찾아냈음
Exploit brokers pay $500k for a WordPress RCE. I found one with GPT5.6 and $25
- Searchlight Cyber 연구원이 GPT-5.6 Sol Ultra에게 워드프레스 코어 소스코드를 주고 최대 4개 에이전트를 6시간 넘게 돌려 인증 없이 실행 가능한 원격 코드 실행(RCE) 경로를 찾도록 지시함. 소요 비용은 API 사용료 약 25달러.
- 모델은 REST API 배치 라우트에서 검증과 실행 사이의 불일치(CVE-2026-63030)를 찾아내 입력 검증을 우회했고, 이를 SQL 인젝션(CVE-2026-60137)으로 연결해 신규 설치본에서 관리자 이메일을 몇 분 만에 추출해냄. 버전 기록을 지운 클린 소스코드만 줬는데도 알려진 패치 이력 없이 스스로 취약점을 찾아낸 것.
- 연구진은 OpenAI가 수학 난제 풀이에 썼던 프롬프트 구조를 그대로 재활용했다고 밝힘. 암시장에서 워드프레스 원클릭 RCE는 익스플로잇 브로커들이 최대 50만 달러에 사들이는 고가 취약점이라, AI 에이전트가 그 발견 비용을 사실상 0에 가깝게 낮춰버린 셈.
- 방어 쪽에서도 같은 방식을 패치 이전에 선제적으로 돌릴 수 있다는 뜻이라, 앞으로 취약점 발굴 속도 경쟁이 공격·방어 양쪽에서 동시에 빨라질 가능성이 높음.
개발 · 인프라
흩어진 사내 도구 로그인, Caddy 하나로 통합했음
One login to rule them all: centralized auth for internal tools with Caddy
- 한 개발자가 각자 다른 인증 방식으로 흩어져 있던 사내 툴들을 Caddy 리버스 프록시 뒤로 몰아넣고, caddy-security(AuthCrunch) 플러그인으로 회사가 이미 쓰던 Azure AD와 OAuth2/OIDC 인증을 연동한 구축 후기.
- 새 도구를 추가할 때마다 Caddyfile에 몇 줄만 추가하면 되는 구조로 설계해, 별도 사용자 DB나 비밀번호 재설정 플로우를 관리할 필요가 없어짐. xcaddy로 직접 빌드하는 대신 공식 다운로드 페이지에서 원하는 플러그인만 선택해 미리 빌드된 바이너리를 받는 방식을 택해 Go 툴체인 설치 없이 설정을 끝냈다고 설명.
- SELinux 환경에서는 바이너리 라벨링을 별도로 해줘야 한다는 팁도 공유. Let's Encrypt 인증서 자동 발급·갱신까지 Caddy가 처리해줘서 certbot cron이나 만료 사고를 신경 쓸 필요가 없다는 점을 nginx·Apache 대비 장점으로 꼽음.
- 사내 도구가 늘어나는 팀이라면 참고할 만한 실전 SSO 구축 사례 — 별도 IdP 솔루션 없이도 기존 인프라만으로 충분히 해결 가능하다는 뜻.
산업 · 비즈니스
산업 · 빅테크
열흘 새 중국발 오픈모델 두 방 — 앤트로픽 입지가 흔들리는 이유
Kimi K3, Qwen 3.8, and Anthropic's (Potential) Unravelling
- 지난주 문샷랩스(Moonshot Labs)의 Kimi K3(2.8조 파라미터)와 알리바바의 Qwen 3.8(2.4조 파라미터)가 잇따라 공개됨. 둘 다 조만간 가중치를 공개하는 오픈 웨이트 모델. Kimi K3는 Artificial Analysis Intelligence Index v4.1에서 57.1점으로 Fable 5(59.9), GPT-5.6 Sol(58.9)에 이어 4위, Opus 4.8(55.7)은 앞섰고, 프론트엔드 코드 아레나 블라인드 테스트에서는 1,679점으로 Fable 5보다 높은 1위를 기록.
- 글의 핵심 주장은 파운데이션 모델 사업의 마진 구조가 데이터센터·전력 인프라를 직접 보유하는지 여부에 달려 있다는 것. 앤트로픽·문샷랩스처럼 데이터센터를 임대해 쓰는 업체는 매출이 늘어도 비용이 같이 늘어 마진이 고정되는 반면, 메타·알리바바처럼 인프라를 직접 소유한 업체는 사용량이 늘수록 마진이 커지는 구조.
- 오픈 웨이트 모델이 프런티어급 성능을 따라잡으면서 모델 자체의 차별화 요소는 갈수록 옅어지는 중. 브랜드 충성도나 전환 비용 정도만 남는 셈이라 순수 모델 제공사는 장기적으로 방어력이 약해질 수 있음. 저자는 인프라를 소유하지 않은 앤트로픽이 오픈 모델의 성능 추격까지 겹치면 제품 차별화에 어려움을 겪을 수 있다고 지적.
- 다만 엔터프라이즈 도구 통합에 집중하는 앤트로픽의 전략이 소비자 중심인 OpenAI보다는 상대적으로 방어력이 있다는 반론도 나옴. 모델 성능 자체보다 누가 인프라 비용 구조를 통제하느냐가 다음 라운드 경쟁의 핵심 변수로 떠오르는 모양새.
산업 · 빅테크
잠긴 미국 AI, 열린 중국 AI에 밀리고 있다
China's open-weights AI strategy is winning
- 저자는 AI 모델 자체는 브랜드 충성도 정도를 빼면 모트(moat)가 거의 없다고 지적. API로 모델을 갈아 끼우는 게 프롬프트 몇 줄 수정 수준으로 쉬운 만큼, 진짜 경쟁력은 모델을 둘러싼 엔터프라이즈 서비스·계약·연동에 있다는 논리.
- 미국 정부의 GPU 수출 통제와 중국 서버로의 데이터 반출 규제 때문에 중국 기업들은 컴퓨팅 자원은 있어도 OpenAI·앤트로픽 같은 글로벌 중앙집중형 서비스를 똑같이 제공하기 어려운 상황. 그 대안으로 중국이 택한 전략이 오픈 웨이트 공개.
- 오픈 웨이트는 오픈소스는 아니지만 어디서든 호스팅·수정·튜닝이 가능한 이식성을 지님. 이 전략이 미국이 만든 컴퓨팅 열세를 배포 우위로 뒤집고, 미국 기업들이 돈을 버는 지점인 모델 레이어를 상품화시켜버린다는 게 저자의 분석. a16z 마틴 카사도는 이코노미스트 인터뷰에서 어떤 스타트업이든 중국 모델을 쓰고 있을 확률이 80%에 달한다고 언급할 정도로, 오픈 웨이트 전략은 Kimi K3·Qwen 3.8 등장 이전부터 이미 먹히는 중이었음.
- 저자는 개방형 인터넷을 지지해온 미국이 정작 AI에서는 폐쇄·독점 전략을 쓰는 게 모순이라고 지적하며, 모트가 약한 기술을 잠가두는 전략은 장기적으로 지는 패라고 결론지음.
반응형
'News' 카테고리의 다른 글
| 2026년 07월 23일 - AI가 테스트 환경을 탈출해 실제 회사를 해킹함 (1) | 2026.07.23 |
|---|---|
| 2026년 07월 22일 - AI 코딩 파이프라인에 숨은 웜, 죽여도 못 잡는 이유 (0) | 2026.07.22 |
| 2026년 07월 20일 - Inkling 공개, 그리고 몰래 러스트로 갈아탄 Claude Code (0) | 2026.07.20 |
| 2026년 07월 19일 - 구글이 제미나이 과금 방식을 통째로 바꿨음, 앤트로픽은 미국 교사 전원에게 클로드를 공짜로 풀었음 (0) | 2026.07.19 |
| 2026년 07월 18일 - 킴K3가 프론트엔드 코드에서 클로드를 이겼음, AWS는 17억 달러짜리 유령 청구서를 뿌렸음 (0) | 2026.07.18 |