2026년 07월 04일 - 로컬 LLM에 4만불 태우는 사람들, Fable 5 탈옥 등급표, 트럼프 데드라인 맞춘 원자로 3기

AI · ML

AI · 하드웨어

4만 달러면 집에서 "거의 Opus급" LLM 돌릴 수 있음

Jamesob's guide to running SOTA LLMs locally

• 개발자 jamesob이 로컬에서 최신 LLM을 굴리는 하드웨어·소프트웨어 셋업 전체를 깃허브에 공개함. $2천이면 Qwen 계열 모델과 로컬 음성인식(STT) 조합이 가능하고, $4만을 쓰면 "거의 Opus급" 성능까지 노려볼 수 있다는 게 핵심 주장.
• 고사양 구성은 RTX PRO 6000 GPU 4장(총 384GB VRAM, 약 4만6천 달러)에 중고 EPYC 서버 CPU와 DDR4 램으로 짠 베이스 시스템(약 5,600달러)을 붙이는 방식. GPU끼리 직접 통신하도록 c-payne PCIe4 스위치를 추가해 텐서 병렬 처리 시 지연시간을 줄인 게 특징.
• 이 구성으로 Z.ai의 오픈모델 GLM-5.2(744B 파라미터, 활성 파라미터 40B, 컨텍스트 100만 토큰)를 vLLM으로 서빙하면 약 46만 토큰 컨텍스트에서 초당 약 80토큰 속도가 나옴.
• "Dario나 Altman이 부담스러우면 직접 인프라를 갖추라"는 도발적 문구로 시작하는 게 특징 — 클라우드 LLM 의존도를 낮추려는 개발자 수요가 여전히 크다는 뜻.

AI · 인프라

코드를 이미지로 찍어서 OCR 시켰더니 토큰비 60% 절감

60% Fable cost cut by converting code to images and having the model OCR it

• teamchong이 만든 오픈소스 프록시 pxpipe는 시스템 프롬프트, 툴 문서, 과거 대화 히스토리처럼 부피 큰 텍스트를 PNG 이미지로 바꿔 요청 전송 전에 압축함. 이미지 토큰 비용이 글자 수가 아니라 픽셀 크기로 정해진다는 점을 이용한 방식.
• 실측 기준 약 2만5천 텍스트 토큰이 이미지로 바뀌면 약 2,700토큰 수준으로 줄어듦. 코드나 JSON처럼 밀도 높은 콘텐츠는 이미지 1토큰당 약 3.1자를 담는 반면, 텍스트는 1토큰당 1자 수준이라 그 격차를 파고든 셈.
• Fable 5 기준 가격으로 환산하면 엔드투엔드 비용이 약 59~70% 줄고, 압축이 잘 먹는 요청은 최대 72~74%까지 절감됨.
• 다만 손실 압축이라 정확한 값이 필요하면 위험함 — 12자리 16진수 문자열을 이미지로 넣고 되묻는 테스트에서 Opus는 15번 중 0번, Fable 5는 15번 중 13번만 맞혔고, 틀릴 때도 그럴듯한 오답을 내놓는 confabulation 문제가 있었음. ID·해시·시크릿 값은 텍스트로 남겨야 한다는 뜻.

AI · 보안

Fable 5, 사이버 탈옥 위험도 0~4단계로 처음 매기기 시작함

More details on Fable 5's cyber safeguards and jailbreak framework

• Anthropic이 Fable 5를 전 세계에 재배포하면서 사이버 안전장치 세부 내용과 탈옥(jailbreak) 심각도 평가 프레임워크 초안을 함께 공개함. 사이버 활동을 금지 사용·고위험 이중용도·저위험 이중용도·무해한 사용 4개 범주로 나눠 분류기가 다르게 대응하도록 설계함.
• 제안한 CJS(Cyber Jailbreak Severity) 척도는 0~4단계로, 능력 향상 정도·확산 범위·무기화 난이도·발견 용이성 4개 지표를 조합해 점수를 매김. CJS-0은 단순 정보 수준, CJS-4는 최고 위험 등급.
• Amazon, Microsoft, Google 등이 참여한 Glasswing 파트너십을 통해 만들었고, "보편적 탈옥(universal jailbreak)"에 대한 표준 정의도 함께 마련하려는 시도.
• 보안 연구자가 발견한 탈옥 사례를 제보받는 HackerOne 프로그램도 같이 열었음 — 업계 전반이 참고할 공통 잣대를 만들겠다는 의도.

개발 · 플랫폼

개발 · 툴

Safari도 이제 MCP 서버 지원 — 에이전트가 브라우저 직접 들여다봄

The Safari MCP server for web developers

• Apple이 Safari Technology Preview 247에 Safari MCP 서버를 추가함. MCP(Model Context Protocol) 호환 클라이언트라면 이 서버에 붙어 Safari 브라우저 창의 DOM, 네트워크 요청, 스크린샷, 콘솔 출력에 접근할 수 있음.
• 기존엔 코드 수정 → 브라우저 확인 → 콘솔 확인 → 다시 코드 수정을 반복하는 게 웹 디버깅의 기본 루틴이었는데, 에이전트가 터미널을 벗어나지 않고도 실제 렌더링 결과를 확인하며 자율적으로 디버깅할 수 있게 됨.
• 크로스브라우저 호환성 체크, 성능 분석(내비게이션 타이밍, 리소스 로드 시간), 접근성 점검까지 지원 범위에 들어감.
• MCP는 원래 Anthropic이 만들어 Linux Foundation 산하 Agentic AI Foundation에 기증한 개방 표준이라 Claude, ChatGPT, Gemini 등 다른 에이전트도 동일하게 연결 가능. 브라우저 벤더들이 에이전틱 코딩 워크플로우에 맞춰 인터페이스를 여는 흐름이 확산되는 중.

개발 · 인프라

PostgreSQL 죽이는 리눅스 OOM 킬러, 엄격한 메모리 오버커밋으로 막는 이유

PostgreSQL and the OOM killer: Why we use strict memory overcommit

• 매니지드 PostgreSQL 서비스를 15년간 5개 운영해온 Ubicloud 팀이 처음부터 끝까지 유지해온 설정 하나를 공개함 — vm.overcommit_memory=2, 이른바 '엄격한 메모리 오버커밋'.
• 이 설정을 켜면 커널이 전체 프로세스의 커밋 가상메모리 총량에 상한(CommitLimit)을 두고, 이를 넘는 할당 요청은 즉시 ENOMEM으로 거부함. PostgreSQL은 이 에러를 받으면 해당 트랜잭션만 취소하고 나머지 연결은 그대로 유지하는 우아한 대응이 가능해짐.
• 반대로 오버커밋이 느슨하면 커널의 OOM 킬러가 프로세스를 강제 종료시키는데, PostgreSQL은 자식 프로세스 하나가 OOM으로 죽으면 공유메모리 손상을 의심해 서버의 모든 연결과 진행 중인 트랜잭션을 통째로 끊어버림 — 프로세스 하나의 죽음이 전체 장애로 번지는 셈.
• 다만 세 글자짜리 커널 버그 때문에 이 설정을 일시적으로 꺼야 했던 사례도 함께 공개함. 프로덕션 PostgreSQL을 운영한다면 오버커밋 설정을 한 번쯤 점검해볼 만하다는 게 결론.

산업 · 비즈니스

산업 · 에너지

트럼프가 못박은 7월 4일 데드라인, 원자로 3곳이 맞췄음

3 Nuclear Startups Hit a Big Milestone. Why It Matters—and Why It Doesn't

• 지난해 5월 트럼프 대통령이 행정명령으로 못박은 데드라인대로, DOE 원자로 파일럿 프로그램 참여사 중 최소 3곳이 7월 4일 전에 임계(criticality) 상태에 도달함. Antares Nuclear의 Mark-0(비경수로 방식으로는 40년 만의 민간 원자로 임계), Valar Atomics의 Ward250(로스앨러모스와 유타주에서 두 차례 임계 달성), Deployable Energy의 Unity 시연 원자로(7월 1일 최초 임계 도달)가 대상.
• 파일럿 프로그램에는 Aalo Atomics, Oklo, Terrestrial Energy 등 총 10개 안팎의 스타트업이 참여 중이며, 다른 참여사들도 7월 4일 직후 임계 도달을 예고한 상태.
• 전문가들은 "이 시제품들은 회사 입장에선 큰 의미지만 상용 제품은 아니다 — 어디까지나 테스트 원자로"라는 신중론을 제기함. 수십 년간 "원전은 늘 10년 뒤"라는 말이 나올 만큼 정체됐던 산업이 규제 완화와 정치적 드라이브로 갑자기 속도를 낸 모양새.
• 데이터센터 등에 24시간 무탄소 전력을 공급할 소형원자로(SMR)에 실리콘밸리 자금이 몰리는 배경과 맞물려, 이번 마일스톤이 실제 기술 진전보다 투자 심리에 미치는 영향이 더 클 수 있다는 평가.