1.
샘 알트만이 은행권에 AI사기 위기를 경고하였습니다. Fraud Crisi라는 표현으로 경고하였습니다.
OpenAI CEO Sam Altman warns of an AI ‘fraud crisis’
위 기사를 보도한 국내 기사입니다.
챗GPT 개발업체 오픈AI의 샘 올트먼 최고경영자(CEO)가 인공지능(AI)으로 인한 ‘사기 위기'(fraud crisis)를 경고했습니다.현지시간 22일 미국 CNN에 따르면 올트먼 CEO는 “저를 정말 두렵게 하는 것은 아직도 일부 금융 기관이 음성 인식(voice print)을 돈을 이체하거나 다른 일을 처리하는 데 인증 수단으로 쓰고 있다는 점”이라며 “예컨대 사용자가 특정 문구를 말하면 그걸로 그렇게 해버리는 것”이라고 말했습니다.이어 “지금도 그렇게 되고 있다는 게 말도 안 되는 일이다. AI는 사람들이 현재 사용하는 대부분의 인증 방식을 완전히 무력화시켰다. 비밀번호를 제외하고는”이라고 덧붙였습니다.올트먼 CEO는 이날 미국 중앙은행 연방준비제도(Fed·연준)에서 열린 AI의 경제·사회적 영향에 관한 한 행사에서 이같이 언급했습니다.
앞서 미국 연방수사국(FBI)도 지난해 AI 음성 또는 영상 ‘복제'(cloning) 위험에 대한 경고를 내놓은 바 있습니다.올트먼 CEO는 “나는 지금 우리가 중대한, 임박한 사기 위기를 앞두고 있다는 점에서 매우 불안하다”며 “지금은 음성 통화지만 곧 현실과 구분할 수 없는 영상 통화나 페이스타임이 될 것”이라고 했습니다. 그러면서 오픈AI가 이런 모방 도구를 개발하고 있진 않지만, AI가 계속 발전함에 따라 세계가 곧 직면하게 될 도전이라고 경고했습니다.그는 AI로 인해 온라인에서 무엇이 진짜인지, 누가 진짜인지 구분하기 어려운 세상에서 ‘인간임을 증명'(proof of human)할 수 있는 수단을 제공하는 기업들도 있을 정도라고 했습니다.
‘AI 사기 위기 시대’ 경고 올트먼 “곧 영상 통화도 복제”중에서
Evident Newsletter에 위와 관련한 내용을 소개하고 있습니다.
Two patents granted this month show banks aren’t as behind on voice authentication as Sam Altman suggested last month (see: “Sam Altman’s Fraud Pitch,” The Brief, July 24). Wells Fargo unveiled a way for AI to detect when fraudsters are using synthetically-created voices to trick identity verification systems. And Morgan Stanley built a model that can detect when fraudsters are using “voiceprints” to circumvent authentication processes.
위에 등장하는 특허출원문이 아래입니다. 각각 Morgan Stanley와 Wells Fargo가 출원하였습니다.
Audio speech signal analysis for fraud detection
Synthetic voice fraud detection
Morgan Stanley 설명중 일부입니다.
To solve this longfelt need inherent in the art a device, system and method is provided for analyzing audio speech signals to detect fraudulent calls to a contact center. An audio recording of a call in real-time may be split into a foreground speech signal attributed to a main speaker and a background audio signal. Audio features may be extracted from the foreground speech signal and background audio signal. The extracted audio features may be input into an ensemble model. The ensemble model may comprise multiple different machine learning models co-trained to cumulatively detect fraud. The multiple different machine learning models may include any combination of: a speaker audio model to detect audio speech anomalies in the foreground speech signal attributed by clustering to the main speaker, a speaker intent model to classify intent of the main speaker in the foreground speech signal using a large language model and call transcription, a prosody model to detect voice intonation of the main speaker in the foreground speech signal, a fraud ring model to detect fraud risk anomalies of one or more secondary speakers in the background audio signal, a synthetic audio model to detect if the main speaker is real or synthetic, a fraud vs. non-fraud cluster model, and an account specific domain model. A prediction may be output, by the ensemble model, indicating whether the call is fraudulent.
2.
국내의 경우 위와 비슷한 사례를 다루는 세미나가 있었습니다.
AI 사기와 관련한 내용을 포함하지만 음성변조와 관련한 부분은 보이지 않습니다. 국내의 경우 통신사들이 보이스피싱과 관련한 솔류션을 개발제공하는데 LG유플러스가 ‘AI로 위조된 목소리 판별기능’을 가지고 있다고 하는데.. 월스트리트가 콜센터에 적용한 방식과 LGU+가 채택한 방식은 달라 보이네요.
엘지유플러스는 세계 최초로 통화 내용을 서버에 저장하지 않고 단말기에서만 처리하는 온디바이스 방식으로 안티 딥보이스를 상용화했다고 강조했다. 기존 서버 기반 기술의 경우 서버에 저장한 통화 음성 데이터를 텍스트로 전환한 뒤 문맥을 파악해 보이스피싱을 감지하는 만큼 사실상 감청 논란을 피하기 어렵다.
반면, 엘지유플러스는 성능은 유지하면서 인공지능 모델을 수십 메가바이트 수준으로 경량화하는 작업에 초점을 맞춰 개인정보 유출 우려 없이 인공지능 통화 비서를 이용할 수 있게 했다. 이진혁 익시오개발태스크장(상무)은 이날 서울 용산구 엘지서울역빌딩에서 연 기자간담회에서 “현재 보이스피싱 탐지 성공률은 95%로 서버 기반 방식에 견줘 다소 낮지만, 고객 음성 데이터를 서버에 보관하는 건 개인정보 침해 우려가 커 부적절하다고 판단했다. 보이스피싱 범죄 진화에 맞춰 저희도 성능을 계속 향상시킬 것”이라고 말했다. 익시오는 안티 딥보이스 기능 고도화를 위해 앞으로 2주에서 6주 단위로 업데이트를 진행할 예정이다.
위·변조 목소리, AI로 감청없이 잡는다…LGU+ ‘안티 딥보이스’ 도입중에서
3.
Evident 메일을 보니까 Deutche Bank가 GPT-5를 분석한 보고서를 올려놓았습니다.
Our report rounds up six ways that GPT-5 matters:
1.More useful, smarter, faster, but not superintelligent
2.ChatGPT goes from manual to automatic
3,GPT-5 is GPT-vibe(coding)
4.OpenAI is back in business – just in time
5.Expect competitors to react noisily
6.Chips are still on the menu“PhD-level experts in your pocket”
“GPT-5 is a major upgrade from GPT-4 and a significant step along the path to artificial general intelligence (AGI),” CEO Sam Altman said on an 80-minute livestream to mark the launch. By contrast with “college student” level GPT-4,“you get access to an entire team of PhD-level experts in your pocket.”The model itself seems in no doubt that it is superior to its predecessors, based on the image we generated asking it to encapsulate the difference.
Best AI yet? Six ways GPT-5 matters
Artificial Analysis라는 서비스는 다양한 AI모델을 서로 비교해 줍니다. Intelligence, Speed, Price를 기준으로 비교합니다.
GPT-5 (high): API Provider Benchmarking & Analysis
Artificial Analysis가 분기별로 발행하는 Artificial Analysis State of AI Q2 2025입니다. 자료중 South Korea가 등장하는 표가 하나 있습니다. 그리고 25년 2분기의 특징을 Coding Agent로 정리하네요.
