생성형 AI와 피싱 도메인 위험성 분석

최근 연구에 따르면, 생성형 AI가 사용자의 요청에 잘못된 URL을 제시하는 사례가 빈번히 발생하고 있습니다. 특히, 인기 있는 LLM이 특정 브랜드의 로그인 주소를 안내할 때, 34%가 해당 브랜드의 실제 소유가 아닌 URL을 포함하고 있으며, 이로 인해 피싱 공격의 위험성이 증가하고 있습니다. 이는 명확히 해커들이 브랜드 URL을 악용하여 사용자 정보를 탈취하는 상황을 초래할 수 있음을 시사합니다. 이러한 위험은 특히 금융 및 핀테크 분야에서 두드러지며, 생성형 AI의 특성으로 인해 더욱 부각되고 있습니다.

🔍 생성형 AI의 한계와 위험성

최근 연구에서 드러난 바와 같이, 생성형 AI는 사용자 질문에 대한 답변을 생성하는 과정에서 실제로 존재하지 않거나 비활성 상태의 URL을 정기적으로 제시하는 문제를 야기하고 있습니다. 넷크래프트의 분석에 따르면, 응답된 URL 중 약 30%는 아직 등록되지 않았거나 비활성 상태이며, 이는 공격자가 악성 사이트를 구축하는 데 최적의 기반이 될 수 있음을 의미합니다. 이런 상황은 사용자들이 AI가 제시하는 정보를 사실로 받아들이곤 하는 경향이 있기 때문에, 피해자가 증가할 수 있는 잠재적인 원인이 됩니다.
또한, AI 모델이 URL을 단순 추측하고 제안할 경우, 공격자는 그 추천을 통해 손쉽게 해당 도메인을 등록하고 피해자를 기다릴 수 있습니다. 이는 마치 공격자에게 피해자 지도를 제공하는 것과 같은 결과를 초래할 수 있으며, 단 하나의 악성 링크로도 수천 명의 개인 정보가 위험에 처할 수 있습니다. 따라서, 생성형 AI를 이용한 정보 제공 시 URL의 안전성을 검증하는 절차가 반드시 필요합니다.
이를 해결하기 위해서는 AI 모델이 URL 추천을 제공하기 전에 도메인 소유 여부를 검증하고, 검증된 데이터 기반에서만 URL을 제안해야 합니다. 모든 URL 응답은 검증 과정을 거쳐야 하며, 생성형 AI의 활용이 확대됨에 따라 이러한 안전 장치를 마련하는 것이 필수적입니다.

🎯 피싱 도메인 및 공격 경향

피싱 공격자들은 이제 고도화된 전략을 통해 유명 브랜드의 로그인 페이지를 모방한 피싱 도메인을 생성하며 사용자들을 속이는 데 성공하고 있습니다. 예를 들어, 엔터프라이즈 전략 그룹의 수석 애널리스트 멜린다 마크스는 해커들이 잘 알려진 브랜드의 URL을 흉내 낼 때, 이는 단순한 위험을 넘어서 사용자 정보를 탈취하려는 심각한 위협이라고 강조했습니다. 이러한 피싱 사이트는 특히 금융 및 핀테크 회사에 대한 공격에서 가장 큰 피해를 가져옵니다.
뿐만 아니라, AI 기반 검색 엔진이 부적절한 URL을 사용자에게 추천하게 되면, 이 URL이 마치 신뢰할 수 있는 것처럼 보이게 되어 사용자들이 쉽게 클릭할 수 있습니다. 넷크래프트의 연구 결과에 따르면, AI가 추천한 URL 중 일부는 실제 피싱 사이트와 활성화된 도메인으로 연결되며, 이는 AI의 정보 생성 방식이 명확한 위험 요소로 작용하고 있음을 나타냅니다.
따라서, 브랜드와 기업들은 고객에게 신뢰할 수 있는 URL을 명확하게 공지하고, 사용자들에게 올바른 URL을 인식시킬 수 있는 노력이 필요합니다. 이는 대규모 피해를 예방할 수 있는 가장 효과적인 방법 가운데 하나이기 때문입니다.

⚠️ AI 학습 데이터의 안전성과 필수 검증 절차

최근 연구에서 드러난 또 다른 문제는 악의적인 공격자가 AI의 학습 데이터를 조작할 수 있다는 점입니다. 넷크래프트의 조사에 따르면 공격자는 깃허브에 악성 저장소를 고의로 삽입하여 AI 모델의 학습 데이터를 손상시키려는 시도를 했습니다. 이러한 행동은 ‘문샷-볼륨-봇’이라는 이름으로 가짜 계정을 활용하여 이루어졌으며, 결과적으로 사용자가 불법적으로 설계된 API를 통해 피해를 입게 됩니다.
이러한 상황은 AI가 생성하는 데이터의 신뢰성을 무너뜨리며, AI 모델이 잘못된 정보를 제공할 가능성을 더욱 높입니다. 데이터의 무결성, 출처, 정제 및 검증은 LLM의 안전성을 확보하는 데 매우 중요합니다. AI 학습 파이프라인에 사용되는 데이터셋이 위조되면 이러한 위험은 공급망 전반으로 확산될 수 있음을 간과해서는 안 됩니다.
따라서 기업들은 AI 모델이 추천하는 URL의 출처를 철저히 검증하고, 잘못된 URL 생성의 위험을 사전에 차단할 수 있는 시스템을 구축해야 합니다. AI 모델은 유용성을 위해 설계되었지만, 이러한 유용성이 실제로 위험한 결과를 초래할 수 있다는 점을 명심해야 합니다.
결론적으로, 생성형 AI가 제공하는 정보의 안전성을 보장하기 위해서는 검증 절차가 필요하며, 기업들은 사용자들이 안전하게 정보를 이용할 수 있도록 적극적으로 대처해야 할 것입니다. 또한, 모든 URL 응답은 철저한 검증 과정을 거쳐야 하며, 이를 통해 피해를 최소화할 수 있습니다.

핵심적으로, 생성형 AI의 한계와 이에 따른 피싱 도메인의 위험성을 사전에 파악하고, 안전한 정보 제공을 위한 체계적인 검증 절차가 마련될 필요합니다. 다음 단계로는 해당 정보를 바탕으로 사용자들에게 안전한 인터넷 사용을 위한 교육과 안내를 실천해야 할 것입니다.

#생성형AI #피싱도메인 #사이버보안#GenerativeAI #PhishingDomain #CyberSecurity