안녕하세요, 웹 자동화 개발자 여러분! 오늘은 Selenium과 Python을 사용하여 Reddit 로그인 봇을 만들 때 흔히 마주치는 까다로운 문제, 바로 안티봇 탐지(Antibot Detection)로 인한 로그인 실패 (HTTP 401 Unauthorized)에 대해 다뤄보고자 합니다.
단순한 크롤링을 넘어 실제 사용자처럼 행동하게 만드는 것은 생각보다 훨씬 복잡하며, 많은 웹사이트들이 정교한 봇 탐지 시스템을 갖추고 있습니다. 특히 Reddit과 같은 대규모 플랫폼은 더욱 그렇습니다. 본 글에서는 이러한 난관을 어떻게 극복하고 자동화 스크립트의 성공률을 높일 수 있는지 심층적으로 분석하고 실질적인 해결책을 제시해 드립니다.
한 개발자 분은 Python과 Selenium을 활용하여 Reddit 로그인 페이지 자동화를 시도했습니다. 브라우저(Brave v1.87.188 / Chromium v145 기반)는 정상적으로 실행되어 https://www.reddit.com/login/으로 이동하고, 사용자 이름과 비밀번호를 입력한 뒤 로그인 버튼까지 클릭하는 데 성공했습니다.
하지만 모든 로그인 시도에서 다음과 같은 에러 메시지가 반환되었습니다.
status=401
message="Something went wrong logging in"
개발자는 다음과 같은 사항들을 이미 확인했습니다.
사용자 이름과 비밀번호 필드에 예상되는 값이 정확히 입력되었음을 확인.
로그인 버튼이 정상적으로 찾아지고 클릭되었음을 확인.
각 실행마다 새로운 브라우저 프로필이 생성되도록 설정.
또한, 개발자는 봇 탐지를 회피하기 위해 다음과 같은 광범위한 노력을 기울인 코드를 사용하고 있었습니다.
새로운 브라우저 프로필 디렉터리 사용
실제 사용자 같은 창 크기 설정
헤드리스 모드(선택 사항) 사용 시 GPU 비활성화
--disable-blink-features=AutomationControlled, --no-sandbox, --disable-dev-shm-usage 등 다양한 Selenium 옵션 적용
excludeSwitches, useAutomationExtension=False 설정
실제 브라우저와 일치하는 User-Agent 설정
CDP(Chrome DevTools Protocol)를 사용하여 navigator.webdriver 플래그 제거 및 navigator.plugins 위장
Client Hints 설정
페이지 로드 간 무작위 딜레이 및 스크롤 활동 추가
인간적인 타이핑 속도와 키보드 이벤트 모방
Stale Element 문제에 대비한 동적인 요소 탐색 (Shadow DOM 포함)
이처럼 많은 안티봇 회피 전략을 적용했음에도 불구하고 401 Unauthorized 에러가 발생한 것은 Reddit의 봇 탐지 시스템이 매우 정교하다는 것을 시사합니다.
2. 명확한 발생 원인
status=401 에러는 일반적으로 인증 실패를 의미하지만, 이 경우에는 잘못된 자격 증명보다는 Reddit의 안티봇 탐지 시스템에 의해 요청 자체가 “봇”으로 간주되어 거부당했기 때문일 가능성이 매우 높습니다. HTTP 401은 서버가 클라이언트의 요청을 인증하지 못했음을 나타내며, 봇으로 판단된 경우 서버는 합법적인 사용자가 아니라고 판단하여 이 코드를 반환할 수 있습니다.
Reddit과 같은 대형 플랫폼의 안티봇 시스템은 단순히 navigator.webdriver 플래그를 확인하는 수준을 넘어섭니다. 다음과 같은 복합적인 요인들을 분석하여 봇을 탐지합니다.
브라우저 지문 인식 (Browser Fingerprinting): Canvas, WebGL, AudioContext 등 웹 브라우저가 제공하는 API를 통해 고유한 “지문”을 수집하고, 이를 분석하여 자동화된 브라우저의 비정상적인 지문을 식별합니다. 개발자의 코드에서 CDP를 통해 일부 지문 요소를 위장하려 했지만, 모든 요소를 완벽하게 위장하기는 매우 어렵습니다.
행동 패턴 분석 (Behavioral Analysis): 마우스 움직임, 키보드 입력 속도, 스크롤 패턴, 페이지 이동 간격 등 사용자의 미묘한 행동 패턴을 분석합니다. 개발자는 인간적인 타이핑을 시도했지만, 여전히 실제 사용자와의 미세한 차이가 탐지될 수 있습니다.
IP 주소 및 평판 (IP Address and Reputation): 데이터센터 IP 주소나 짧은 시간 내 비정상적인 접속을 시도하는 IP는 봇으로 의심받기 쉽습니다. 특히 공용 VPN이나 저품질 프록시를 사용하는 경우 더욱 그렇습니다.
헤더 및 네트워크 요청 분석 (Header and Network Request Analysis): HTTP 요청 헤더의 일관성, 요청의 빈도 및 패턴 등을 분석합니다.
CAPTCHA 또는 기타 보안 챌린지: 명시적으로 CAPTCHA가 나타나지 않았더라도, 서버는 내부적으로 봇으로 의심되는 트래픽에 대해 보이지 않는 챌린지를 적용하고 실패 시 401을 반환할 수 있습니다.
새로운 브라우저 프로필의 한계: 새로운 프로필이 깨끗하더라도, 이 프로필이 처음 방문하는 것임을 웹사이트가 인지하고 특정 보안 검사를 강화할 수 있습니다.
개발자가 이미 많은 안티봇 회피 기법을 적용했음에도 불구하고 탐지되었다는 점은, Reddit의 시스템이 매우 고도화되어 있으며, 단순히 몇 가지 플래그를 변경하는 것을 넘어선 복합적인 요소들을 추적하고 있음을 의미합니다.
3. 해결 방법 및 코드 예시
Reddit과 같은 고도로 보호되는 사이트에서 Selenium 자동화를 성공적으로 수행하기 위해서는 기존 접근 방식에 더해 추가적인 전략과 도구를 고려해야 합니다. 완벽한 단 하나의 해결책은 없지만, 다음 방법들을 조합하여 성공 확률을 높일 수 있습니다.
제공된 코드에서 Selenium ChromeOptions와 CDP 명령을 통해 여러 안티봇 회피 설정을 수동으로 적용했습니다. undetected_chromedriver 라이브러리는 이러한 설정들을 자동으로, 그리고 더 광범위하게 적용하여 브라우저 지문 인식을 어렵게 만듭니다. 특히 navigator.webdriver 플래그 제거, Permissions-Policy 헤더 조정, WebGL 및 Canvas 지문 위장 등 복잡한 과정을 한 번에 처리해 줍니다.
기존 start_browser 함수의 일부를 다음과 같이 변경하여 적용할 수 있습니다.
import undetected_chromedriver as uc # undetected_chromedriver 임포트
from selenium.webdriver.chrome.service import Service as ChromeService
from selenium import webdriver
import time
import random
from pathlib import Path
from typing import Any, Optional, Tuple # 타입 힌트 추가
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import WebDriverException, StaleElementReferenceException
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
# import traceback # traceback 필요 시 주석 해제
# ... (기존 클래스 정의 및 __init__ 메서드 내 self.config, self.worker_id 등 초기화 가정) ...
class RedditBot:
def __init__(self, config, worker_id=0):
self.config = config
self.worker_id = worker_id
self.driver = None
self.headless = self.config.get("browser", {}).get("headless", False)
self.brave_path = self.config.get("browser", {}).get("brave_path", "")
self._profile_dir = None
# self.is_ready = ... (이벤트 핸들러가 있다면 초기화)
def _create_profile_dir(self):
# 예시 구현: 실제 구현에 따라 다름
import tempfile
temp_dir = tempfile.mkdtemp(prefix=f"selenium_profile_{self.worker_id}_")
print(f"Created temp profile dir: {temp_dir}")
return temp_dir
def _get_matching_user_agent(self):
# 예시 구현: 실제 구현에 따라 다름
return "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
def _set_client_hints_via_cdp(self):
# 예시 구현: 실제 구현에 따라 다름
print(f"[Worker {self.worker_id}] Setting client hints via CDP (placeholder)")
pass
def _setup_cdp_network_monitoring(self):
# 예시 구현: 실제 구현에 따라 다름
print(f"[Worker {self.worker_id}] Setting up CDP network monitoring (placeholder)")
pass
def _log_error(self, method_name, error, level):
# 예시 구현: 실제 구현에 따라 다름
print(f"[Worker {self.worker_id}] ERROR in {method_name}: {error}")
def start_browser(self) -> bool:
"""Initialize the browser with anti-detection settings using undetected_chromedriver."""
# Add retry for DNS resolution issues
max_retries = 3
retry_delay = 3
for attempt in range(max_retries):
try:
# options = ChromeOptions() # 기존 ChromeOptions 대신 uc.ChromeOptions 사용
options = uc.ChromeOptions() # undetected_chromedriver의 Options 사용
# --- Create fresh profile directory ---
self._profile_dir = self._create_profile_dir()
if self._profile_dir:
options.add_argument(f"--user-data-dir={self._profile_dir}")
# --- Brave Browser support (uc는 기본적으로 Chromium 기반) ---
# uc는 자체적으로 ChromeDriver를 관리하므로 binary_location은 일반적으로 필요하지 않음
# 만약 특정 Brave 브라우저 바이너리를 사용해야 한다면 아래 주석 처리된 부분을 활용
if self.brave_path:
brave_path_obj = Path(self.brave_path)
if brave_path_obj.exists():
# uc.ChromeOptions는 binary_location을 직접 지원
options.binary_location = str(brave_path_obj)
print(f"[Worker {self.worker_id}] Using Brave at: {self.brave_path}")
# Window size - realistic
width = self.config.get("browser", {}).get("window_width", 1366)
height = self.config.get("browser", {}).get("window_height", 768)
options.add_argument(f"--window-size={width},{height}")
# uc는 headless 인자를 uc.Chrome 생성 시 직접 전달하는 것을 권장
# 또는 '--headless=new' 인자도 지원하지만, uc의 headless=True가 더 최적화됨
# if self.headless:
# options.add_argument("--headless=new") # uc.ChromeOptions도 이 인자를 지원
# MINIMAL anti-detection flags - uc가 대부분 처리하므로 일부는 불필요할 수 있음
# 하지만, 충돌하지 않는 선에서 추가해도 무방
options.add_argument("--no-sandbox")
# options.add_experimental_option("excludeSwitches", ["enable-automation"]) # uc가 처리
# options.add_experimental_option("useAutomationExtension", False) # uc가 처리
options.add_argument("--disable-dev-shm-usage")
options.add_argument("--mute-audio")
if self.headless:
options.add_argument("--disable-gpu")
# MATCHING User-Agent - uc는 기본적으로 실제 User-Agent를 사용하려고 시도
# 직접 설정하려면 uc의 options.user_data_dir와 함께 사용하거나 uc의 기능을 활용
# uc는 실제 브라우저의 UA를 모방하므로, 아래 코드는 일반적으로 필요하지 않음
# matched_ua = self._get_matching_user_agent()
# options.add_argument(f"--user-agent={matched_ua}")
# print(f"[Worker {self.worker_id}] Using User-Agent: {matched_ua}")
# Enable performance logging (기존과 동일)
options.set_capability("goog:loggingPrefs", {
"performance": "ALL"
})
# ChromeDriver path는 uc가 자동으로 처리하거나, 특정 버전을 지정할 수 있음
# uc 사용 시 service 객체는 일반적으로 직접 생성할 필요 없음
service = None
driver_created = False
if not driver_created:
try:
# uc.Chrome 생성 (executable_path 불필요)
# self.driver = webdriver.Chrome(service=service, options=options) # 기존
# headless=self.headless 인자를 직접 전달
self.driver = uc.Chrome(options=options, headless=self.headless)
driver_created = True
except Exception as e:
print(f"[Worker {self.worker_id}] uc.ChromeDriver failed: {e}")
if not driver_created or self.driver is None:
print(f"[Worker {self.worker_id}] Could not create browser driver")
if attempt < max_retries - 1:
time.sleep(retry_delay)
continue
return False
# Set Client Hints via CDP (uc가 일부 처리하지만 추가적인 설정은 유효)
self._set_client_hints_via_cdp()
# Remove webdriver flag - uc가 이미 처리하므로 불필요하거나 중복될 수 있음
# 하지만 추가적인 스크립트 실행은 가능 (플러그인 위장 등)
try:
self.driver.execute_cdp_cmd(
"Page.addScriptToEvaluateOnNewDocument",
{
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
});
Object.defineProperty(navigator, 'plugins', {
get: function() {
return {
length: 5,
item: function(i) { return this[i]; },
namedItem: function(name) { return null; }
};
}
});
"""
},
)
except Exception as e:
print(f"[Worker {self.worker_id}] CDP setup warning: {e}")
# Setup network monitoring
self._setup_cdp_network_monitoring()
# Navigate with DNS retry
try:
print(f"[Worker {self.worker_id}] Loading Reddit...")
self.driver.get("https://www.reddit.com/")
time.sleep(random.uniform(1, 2))
print(f"[Worker {self.worker_id}] Loading login page...")
self.driver.get("https://www.reddit.com/login/")
time.sleep(random.uniform(2, 4))
except WebDriverException as e:
error_msg = str(e)
if "ERR_NAME_NOT_RESOLVED" in error_msg or "ERR_CONNECTION_REFUSED" in error_msg:
if attempt < max_retries - 1:
print(f"[Worker {self.worker_id}] DNS/Connection error (attempt {attempt + 1}), retrying...")
self.driver.quit()
self.driver = None
time.sleep(retry_delay)
continue
else:
raise
else:
raise
# Add some scroll activity
try:
self.driver.execute_script("""
window.scrollTo({
top: Math.random() * 300,
behavior: 'smooth'
});
""")
except:
pass
# self.is_ready.set() # 이벤트 핸들러가 있다면 활성화
print(f"[Worker {self.worker_id}] Browser initialized successfully")
return True
except WebDriverException as e:
self._log_error("start_browser", e, 0)
print(f"[Worker {self.worker_id}] WebDriver error: {e}")
if attempt < max_retries - 1:
print(f"[Worker {self.worker_id}] Retrying browser start... ({attempt + 1}/{max_retries})")
time.sleep(retry_delay)
# Clean up any partial state
if self.driver:
try:
self.driver.quit()
except:
pass
self.driver = None
continue
return False
except Exception as e:
self._log_error("start_browser", e, 0)
print(f"[Worker {self.worker_id}] Unexpected error: {e}")
if attempt < max_retries - 1:
time.sleep(retry_delay)
continue
return False
return False
3.2. 주거용/회전 프록시 (Residential/Rotating Proxies) 사용
IP 주소 평판은 봇 탐지의 핵심 요소 중 하나입니다. 데이터센터 IP나 공유 프록시 대신, 실제 사용자의 IP 주소처럼 보이는 주거용 프록시(Residential Proxy)를 사용하고, 일정 시간마다 IP를 변경하는 회전 프록시(Rotating Proxy) 서비스를 이용하는 것이 매우 효과적입니다. Selenium에 프록시를 설정하는 방법은 다음과 같습니다.
# start_browser 함수 내에서 options 설정 부분
# 프록시 설정 (예시: proxy_host:proxy_port)
proxy_server = "your_proxy_host:your_proxy_port"
# 프록시 인증이 필요한 경우 (예시: user:pass@host:port)
# proxy_server = "user:password@your_proxy_host:your_proxy_port"
if proxy_server:
# uc.ChromeOptions에 프록시 설정
options.add_argument(f'--proxy-server={proxy_server}')
print(f"[Worker {self.worker_id}] Using Proxy: {proxy_server}")
# uc.Chrome 드라이버 생성 시에도 proxy 인자를 사용할 수 있습니다:
# self.driver = uc.Chrome(options=options, headless=self.headless, proxy=proxy_server)
# 이 경우 options.add_argument('--proxy-server=...')는 불필요합니다.
3.3. 더욱 정교한 인간 행동 모방
제공된 코드의 _type_text_human_like 및 _click_login_button_native 함수는 이미 훌륭하게 인간적인 행동을 모방하려 노력하고 있습니다. 여기서 더 나아가 다음과 같은 부분을 고려할 수 있습니다.
마우스 움직임의 무작위성 강화: 단순히 요소로 이동하는 move_to_element를 넘어, 요소 주변에서 불규칙하게 움직이거나, 클릭 전 짧게 멈추는 등의 미세한 움직임을 추가합니다.
페이지 내 탐색 증가: 로그인 페이지에 바로 접근하기보다, Reddit 메인 페이지에서 시작하여 다른 섹션을 잠시 둘러본 후 로그인 페이지로 이동하는 등 실제 사용자가 할 법한 행동 시퀀스를 추가합니다.
타이밍의 다양성: time.sleep(random.uniform(a, b)) 패턴은 좋지만, 특정 단계에서 더 길거나 짧은 지연 시간을 도입하고, 사용자의 인지 부하를 시뮬레이션하기 위한 미묘한 일시정지 등을 추가합니다.
오타 및 수정 (선택 사항): 매우 고급 기법으로, 실제 사용자가 오타를 내고 백스페이스로 수정하는 과정을 시뮬레이션할 수 있습니다.
예를 들어, _type_text_human_like에서 다음과 같이 개선할 수 있습니다 (기존 코드가 이미 잘 되어 있으므로 아이디어 차원에서 제시합니다).
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
import time
import random
# ... (이전 정의된 클래스 및 메서드 생략) ...
def _type_text_human_like(self, element, text: str, field_name: str = "field") -> Tuple[bool, str]:
"""Type text with human-like timing using REAL keyboard events."""
try:
if not element or not text:
return False, ""
debug_info = self.driver.execute_script("""
return {
tag: arguments[0].tagName,
type: arguments[0].type,
visible: arguments[0].offsetParent !== null,
value: arguments[0].value,
id: arguments[0].id,
name: arguments[0].name,
className: arguments[0].className,
disabled: arguments[0].disabled,
readonly: arguments[0].readOnly
}
""", element)
if not debug_info.get('visible'):
print(f"[Worker {self.worker_id}] ❌ {field_name} is NOT displayed!")
return False, ""
if debug_info.get('disabled'):
print(f"[Worker {self.worker_id}] ❌ {field_name} is NOT enabled!")
return False, ""
try:
actions = ActionChains(self.driver)
# 입력 필드 주변에 미묘하게 마우스 움직임을 추가하고 클릭
actions.move_to_element_with_offset(element, random.randint(-5, 5), random.randint(-5, 5))
actions.pause(random.uniform(0.1, 0.3))
actions.click().perform()
time.sleep(random.uniform(0.2, 0.4))
except Exception as e:
print(f"[Worker {self.worker_id}] Click failed: {e}")
self.driver.execute_script("arguments[0].click();", element)
time.sleep(random.uniform(0.2, 0.4))
# 텍스트 입력 전, 실제 사람처럼 잠깐 생각하는 시간 추가
time.sleep(random.uniform(0.5, 1.0))
# 기존 내용 지우기
element.send_keys(Keys.CONTROL + "a")
time.sleep(random.uniform(0.05, 0.15))
element.send_keys(Keys.BACK_SPACE) # DELETE 대신 BACK_SPACE도 고려
time.sleep(random.uniform(0.1, 0.2))
for i, char in enumerate(text):
element.send_keys(char)
# 입력 속도에 더 다양한 편차 주기
if random.random() < 0.15: # 15% 확률로 잠시 멈춤
time.sleep(random.uniform(0.15, 0.4))
elif i % random.randint(3, 8) == 0 and i > 0: # 3~8글자마다 짧은 지연
time.sleep(random.uniform(0.05, 0.15))
else: # 기본 입력 간격
time.sleep(random.uniform(0.02, 0.08)) # 더 미세한 간격
time.sleep(random.uniform(0.4, 0.8)) # 입력 완료 후 최종 대기 시간 조정
typed_value = element.get_attribute("value")
print(f"[Worker {self.worker_id}] ✅ Typed: '{typed_value}' (expected: '{text}')")
if typed_value != text:
print(f"[Worker {self.worker_id}] ⚠️ Typing mismatch, trying JS fallback...")
self.driver.execute_script("arguments[0].value = arguments[1];", element, text)
self.driver.execute_script("""
const event = new Event('input', { bubbles: true });
const changeEvent = new Event('change', { bubbles: true });
arguments[0].dispatchEvent(event);
arguments[0].dispatchEvent(changeEvent);
""", element)
time.sleep(random.uniform(0.2, 0.4))
typed_value = element.get_attribute("value")
print(f"[Worker {self.worker_id}] 🔄 JS fallback value: '{typed_value}'")
return typed_value == text, typed_value
except StaleElementReferenceException:
print(f"[Worker {self.worker_id}] ❌ {field_name} became stale during typing!")
return False, ""
except Exception as e:
print(f"[Worker {self.worker_id}] ❌ Error typing {field_name}: {e}")
# traceback.print_exc() # 필요 시 주석 해제하여 스택 트레이스 출력
return False, ""
3.4. CAPTCHA 처리 전략
401 에러는 종종 보이지 않는 CAPTCHA 챌린지 실패의 결과일 수 있습니다. 만약 Reddit이 CAPTCHA를 표시하기 시작한다면, 이를 자동으로 해결할 수 있는 서드파티 서비스(예: 2Captcha, Anti-Captcha)를 통합하는 것을 고려해야 합니다. 이는 스크립트의 복잡성을 크게 증가시키지만, 높은 성공률을 보장하는 방법입니다.
4. 향후 예방을 위한 팁
지속적인 모니터링 및 업데이트: 웹사이트의 안티봇 시스템은 끊임없이 진화합니다. 현재 작동하는 스크립트도 언제든지 막힐 수 있으므로, 주기적으로 스크립트를 테스트하고 웹사이트의 변경 사항에 맞춰 업데이트해야 합니다.
전략의 다각화: 단일한 안티봇 회피 기술에 의존하기보다, 프록시, 브라우저 지문 위장, 행동 모방, CAPTCHA 처리 등 여러 기술을 조합하여 사용하는 것이 중요합니다.
최소한의 자동화: 꼭 필요한 기능만 자동화하고, 불필요한 페이지 방문이나 상호작용은 피하여 봇의 "발자국"을 최소화합니다.
공식 API 활용 검토: 가능하다면 웹 자동화 대신 웹사이트에서 제공하는 공식 API를 사용하는 것이 가장 안정적이고 권장되는 방법입니다. Reddit도 API를 제공하므로, 로그인 봇의 목적에 따라 API 활용을 고려해 볼 수 있습니다. (단, API도 사용 정책이 있으며 봇으로 오용 시 제재될 수 있습니다.)
점진적인 개발 및 테스트: 작은 부분부터 자동화하고, 각 단계마다 봇 탐지 여부를 테스트하며 진행하는 것이 좋습니다. 갑자기 복잡한 스크립트를 한 번에 실행하기보다, 각 기능의 성공 여부를 확인하며 점진적으로 빌드하는 것이 효율적입니다.
웹 자동화는 기술적인 도전이 많은 분야입니다. 특히 봇 탐지 시스템을 우회하는 것은 고양이와 쥐의 싸움과 같습니다. 위에 제시된 해결책과 팁들이 여러분의 Reddit 로그인 봇 문제를 해결하는 데 도움이 되기를 바랍니다.
![[문제 해결] [SQLAlchemy] 레거시 읽기 전용 DB Python 데이터 모델링: 최적의 선택과 전략](https://dev-error.com/wp-content/plugins/contextual-related-posts/default.png "[문제 해결] [SQLAlchemy] 레거시 읽기 전용 DB Python 데이터 모델링: 최적의 선택과 전략")