📌 1. 개발 & 프로그래밍/ChatGPT & 자동화 활용

📘 13강: ChatGPT + 웹 크롤링 자동화 실시간 뉴스 요약 & 트렌드 수집 시스템 만들기 (BeautifulSoup + GPT)

lastdetective 2025. 4. 26. 06:34
반응형

✅ 들어가며

뉴스, 블로그, 쇼핑몰 등 웹에 있는 정보를
자동으로 수집하고 요약해서 콘텐츠로 만드는 시스템은
요즘 AI 블로그, 마케팅, 콘텐츠 자동화의 핵심이야.

🎯 목표

  • 특정 뉴스 사이트에서 실시간 기사 크롤링
  • GPT로 기사 자동 요약
  • 간단한 웹 UI로 사용자에게 요약 보여주기

🔧 사전 준비

📦 필요한 라이브러리


pip install requests beautifulsoup4 openai flask python-dotenv

🛠️ 핵심 코드: 뉴스 크롤링 + GPT 요약

1. 주요 뉴스 크롤링 + 요약


from flask import Flask, render_template
import requests
from bs4 import BeautifulSoup
import openai
import os
from dotenv import load_dotenv

load_dotenv()
app = Flask(__name__)
openai.api_key = os.getenv("OPENAI_API_KEY")

def get_news_headlines():
    url = "https://news.ycombinator.com/"  # 예시: Hacker News
    res = requests.get(url)
    soup = BeautifulSoup(res.text, 'html.parser')
    titles = soup.select('.titleline > a')
    return [title.text for title in titles[:5]]  # 상위 5개 뉴스

def summarize_with_gpt(news_list):
    prompt = "다음 뉴스 제목들을 요약해줘:\n" + "\n".join(news_list)
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=[{"role": "user", "content": prompt}],
        max_tokens=500
    )
    return response["choices"][0]["message"]["content"]

@app.route("/")
def index():
    headlines = get_news_headlines()
    summary = summarize_with_gpt(headlines)
    return render_template("index.html", headlines=headlines, summary=summary)

2. HTML 템플릿 (templates/index.html)

<!DOCTYPE html>
<html>
<head><title>실시간 뉴스 요약기</title></head>
<body>
  <h1>🔥 오늘의 실시간 뉴스 요약</h1>
  <h3>📌 원본 뉴스 제목</h3>
  <ul>
    {% for title in headlines %}
      <li>{{ title }}</li>
    {% endfor %}
  </ul>
  <h3>🧠 GPT 요약 결과</h3>
  <pre>{{ summary }}</pre>
</body>
</html>

💼 실무 응용 예시

분야활용
블로그 최신 IT 뉴스 → 매일 요약해 글 자동 게시
마케팅 실시간 트렌드 요약 + 이메일 발송
재테크/증권 경제 기사 자동 분석 후 리포트 생성
교육/뉴스레터 GPT가 요약한 기사로 데일리 뉴스레터 발송

🧠 고급 기능 확장 팁

  • 링크까지 추출해 기사 본문도 GPT로 요약
  • 트렌드 키워드 추출 (GPT에게 “핵심 키워드 뽑아줘” 요청)
  • 특정 키워드 포함 뉴스만 필터링

📌 주의사항

  • 뉴스 사이트 구조 바뀌면 코드도 수정 필요
  • 기사 전문 크롤링은 저작권 주의 (요약 정도까지만)
  • GPT 요약에 max_tokens 제한 잘 조절해야

🏁 마무리

이제 GPT를 이용해
웹 정보를 수집하고 요약까지 자동으로 하는 실시간 시스템을 만들 수 있게 됐어!

이건 블로그 운영, 뉴스레터 서비스, 마케팅 자동화 등
수익화로도 연결 가능한 매우 실용적인 기술이야.

📚 다음 강의 예고

👉 14강 예고:
GPT + 음성 인식 자동화
사용자의 음성을 텍스트로 변환하고 GPT가 처리하는 음성 대화 시스템을 만들어볼 거야!

728x90
반응형