이게 되네? 챗GPT 미친 크롤링 25제

★ 클릭보다 빠른 데이터 수집, 코딩 없이 챗GPT와 함께라면 웹 크롤링도 문제없습니다!

★ API부터 나만의 GPTs, 엑셀, 차트, 결과물까지! 이걸 긁네? 웹 크롤링과 자동화의 모든 과정을 한 권으로 완성!

★ 하루 1시간으로 데이터 수집부터 정리까지, 이젠 나도 할 수 있습니다!

이 책은 웹에서 필요한 정보를 쉽고 빠르게 수집하고 싶은 직장인부터 마케터, 연구자 등 모든 실무자를 위한 가장 친절한 웹 크롤링 입문서입니다. “코드를 몰라도 웹 크롤링이 가능할까?”라는 질문에, 챗GPT를 활용한 해법을 제시합니다. 사이트 구조를 파악하고 챗GPT에게 크롤링 코드를 요청한 뒤, 복사해서 실행하면 끝! 복잡한 프로그래밍 없이도 누구나 따라 할 수 있도록 구성했습니다.

거기에 API를 활용한 대량 데이터 수집, GPTs를 이용한 맞춤형 챗봇 제작, 윈도우/macOS 자동화 스케줄링 설정까지 실무에서 바로 활용 가능한 고급 자동화 기술도 함께 다룹니다. 반복 작업을 줄이고, 창의적인 일에 집중하고 싶은 직장인부터 코딩 없이 데이터 자동화를 경험하고 싶은 초보자까지! 반복 작업에 지친 직장인, 데이터 기반의 전략을 세우고 싶은 기획자, 자동화 역량을 키우고 싶은 초보자에게 이 책은 강력한 무기가 될 것입니다. 

※ 알려드려요

robots.txt 파일은 웹사이트에서 크롤러와 같은 로봇의 접근을 제어하는 파일입니다. 이 책은 각 사이트의 robots.txt 파일에 명시된 크롤링 정책을 철저히 준수하여 제작되었습니다.

출판사 리뷰

★ 독자의 마음을 누구보다 잘 아는 편집자P! 챗GPT로 누구나 할 수 있는 웹 크롤링 책을 만들다!
★ 코드 몰라도 OK! 챗GPT로 하는 복붙 웹 크롤링이란 이런 것!
★ 지금 당장 도입하고 오늘부터 칼퇴하세요! 직장에서 인정받는 ‘일잘러’, 바로 당신입니다!

데이터 수집, 어디까지 해보셨나요? 수십 개 사이트를 돌며 자료 복사하고 정리하는 데 몇 시간을 쏟아부은 적, 있으시죠? 결국 남는 건 지친 마음과 엉킨 파일뿐이었다면, 이제는 달라질 수 있습니다. 이 책은 챗GPT로 코드를 생성하여 웹 크롤링을 시작하고, 실제 웹페이지 실습을 통해 1시간 만에 데이터 수집부터 정리까지 끝내는 놀라운 경험을 선사합니다. 4단계 방법만 익히면 API 활용부터 경쟁사 가격 비교, 상품 정보 수집, 내 GPT인 GPTs 챗봇 생성까지 누구나 가능합니다. NO! 코딩, 자동화 도구로 업무 시간을 절약하고, 마케터·기획자·일반인 모두가 AI와 함께 일잘러가 되는 법을 알려드립니다.

★ 누가 이 책을 읽어야 할까요?

• 수작업으로 수집하던 정보를 자동화하여 업무 시간을 획기적으로 줄이고 싶은 직장인
• 반복적인 데이터 정리에 시간을 낭비하는 대신, 창의적인 일에 집중하고 싶은 기획자·마케터
• 엑셀, 문서 작업 외에도 웹에서 필요한 정보를 대량으로 빠르게 수집하고 싶은 실무 담당자
• 챗GPT의 도움으로 코드 없이도 웹 크롤링과 데이터 수집을 시작해보고 싶은 초보자
• API와 GPTs를 활용해 데이터 기반의 자동화 역량을 갖춘 디지털 실무형 인재로 성장하고 싶은 사람

책 속으로

이 책은 저자가 직접 실무에서 경험한 정보 수집과 데이터 자동화의 어려움을 해결하기 위해 만들었습니다. 웹 크롤링은 직접하면 코드 생성부터 해야 하기 때문에 그 돌파구가 필요했고, 혜성처럼 등장한 것이 바로 챗GPT입니다. 마케터부터 일반 직장인까지 배울 수 있도록 챗GPT를 활용한 웹 크롤링 실전 사례와 기초 내용을 담았습니다. 웹사이트 구조 분석부터 시작해 챗GPT에게 크롤링 코드를 요청하고, 이를 실행하여 데이터를 수집하고 정리하는 전 과정을 누구나 쉽게 따라 할 수 있도록 구성했습니다.

또한 수집한 데이터를 엑셀, 표, 차트 등의 형태로 정리하며, 결과물 작성까지 완성할 수 있도록 실무 중심으로 구성했습니다. 후반부에서는 API를 사용하여 약속된 방법으로 데이터를 요청하여 응답받는 규칙을 통해 데이터를 수집하는 방법을 알아봅니다. GPTs 생성을 통해 반복적인 크롤링 작업을 자동화하고 API 연동까지 확장하여, 실제 업무에 적용 가능한 자동화 스킬을 익힐 수 있습니다.

[PART 01 웹 크롤링 빡세게 연습하기]

이 책은 웹 크롤링을 4단계로 설명합니다. 먼저 웹 크롤링에 꼭 필요한 기초 지식과 사이트 구조 파악 → 챗GPT에게 코드 요청 → 코드 복사 및 실행 → 결과물 정리로 이루어집니다. 챗GPT가 직접 크롤링을 수행하지는 않지만, 코드 작성을 도와주어 초보자도 손쉽게 웹 데이터를 수집하고 처리할 수 있도록 도와줍니다. 또한 웹 크롤링을 처음 실행하는 사람에겐 자주 보는 익숙한 웹페이지여도 그 구조에 들어가서 내가 수집할 데이터를 찾는 작업부터 어려울 수 있습니다. 때문에 차근차근 따라 할 수 있도록 여러 요소에서 텍스트 추출하기부터, 구조 파악, 웹페이지 이동하며 웹 크롤링 작업을 수행하며 기본기를 다집니다.

[PART 02 웹 크롤링으로 실제 웹사이트에서 정보 수집하기]

챗GPT로 활용해 실제 웹사이트에서 정보를 수집하는 방법을 다룹니다. EBS 홈페이지에서 원하는 기출문제 파일을 선택하여 다운로드하는 방법부터 알아봅니다. 원하는 문제를 하나하나 선택하며 다운로드했다면 웹 크롤링을 통해 다양한 문제를 선택해서 자동으로 다운로드합니다. 성형외과 가격 정보 수집과 같은 사례를 통해서는 경쟁사의 웹사이트에서 정보를 수집해 비교하여 전략 수립에 도움과 편리함을 줄 것입니다. 또한 기상청 날씨 정보 수집부터 알리익스프레스의 상품 이미지 추출, LH 청약 공고문, 네이버 항공권 검색 결과나 소상공인24의 공고문 정보 등 실제 활용 가능한 데이터를 수집하며, 웹사이트 구조에 대한 이해와 실습 능력을 키울 수 있도록 구성되어 있습니다.

[PART 03 API로 데이터 수집! 기초 사용 방법부터 실전 활용까지]

API를 활용한 데이터 수집 방법을 기초부터 실전까지 단계적으로 배웁니다. 복잡하게 느껴질 수 있는 API 개념을 쉽게 설명하고, 공식적인 방식으로 대량의 데이터를 효율적으로 수집하는 방법을 익힙니다. 한국 박스 오피스 순위 확인, 급식 정보 조회, 포켓몬 TCG 데이터 수집, 뉴욕타임스 이메일 받아보기, 유튜브 채널 동영상 정보와 댓글 수집, 네이버 쇼핑 검색 결과 가져오기 등 다양한 실습을 통해 API 활용 능력도 키울 수 있습니다. 또한 수집한 데이터를 바탕으로 나만의 GPTs를 만들어, 특정 주제에 특화된 챗봇을 생성하는 방법까지 함께 익힙니다.

[PART 04 내가 작성한 크롤링 코드! 매일 실행하려면?]

크롤링 코드를 완성한 후에는 ‘매번 직접 실행해야 하나?’라는 고민이 생길 수 있습니다. PART 04에서는 작성한 크롤링 코드를 자동으로 반복 실행하는 방법을 다룹니다. 윈도우와 macOS에서 각각 어떻게 스케줄링하는지 자세히 설명하며, 실습을 통해 자동화 설정을 완벽히 익힐 수 있습니다.

작가의 말

저는 첫 직장에서 경쟁 상품의 정보를 수집하며 웹 크롤링에 관심을 갖게 되었습니다. 당시 팀은 상하반기 기획을 위해 판매 사이트에서 상품 이름, 가격, 사양 등을 직접 복사해 엑셀에 입력하는 반복 업무를 수행했는데, 600~1,000개의 데이터를 정리하는 일은 큰 불편함으로 다가왔습니다. 이를 계기로 파이썬을 공부하며 자동화 코드를 작성하기 시작했죠. 아마 이 책을 펼친 여러분도 비슷한 불편함을 경험해 보셨을 것이라고 생각합니다.

이 이야기를 들으면 웹 크롤링에 꼭 프로그래밍 공부가 필요하다는 의문이 생길 수 있습니다. 과거에는 “공부를 해야 만들 수 있습니다.”라는 답변이 정설이었지만, 상황이 달라졌습니다. 챗GPT와 같은 유용한 도구가 등장하면서 프로그래밍 접근 방식이 크게 변화했기 때문이죠.

최근 유행하는 ‘바이브 코딩’은 사람의 언어로 프로그램을 만드는 방식을 의미합니다. 예전에는 C, 자바, 파이썬 등의 문법을 배우며 프로그램을 작성해야 했지만, 이제는 “이런 OOO 프로그램 만들어 봐”라는 간단한 지시만으로도 꽤 복잡한 동작을 구현할 수 있습니다. 물론 전문 개발자의 지식이 필요한 경우도 있지만, 일상에 필요한 프로그램은 전문 지식 없이도 누구나 어렵지 않게 만들 수 있게 되었습니다.

이 책은 이런 흐름을 받아들여 챗GPT나 딥시크와 같은 서비스를 통해 웹 크롤링 프로그램을 프롬프팅만으로 쉽게 만듭니다. 프로그래밍을 가르치려는 목적이 없으므로 의도적으로 코드를 설명하는 내용은 한 줄도 넣지 않았습니다. 다시 말해 변수가 어쩌니, 반복문이 어쩌니 하는 내용은 아예 없습니다. 코드를 한 줄 한 줄 입력하라는 말도 없습니다. 대신 프롬프팅에 꼭 필요한 프로그래밍 지식은 프롬프트 입력 단계에서 반복 설명하여 자연스럽게 이해할 수 있도록 했습니다. 정말로 웹 크롤링 프로그램을 5분 정도면 쉽게 만들 수 있을 것입니다. 반복 수집 업무에 들이는 시간을 줄이고 더 중요한 일에 집중하고 싶은 여러분에게 이 책이 조금이라도 도움이 되었으면 합니다.

추천사

현대 사회의 원유와도 같은 데이터 채굴권은 원래 개발자에게만 허락됐었다. 하지만 이 책은 마케터, 연구자, 심지어 데이터에 관심이 전혀 없던 일반 직장인도 하루 만에 데이터 크롤링이 가능하도록 해준다. 탄탄한 기본기와 함께 수많은 실전 예제를 제공하니, 웹에서 데이터를 자유롭게 수집하고 싶다면 이 책을 적극 추천한다. 어느 순간 ‘이게 되네?’ 하며 보이는 모든 정보를 크롤링하는 자신을 발견하게 될 것이다!

최지호, 《Must Have 코드팩토리의 플러터 프로그래밍》 저자

비전공자도 쉽게 따라 할 수 있도록 생성형 AI를 활용해 크롤링 코드를 만들고 실행하는 과정을 차근차근 안내한다. 대화 형식으로 예제를 제시해 실제 활용 상황을 직관적으로 이해할 수 있으며, 업무와 일상에서 바로 적용할 수 있는 실용적인 예제들이 가득하다. 웹 크롤링을 처음 시작하는 사람은 물론, 필요한 데이터를 빠르게 확보하고 싶은 직장인과 학생들에게도 유용한 책이다.

박경록, 《코딩 테스트 합격자 되기 – 파이썬, C++ 편》 저자

웹 크롤링은 유용한 만큼 알아야 할 지식도 많다. 하지만 챗GPT가 웹 크롤링의 허들을 크게 낮추면서, 누구나 몇 가지 방법만 익히면 시도해볼 수 있는 시대가 되었다. 그렇다고 한 번에 되는 일은 없는 법! 다양한 케이스를 반복 연습해야 내 것으로 만들 수 있다. 이 책은 다양한 예제로 처음 배우는 사람들도 웹 크롤링과 친해질 가장 쉬운 계기를 만들어 줄 것이다.

오힘찬, 《이게 되네? 챗GPT 미친 활용법 71제》 저자

『이게 되네? 챗GPT 미친 크롤링 24제』는 웹 크롤링을 배우고 싶지만 ‘코딩’이라는 벽에 막힌 초보자도 쉽게 따라 할 수 있도록 챗GPT를 활용한 실습 중심으로 구성된 책입니다. 단순한 코드 나열이 아닌 ‘왜 이렇게 작동하는가’를 설명해 기초 개념부터 실전 활용까지 자연스럽게 이어집니다. 웹 크롤링의 첫걸음이자, 데이터를 활용해야 하는 마케터, 직장인, 데이터 수집 역량을 키우고 싶은 취업 준비생을 위한 실용적인 가이드가 될 것입니다.

셀레나, 《파이썬 데이터 분석가 되기+챗GPT》 저자

목차

Q&A

CONTENTS

관련 콘텐츠들

SUBSCRIPTION

책 이야기를 들려드립니다.

책이 만들어지는 집필, 편집, 베타리딩 등의 출간 소식뿐 아니라,
관련 주제의 책 소식, 저자와의 만남, 강의, 오탈자 등 책 관련 소식을 전해드립니다.