크롤링 (2) 썸네일형 리스트형 GPT와 전쟁, 자동화로 종결 안녕하세요. 그간 매주 AI 활용 로또 블로그를 올려왔습니다. (참고: 기존 글은 여기에서, 이 프로그램을 통해 생성할 글 샘플은 여기에서 미리 확인하실 수 있습니다.) 매주 당첨 결과와 나름의 예측 정보를 업데이트하는데, 글을 올릴 때마다 작은 고민거리가 하나 있었습니다. 바로 '블로그 포맷' 문제였죠. 포맷이 일정하지 않거나, 필요한 정보가 빠지는 경우가 잦아 슬슬 귀찮아지기 시작했습니다.GPT 달달 볶기, 이젠 못 참겠어서 직접 나섰습니다.그동안 글 초안은 GPT에게 맡겼습니다. 덕분에 글 쓰는 수고는 줄었지만, 얘가 토해내는 글이 제가 원하는 통일된 형식과는 거리가 멀었고, 가끔 중요한 정보가 빠지기도 했습니다. 그걸 티스토리에 바로 올릴 수는 없으니, 매번 손봐야 하는 게 일이었죠. 독자 입장에.. 로봇 티엑스티 웹 브라우저들은 주로 웹 사이트를 크롤링하여 인덱싱을 통해 페이지를 분류하고 검색결과에 뜨게 합니다. 로봇 티엑스티는 텍스트 형식의 파일로 크롤러들이 특정 페이지나 사이트에 접근하지 못하도록 하여 검색창에 뜨지 않도록 하는 기능을 합니다 (다만, 크롤링이 가능한 다른 사이트에 해당 페이지로 이동가능한 링크가 있다면 여전히 접근이 가능하기 때문에 근본적인 접근을 막는 도구는 될 수 없음). 로봇 티엑스티는 사이트맵과 함께 사이트에 대한 접근을 제한하는 공통된 양식으로 강제력은 없지만 대부분의 공신력 있는 브라우저들은 준수하고 있습니다. 주목적은 사이트에 악성 크롤러들이 사이트에 접근하는 것을 사전에 막아 사이트를 보호하는 데 있습니다 사용하기 로봇 티엑스티 파일은 프로토콜 및 포트 단위로 추가되어야 하며 .. 이전 1 다음
