Spring batch가 무엇인지 작성한 글이 아닌어떻게 활용했는지에 대한 글입니다!!상황이번 프로젝트는 AI 기반 맛집 추천 프로젝트로, 데이터 수집이 매우 중요하다.API를 사용할까 하며 이런저런 계산도 해봤지만팀원들과 여러번의 회의 끝에 결국공공데이터 + 이 정보 기반으로 검색 크롤링이 방법이 최선이라는 결론에 도달했다.그리고 방학 기간부터 개발을 시작했는데크게 문제점이 3가지 발생했다.CSV : 오류, 속도크롤링 들어가기 전부터 쉽지 않았다.첫번째로 오류가 많이 발생했다.파일마다 컬럼 이름도 다르고,정보가 들쭉날쭉 했다.중요한건 어떤 레코드가 실패했는지 알수가 없었고, 안정적으로 모든 데이터를 db에 추가하기 힘들었다.두번째로 속도가 많이 느렸다.하나의 레코드를 읽고 처리해서 쓰는데 약 0.01초..