김현빈의 개발새발

이제 url을 따오는것을 데이터베이스의 이름값을 불러와 검색어에 검색하여 따오게 하고 이를 데이터베이스에 저장하는 과정을 설명하도록 하겠다. 이 경우엔 웹페이지의 검색을 데이터베이스의 이름값들을 검색하게 하고 이를 통해 나오는 이미지의 url값을 데이터베이스의 image 컬럼에 삽입해주는 과정을 이름의 처음부터 끝까지 순회하게 해야한다. # MySQL 연결 설정 db_config = { 'host': 'localhost', 'user': '유저명', 'password': '비밀번호', 'database': '데이터베이스명' } # MySQL 연결 conn = mysql.connector.connect(**db_config) cursor = conn.cursor() 먼저 파이썬 환경에서 MySQL과 연결을..

필자의 이전 글인 Apache POI를 이용하여 엑셀파일(.xlsx)을 데이터베이스에 저장하는 과정을 설명한 글을 보고오면 이해가 쉬울것이다. 이전에 Apache POI를 이용하여 엑셀파일 안에 있는 데이터들을 추출해 데이터베이스에 저장하였는데, 필자가 필요로 하는 데이터는 음식의 기본적인 이미지 url, 해당 음식의 이름, 해당 음식의 영양정보가 담긴 데이터였는데 받아온 파일에는 음식의 이미지 url이 따로 담겨져 있지 않았다. 검색을 통해 일일히 음식의 이미지 url을 삽입해주기엔 데이터의 양이 7000건이 넘어 사실상 불가능했고, 필자는 이를 파이썬을 통한 웹페이지 크롤링을 이용해 문제를 해결하기로 하였다. 먼저 크롤링을 해올 웹사이트를 선정해야 했고, 가장 유명하고 사용량이 많은 구글로 시도를 해..