DB에 데이터 넣기

크롤링으로 필요한 데이터는 어느 정도 모은 것 같다. 이제 이것을 DB에 넣고, 또 추천시스템을 위한 모델을 만들어야 한다. 영화정보를 가지고 페이지에 보여주는 작업을 하시는 분들이 있기 때문에, 데이터를 DB에 넣는 작업부터 했다. 영화정보를 DB에 넣을 때 진행이 매끄럽지 않았다. 제목과 고유코드가 같을 경우 제거하는 필터링을 한 번 거쳤음에도 고유코드가 중복되어 있는 영화들이 있었다. 그렇다. 애초에 필터할 때 제목&고유코드가 아니라 그냥 고유코드만 했으면 됐는데, 필터링을 잘못했다. (제목은 다르나 코드가 같은 영화들이 꽤 있었다.) 처음에 제목+고유코드로만 데이터셋을 만들고 그 데이터를 기반으로 평점정보, 영화 자세한 정보, 명대사 등의 데이터를 수집했는데, 중복되는 것이 발견될 때마다 나머지 데이터에서 제거해주는 작업도 같이했다. 그러다보니 시간을 소요했다. 처음에 데이터를 잘 수집했어야 했는데 하는 후회가 들었다. 줄거리가 csv파일에서 여러 줄을 차지하는 경우에 불러다가 데이터를 넣을 때 문제가 생기기도 했다. (한 줄씩 로드하여 영화정보를 디비에 넣도록 했었기 때문에..) 데이터를 사용하도록 가공하는 것도 손이 많이 가는 것을 느꼈다. pymysql이라는 패키지를 import하여 디비에 넣었는데, 명대사 정보는 또 잘 안 들어간다. 그래서 장고에서 모델을 불러 넣어보고 있는 중이다. 오늘은 디비에 데이터 잘 넣고, 내일은 추천시스템 모델을 한 번 만들어보자 으쌰!!