import sklearn
from sklearn.datasets import load_files
import os

movietxt = "C:/Users/MyCom/Downloads/movie_reviews/movie_reviews"

movie_train = load_files(movietxt, shuffle=True)

# 데이터 수
len(movie_train.data)

# moviedir 아래에는 neg, pos 폴더가 있다.
movie_train.target_names

#  첫 번째 파일은 아놀드 슈왈제네거의 영화에 관한 것으로 보인다.
movie_train.data[0][:500]

# 첫번째 파일명을 가져온다. neg 폴더에 있는 파일이다.
movie_train.filenames[0]

# 첫번째 파일은 부정적인 리뷰이며 0번째 색인이다.
movie_train.target[0]

from sklearn.feature_extraction.text import CountVectorizer

import nltk

sents = ['A rose is a rose is a rose is a rose.',
         'Oh, what a fine day it is.',
        "It ain't over till it's over, I tell you!!"]

# CountVectorizer의 tokenizer를 nltk의 word_tokenize를 사용하도록 변경한다.
# 디폴트는 구두점과 불용어를 무시한다.
# 그리고 최소 문서 빈도를 1로 설정한다.
foovec = CountVectorizer(min_df=1, tokenizer=nltk.word_tokenize)

# 단어의 빈도수를 벡터로 바꾼다.
sents_counts = foovec.fit_transform(sents)
# foovec은 단어장에 고유 단어로 색인 된다.
foovec.vocabulary_

# sents_counts는 3개의 문서 수와 19개의 고유 한 단어를 가진다.
# sents는 센텐스를 의미하는 듯
sents_counts.shape

# 이 벡터는 작아서 볼 수 있다.
sents_counts.toarray()

# 빈도수를 카운트에 대한 값을 문서 빈도에 대한 반전 값으로 변환한다. 
# TF-IDF (Term Frequency -- Inverse Document Frequency)
from sklearn.feature_extraction.text import TfidfTransformer
tfidf_transformer = TfidfTransformer()
sents_tfidf = tfidf_transformer.fit_transform(sents_counts)

# TF-IDF values
# 문서 길이에 반해 raw counts가 정규화(normalized)되어 있다.
# 많은 문서에서 발견 되는 단어에는 가중치가 적용되어 있다.
sents_tfidf.toarray()

# movie_vector 객체를 초기화 한 다음 영화 학습(train) 데이터를 벡터로 변환한다.
# 모든 단어를 사용한다. 82%의 정확도를 가진다.
movie_vec = CountVectorizer(min_df=2, tokenizer=nltk.word_tokenize)
# 상위 3000개의 단어만 사용하면78.5%의 정확도를 가진다.
# movie_vec = CountVectorizer(min_df=2, tokenizer=nltk.word_tokenize, max_feature=3000)
movie_counts = movie_vec.fit_transform(movie_train.data)

# corpus에서 'screen'이라는 단어를 찾으면 19637번의 인덱스에 매핑되어있다.
movie_vec.vocabulary_.get('screen')

# 비슷하게 스티븐 시걸을 찾아본다.
movie_vec.vocabulary_.get('seagal')

# 중복 되면 어떤 인덱스를 반환할까? 맨 앞? 맨 뒤? 랜덤?
movie_vec.vocabulary_.get('good')

# 엄청 크다. 2,000개의 문서와 2만5천개의 유니크한 단어들이 있다.
movie_counts.shape

# 원래의 빈도수를 TF-IDF 값으로 바꾼다.
tfidf_transformer = TfidfTransformer()
movie_tfidf = tfidf_transformer.fit_transform(movie_counts)

# 변환 전과 같은 크기를 가진다. 원래의 발생 빈도 대신 tf-idf 값으로 변경 되었다.
movie_tfidf.shape

# 분류기를 빌드한다.
# Multinomial 나이브 베이즈 를 우리 모델에 사용한다.
# 나이브 베이즈 분류로 주로 사용 되는 예제는 영화 리뷰 감성 분석, 스팸메일 필터링 등이 있다.
from sklearn.naive_bayes import MultinomialNB

# 트레이닝과 테스트 데이터로 나눈다.
from sklearn.model_selection import train_test_split
docs_train, docs_test, y_train, y_test = train_test_split(
    movie_tfidf, movie_train.target, test_size = 0.20, random_state=12)

# Multimoda 나이브 베이즈 분류기로 학습시킨다.
clf = MultinomialNB().fit(docs_train, y_train)

# 테스트 셋에 대한 결과의 정확도를 예측한다.
y_pred = clf.predict(docs_test)
sklearn.metrics.accuracy_score(y_test, y_pred)

# Confusion Matrix를 만든다.
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, y_pred)
cm

# 매우 짧거나 가짜 엉터리 리뷰
reviews_new = ['This movie was excellent', 'Absolute joy ride', 
            'Steven Seagal was terrible', 'Steven Seagal shined through.', 
              'This was certainly a movie', 'Two thumbs up', 'I fell asleep halfway through', 
              "We can't wait for the sequel!!", '!', '?', 'I cannot recommend this highly enough', 
              'instant classic.', 'Steven Seagal was amazing. His performance was Oscar-worthy.']

# 위에 있는 엉터리 리뷰를 벡터화 한다.
reviews_new_counts = movie_vec.transform(reviews_new)
reviews_new_counts.shape

# tf-idf로 가중치를 주어 다시 변환한다.
reviews_new_tfidf = tfidf_transformer.transform(reviews_new_counts)
reviews_new_tfidf.shape

# MultinomialNB Classifier Multinomial 나이브 베이즈 분류기로 예측
# clf = MultinomialNB().fit(docs_train, y_train) 
pred = clf.predict(reviews_new_tfidf)
pred

for review, category in zip(reviews_new, pred):
    print('%r => %s' % (review, movie_train.target_names[category]))