#예제1

from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all"

import numpy as np

np.arange(5)
np.arange(5,10)
np.arange(1,11,5)

def testf(p1):
    return p1**2

testf(4)
testf(3)

# 예제1
from nltk.corpus import stopwords
stopwords.words('english')[:10]

# 에제2
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

example = "Family is not an important thing. It's everything."
stop_words = set(stopwords.words('english'))


word_tokens = word_tokenize(example)

result = []
for w in word_tokens:
    if w not in stop_words:
        result.append(w)
        
print(word_tokens)
print(result)

from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

word = "불용어란 자주 등장하지만 데이터를 분석하는데 있어 큰 의미를 갖지 않는 단어들을 뜻합니다.불용어는 임의로 설정할 수 도 있고,영문의 불용어 리스트의 경우 NLTK 라이브러리에서 정의한 불용어 리스트를 사용할 다만 한국어의 경우 조사와 접속사의 사용이 다양하며,언어의 변형이 많기 때문에 직접 정의하는게 좋습니다."

stop ="자주,종종,가끔,많이"

stop_list = stop.split(',')
tok = word_tokenize(word)

def stopword(word_tokenize):
    result = []
    
    for w in word_tokenize:
        if w not in stop_list:
            result.append(w)
            
    return result

print('토큰화한 문장은'+ str(tok) + '입니다.',end='\n')
print('\n')
print('불용어를 제거하면' + str(stopword(tok)) + '입니다')

from collections import defaultdict
d_dict = defaultdict(float)
d_dict["a"]

from collections import defaultdict
d_dict = defaultdict(int)
d_dict["a"]

import string

s = 'spam and ham'

s.upper()
s.capitalize() # 첫문자를 대문자로 한다

# 검색관련 때 사용가능
s.count('a') # 문자열 a가 몇번 나왔는지 갯수 확인한다,

s.count('sp')

s.find('a')

s.find('and') #위치

s.index('a')

#문자열 편집 및 치환
t = ' spam '
t.lstrip() #공백 제거

t.strip() #좌,우 공백 제거

t.rstrip()

s.replace('and','or')

s

#분리와 결합
s.split()

s.split('and')

t = s.split()

t

''.join(t)

'\n'.join(t)

#예제1
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
cancer = load_breast_cancer()

X_train, X_test, y_train, y_test = train_test_split(cancer.data, cancer.target, random_state=1)

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()

scaler.fit(X_train) #fit()에 훈련 데이터를 적용시킴

#데이터 변환 
#fit() 다음 transform() 사용함
X_train_scaled = scaler.transform(X_train)
# 스케일이 조정된 후 데이터셋의 속성을 출력합니다
print("변환된 후 크기: {}".format(X_train_scaled.shape))
print("스케일 조정 전 특성별 최소값:\n {}".format(X_train.min(axis=0)))
print("스케일 조정 전 특성별 최대값:\n {}".format(X_train.max(axis=0)))
print("스케일 조정 후 특성별 최소값:\n {}".format(X_train_scaled.min(axis=0)))
print("스케일 조정 후 특성별 최대값:\n {}".format(X_train_scaled.max(axis=0)))

# 테스트 데이터 변환
X_test_scaled = scaler.transform(X_test)
# 스케일이 조정된 후 테스트 데이터의 속성을 출력합니다
print("스케일 조정 후 특성별 최소값:\n{}".format(X_test_scaled.min(axis=0)))
print("스케일 조정 후 특성별 최대값:\n{}".format(X_test_scaled.max(axis=0)))

# 예제2 
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()

# 메소드 체이닝(chaining)을 사용하여 fit과 transform을 연달아 호출합니다
X_scaled = scaler.fit(X_train).transform(X_train)
# 위와 동일하지만 더 효율적입니다
X_scaled_d = scaler.fit_transform(X_train)

from sklearn.svm import SVC

X_train, X_test, y_train, y_test = train_test_split(cancer.data, cancer.target,
                                                    random_state=0)

svm = SVC(gamma='auto', C=100)
svm.fit(X_train, y_train)
print("테스트 세트 정확도: {:.2f}".format(svm.score(X_test, y_test)))

# 0~1 사이로 스케일 조정
scaler = MinMaxScaler()
scaler.fit(X_train)
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 조정된 데이터로 SVM 학습
svm.fit(X_train_scaled, y_train)

# 스케일 조정된 테스트 세트의 정확도
print("스케일 조정된 테스트 세트의 정확도: {:.2f}".format(svm.score(X_test_scaled, y_test)))

#예제1 
import datetime
today = datetime.date.today()
today