Mon L'étrange voyage

맥북에서 crontab을 통해 주기적으로 실행을 시켜보고싶은게 생겨서

crontab을 등록하여 테스트를 해보았더니 잘 작동이 되지않아서 찾아보니

macOS에서는 crontab 보다는 LaunchAgents를 통해 crontab의 역할을 한다고 한다.

하고싶었던 작업은 매일 오전10시에 어떤 작업을 수행할 것

* crontab 이라면 아마 이렇게 crontab -e 로 등록해서 사용했을 것 같다. 

0 7 * * * cd 실행할위치 && 실행하고싶은 명령어

사용방법

앞서 말했든 macOS에서는 crontab 보다는 LaunchAgents를 권장하고 있고 해당 방법은 간단하다

1. .plist 파일 작성:
 ~/Library/LaunchAgents/${너가수행할이름}.plist라는 파일을 생성

2. plist 샘플
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
    <key>Label</key>
    <string>본인의프로젝트명</string>
    <key>ProgramArguments</key>
    <array>
        <string>/bin/sh</string>
        <string>-c</string>
        <string>cd 실행할위치 && 실행할명령어</string>
    </array>
    
    <key>StartInterval</key>  //실행간격
    <integer>120</integer>    //120초 (2분)
</dict>
</plist>

3. 내가 만든 plist가 잘 작성되었는지 확인
plutil -lint ${너가수행할이름}.plist
정상적으로 잘 만들어졌으면 => ${너가수행할이름}.plist: OK

4. plist load 
launchctl load ~/Library/LaunchAgents/${너가수행할이름}.plist

5. 등록이 잘되었는지 확인
launchctl list | grep ${너가수행할이름}


6. 만약 등록을 취소하고싶다면
launchctl unload ~/Library/LaunchAgents/${너가수행할이름}.plist

테스트를 위해 2분마다 실행되도록 plist를 만들었다.

여기서 내가 했던 실수들

1. <string>cd 실행할위치 && 실행할명령어</string> 여기서 && 를 xml 문법에 맞게 &amp;로 바꿔줬어야 했다. 

2. 처음에는 yarn start라고 실행할 명령어를 썻는데 fail이 떨어졌다 그래서 Full Path 로 변경 :   /opt/homebrew/bin/yarn start 

실수들에 대해서 수정을 하니 테스트가 잘 돌아간다. 

그래서 처음 계획했던 매일 오전 10시에 돌아갈 수 있도록 

실행 부분을 변경해주었다. 

    <key>StartCalendarInterval</key>
    <dict>
        <key>Hour</key>
        <integer>10</integer>
        <key>Minute</key>
        <integer>0</integer>
    </dict>

요즘 포켓몬 유나이트를 너무너무 재밌게 하고 있어서

그거와 관련된 조그만 프로젝트를 하면 좋을 것 같아서 고민중에 있다. 

일단 오늘은 포켓몬 유나이트의 참전 포켓몬을 크롤링해서 이미지들을 다운받는거 부터 시작하려고 한다.

크롤링(crawling) 혹은 스크레이핑(scraping)은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출해 내는 행위다. 

소스는 python 으로 되어있고, 패키지는 파이썬에서 웹 브라우저 상호작용을 자동화하는 selenium 을 사용했다. 

일단 본인의 크롬버전을 확인하고

그 크롬버전에 맞는 크롬드라이버를 다운받아줘야한다. 

크롬 버전 확인방법은 오른쪽상단에 세개의 점 아이콘을 클릭 후, 도움말에서 chrome정보 보기를 클릭하면 확인이 가능하다.

크롬드라이버는 https://chromedriver.chromium.org/downloads 여기서 다운이 가능하다. 

본인의 버전에 맞게 설치하면 된다.

다운받은 크롬드라이버의 위치로 크롬을 연결시켜주고

find 에는 다운받을 포켓몬을 list 로 만든다.

나머지 코드는 별거 없고,

이미지를 클릭한다음, 그 이미지를 다운받는다.

다운받은 이미지는 각각의 이름으로 폴더를 만들고

그 폴더에 count 를 해서 파일이름으로 저장해준다. 

내일은 요 이미지들을 가지고 teachable machine 에 적용시켜 모델을 학습해볼거다. 

어제 공부했던 textrank 로 했을 때, 결과값이 만족스럽지 않아서 다른걸 찾아보기로 했다. 

결과값이 만족스럽지 않다는거는 단어 추출은 잘되는데, 연관된 단어일 경우 분리되서 나와서

하나의 단어로는 그렇게 데이터로써 큰 가치가 없었다.

예를 들면 내가 원하는거는 "성과 창출" 인데 실제로 textrank 를 돌려서 나온값은 "성과" "창출" 

각각의 단어로 나오니까 하나의 단어로는 데이터로써 효용가치가 별로 없었다.

그래서 다른 좋은게 있는지 찾아보던중 , NetworkX 를 발견했다.

실제로는 다른분들은 그래프 형식으로 결과값을 도출해서 많이 사용하시던데

내가 원하는건 연관단어들의 텍스트형식의 결과물이었다.

NetworkX는 네트워크분석을 기본으로 하고 있고

네트워크 분석은 개인과 집단들 간의 관계를 노드(Node)와 링크(Link)로써 모형화하여, 그것의 구조나, 확산 및 진화과정을 계량적으로 분석하는 방법이다. 개체 자체의 속성에 중점을 둔 기존의 통계적인 연구방법과는 달리, 개체간의 상호 관계에 초점을 맞춘 방법이다. 네트워크 분석은 화학, 생물, 물리, 정보공학, 사회학, 인문학 등 다양한 분야에서 응용되고 있는 용어만 조금씩 다를 뿐 기본 원리는 그래프 이론에서 출발 했다고 할 수 있다. 소셜 네트워크 분석(SNA, Social Network Analysis) 역시 적용하는 대상과 용어만 다를 뿐 기본적인 분석 방법은 동일하다.
(참조 : https://kdata.or.kr/info/info_04_view.html?field=&keyword=&type=techreport&page=1&dbnum=192961&mode=detail&type=techreport) 

튜토리얼 참고 :https://networkx.org/documentation/stable/tutorial.html

궁극적으로 내가 해보고싶었던 거는 

각 기사 혹은 책 제목을 읽어와서

가져온 List 에서 가장 많은 연관성이 있는 단어 묶음들을 찾고싶었다.

첫번째로는 당연히, 모델을 학습할 샘플데이터가 필요하다.

이거는 뭐.. 그냥 단순이 책이나 기사 제목을 크롤링해와서 test.txt 에 담았다.

그래서 lines를 만들어 주고

words_list 를 만들고 거기에 lines를 넣어줬다.

그리고 words_list로 모델을 학습하기 전에

불용어( 실제로 그 모델에서 제외할 단어들 ) 을 stopwords.txt 에 미리 넣어놓고

연관성있는 단어쌍을 만들어준다.

혹시.. enumerate 내장함수를 모르면 아래 사이트에 잘 설명이 되어있다.

참조: https://www.daleseo.com/python-enumerate/

이제 이중으로 Loop를 돌리면서 단어의 연관성을 찾으면 된다.

for 문을 자세히 보면 아래와 같이 돌아가는걸 알 수 있다.

그래서 이제 이걸 이중 for 문 안에서 비교하면서 

count 에 넣어주게 된다.

다 만들고 나서 Dataframe 에 넣고 

원하는 컬럼으로 정렬하면 원하는 결과를 얻을 수 있다.

표본이 많으면 많을수록 더 정확하고 깔끔한 데이터를 얻을 수 있다.

참조: http://gahwan.com/python-%EC%97%B0%EA%B4%80%EC%96%B4-%EB%84%A4%ED%8A%B8%EC%9B%8C%ED%81%AC-%EB%B6%84%EC%84%9D-with-networkx-package/

원래는.. 리뷰들을 모아서 그 리뷰에 대한 긍정적인 부분/ 부정적인 부분을 추려서 프로젝트를 하려고 했다.

기존에 나와있는 긍/부정 감성분석은 리뷰의 평점에 따라 좋은평점에서 긍정적인 단어를 추리고

나쁜평점에서는 부정적인 단어를 추리는 방식이었는데 내가 하고있던거는 미리 긍/부정도 단어사전을 만들고

단어 사전을 통해 긍정/부정을 추출하는 방식이었다.

암튼, 그 긍/부정도에 대해서는 못하게되어 다른 아이디어를 찾고있던 중 ..

발견하게 된거는 krwordrank 이다. text에서 핵심 문장/단어를 추출하는 알고리즘이다.

WordRank 알고리즘은 구글의 PageRank 나 HITS 같은 Graph Ranking을 자연어처리에 적용한 알고리즘 이다.

이거를 한국어의 어절 개념을 적용한게 KR-WordRank 라고 보면된다. 

사용방법은 아주 간단하다.

일단 분석할 샘플이 필요하고

해당 부분에서 한줄씩 읽어서 

나는 texts 라는 list에 담아줬다.

그 이후에 summeraize_with_sentences 라는 핵심문장을 추출하는 기능을 가지고 있는 부분을 적용시켜주면

원하는 값을 얻을 수 있다.

추출 원리는 랭킹이 매겨진 단어들로 백터를 생성하고 코사인 유사도를 적용하여 입력된 문장의 백터가 키워드 백터와 유사한 것을

선택하는 원리이다. 

도중에 빼고싶은 단어가 있다면 stopwoards 에 넣어주면 된다. 

추출한 결과값은.. 생각보다 잘 나온거 같다.

이제 이걸통해서 어떤식으로 보여줘야할지가 관건인 것 같다.