세종코퍼스 txt 파일에서 어절 수 찾아내기

이렇게 생긴 세종코퍼스 txt 파일로부터 코퍼스의 어절 수를 추출해 내는 기능을 만들어 보려다가 헤맸었다.

약간의 혼란 끝에 드디어 어떻게든 성공했다.

생각해 보니까 그냥 txt 파일의 맨 밑 줄부터 탐색해서 여는꺾쇠('<')로 시작하지 않는 줄을 만나면 그 줄의 어절 번호를 추출해 내면 되는 거였다.

 

최종 코드는 이렇게 만들어졌다.

잘하는 분들이 보기엔 엉망이겠지만 일단 돌아가니까 만족이다.

import re
import sys
sys.stdout = open('stdout.txt', 'w')
def counter(x):
    f = open(x, "r", encoding="utf-16-le")
    data = f.readlines()
    for i in range(len(data)-1, -1, -1):
        if data[i][0] == '<':
            continue
        else:
            last_line = i
            break
    number_of_lines = re.findall("-\d+", data[last_line])
    # print(number_of_lines)
    # ['-00065929']
    number_of_lines = number_of_lines[0]
    # '-00065929'
    number_of_lines = number_of_lines[4:len(number_of_lines)]
    # '65929'
    number_of_lines = int(number_of_lines)
    # print(number_of_lines)
    # 65929
    return number_of_lines
filenames = open("list.txt", "r", encoding='utf-8')
filenames = filenames.readlines()
# ['BTAA0001.txt\n', 'BTAA0002.txt\n', 'BTAA0003.txt\n',
# 'BTAA0004.txt\n', ... , 'BTJO0447.txt']
sum = 0
for i in range(len(filenames)):
    print('this file is: FILE #' + str(i+1))
    name_with_extra_n = filenames[i]
    if i == len(filenames) - 1:
        goodname = name_with_extra_n
    else:
        goodname = name_with_extra_n[0:len(name_with_extra_n)-1]
    result = counter(goodname)
    print(result)
    a = result
    sum = sum + a
print('Total # of EOJEOLs:' + str(sum))
sys.stdout.close()

 

결과물 파일 stdout.txt는 이런 모습이다.

 

몇 개를 열어서 확인해 봤는데 잘 된 거 같다.

 

결론적으로 지금 내가 갖고 있는 세종말뭉치 현대문어 형태분석 코퍼스의 어절 수는 총 9,966,708개이다.

​

나중에 '곧이곧대로'와 다른 단어들 간의 연어값을 계산할 때 이 전체 어절 개수의 값이 필요할 것이다.

---

1편 - https://blog.naver.com/ks1127zzang/222824981687

코퍼스로 연어(collocation) 분석해 보기 (1)

2편 - https://blog.naver.com/ks1127zzang/222826100700

세종코퍼스의 어절 수 추출하기 - 연어 분석 (2)

​

오늘 참고한 글

​

- range 함수로 반복문을 큰 수에서 작은 수 방향으로 돌리는 법: https://withcoding.com/79

파이썬 range 함수 사용법 정리

- print() 함수의 결과를 txt 파일로 출력하는 법: https://codetorial.net/tips_and_examples/save_print_output.html

20. 파이썬 출력 결과 저장하기 - Codetorial