Python으로 실시간 로그 파일 모니터링 코드 구현

파이썬(Python)으로 실시간(real-time) 로그(log) 파일 모니터링(monitoring) 코드 구현

 

Python으로 프로그램을 구현할 때 계속해서 로그를 찍는 경우가 있다. 이 때 또 다른 프로그램은 찍히는 로그를 계속해서 모니터링하는 코드를 구현해야 할 때가 있다. 

예를들어 고성능 HPC에서 작업을 돌리고 해당 PC에서 log파일을 출력하고 있는데, 클라이언트 장비인 내 컴퓨터에서 해당 log파일을 실시간으로 모니터링하는 코드를 작성하는 경우가 이런 경우가 되겠다.

먼저 로그파일을 찍는 예시코드이다.

logging.py

with open("log.txt", "w") as f:
    for i in range(100):
        text = "I love sark. %d\n" % i
        print(text, end='')
        f.write(text)
        f.flush()  # 출력이 메모리 버퍼가 가득 찰 때까지 출력하지 않기에 flush가 필요
        sleep(0.1)

이렇게 하면 0.1초마다 'I love sark. {번호}'의 문장을 0부터 99까지 찍게 될 것이다. 여기서 중요한 점은 flush()함수를 호출하는 것이다. 메모리 버퍼에 가득차기 전에 파일에 실제로 출력이 되지 않기 때문에 매 줄마다 바로바로 써주기 위해서는 flush()함수를 호출해줘야 한다.

다음은 해당 로그파일을 모니터링하는 코드이다.

monitoring.py

from time import sleep

delay_time = 0. # 지연 시간 기록
with open("log.txt","r") as f:
    while True:
        where = f.tell()
        line = f.readline().strip()
        if not line:
            sleep(0.1)
            delay_time += 0.1
            f.seek(where)
            if delay_time > 10.0: # 10초 이상 지연되면 파일 출력이 끝난 것으로 간주
                print("Delay has been exceeded.")
                break
            # print('대기중')
        else:
            delay_time = 0. # reset delay time
            print(line) # already has newline   

설명 없이는 조금 헷갈릴 수 있으니 파이썬 내장함수를 간단하게 설명하도록 하겠다.

file객체의 tell함수

파일의 현재 위치를 리턴

file객체의 seek(n)

파일의 n번째 바이트로 이동

 

 모니터링에는 지연시간이 필요한데, 실제로 line이 다 쓰이지 않았다고 가정했을 때 if not line조건문에 걸리게 되고, 이 때 0.1초씩 기다리면서 마지막으로 읽힌 위치로 이동했다가 다시 읽기를 반복한다. 그럼에도 계속 해서 새로운 문장이 나타나지 않으면 종료가 되어야 한다.

그런데 이 종료를 알 수 있는 방법은 없다. 프로그램에 문제가 있어서 무한 루프에 빠져 log가 찍히지 않고 있을 수도 있고, 중간에 종료되어 더 이상 log가 찍히지 않을 수도 있다. 그런데 출력된 파일의 형태만 가지고는 이를 알 수가 없다. 그래서 종료 조건이 필요하고, 그것이 바로 지연 시간 한계를 두는 것이다. 

위 코드에서는 지연 시간의 한계를 10초로 설정해두었다. 10초 이상 새로운 line이 들어오지 않으면 loop문을 빠져나오고 프로그램은 종료된다.

별 것 아닌 기능이지만 직접 구현하려고 하니 제법 헷갈렸다. 누군가 비슷한 고민을 하는 분에게 도움이 되었기를 바라며 마친다.

 

 

* 광고 클릭은 블로그 유지에 큰 도움이 됩니다. 항상 감사드립니다.