동시성 및 병렬성으로 Python 코드를 향상하는 방법

by

핵심 요약

  • 동시성과 병렬성은 컴퓨팅 작업 실행의 핵심 원칙이며, 각각 고유한 특징을 지닙니다.
  • 동시성은 효율적인 자원 활용과 향상된 애플리케이션 응답성을 제공하며, 병렬성은 최적의 성능과 확장성에 필수적입니다.
  • Python은 asyncio를 사용한 스레딩 및 비동기 프로그래밍을 통해 동시성을 처리하고, multiprocessing 모듈을 통해 병렬 처리를 지원합니다.

동시성과 병렬성은 여러 작업을 동시에 처리하는 두 가지 방법입니다. Python은 작업을 동시 또는 병렬로 처리하는 다양한 방법을 제공하여 혼란스러울 수 있습니다.

Python에서 동시성과 병렬성을 적절하게 구현하는 데 사용할 수 있는 도구와 라이브러리를 살펴보고, 이 둘의 차이점을 명확히 해보겠습니다.

동시성과 병렬성의 이해

컴퓨팅에서 동시성과 병렬성은 작업 실행의 두 가지 기본 원칙을 나타냅니다. 각각 고유한 특성을 갖습니다.

  • 동시성은 여러 작업을 동시에 실행하지 않고도 관리할 수 있는 프로그램의 기능입니다. 이는 작업을 번갈아 가며 실행함으로써 동시에 진행되는 것처럼 보이게 합니다.
  • 반면 병렬성은 여러 작업을 실제로 동시에 실행하는 것을 의미합니다. 일반적으로 여러 CPU 코어 또는 프로세서를 활용합니다. 병렬 처리는 진정한 동시 실행을 통해 작업을 더 빠르게 처리하며, 계산량이 많은 작업에 적합합니다.

동시성과 병렬성의 중요성

컴퓨팅에서 동시성과 병렬성의 중요성은 아무리 강조해도 지나치지 않습니다. 이러한 기술은 다음과 같은 이유로 중요합니다.

  • 자원 활용: 동시성은 시스템 자원을 효율적으로 사용하여 작업이 외부 자원을 기다리지 않고 계속 진행되도록 합니다.
  • 응답성: 동시성은 특히 사용자 인터페이스 또는 웹 서버와 관련된 시나리오에서 애플리케이션의 응답성을 향상시킬 수 있습니다.
  • 성능: 병렬성은 복잡한 계산, 데이터 처리, 시뮬레이션 등 CPU 집약적인 작업에서 최적의 성능을 달성하는 데 필수적입니다.
  • 확장성: 확장 가능한 시스템을 구축하려면 동시성과 병렬성 모두 필수적입니다.
  • 미래 보장: 하드웨어 추세가 멀티코어 프로세서를 선호함에 따라 병렬성을 활용하는 능력의 중요성은 더욱 커질 것입니다.

Python에서의 동시성

Python에서 동시성은 asyncio 라이브러리를 사용한 스레딩 및 비동기 프로그래밍을 통해 구현할 수 있습니다.

Python에서의 스레딩

스레딩은 단일 프로세스 내에서 작업을 만들고 관리하는 Python의 동시성 메커니즘입니다. 스레드는 특정 유형의 작업, 특히 I/O 바인딩 작업에 적합하며 동시 실행의 이점을 누릴 수 있습니다.

Python의 스레딩 모듈은 스레드 생성 및 관리를 위한 고수준 인터페이스를 제공합니다. GIL(Global Interpreter Lock)은 스레드의 실제 병렬성을 제한하지만, 작업을 효율적으로 번갈아 가며 실행하여 동시성을 달성할 수 있습니다.

아래 코드는 스레드를 사용한 동시성 구현의 예시입니다. Python의 requests 라이브러리를 사용하여 일반적인 I/O 차단 작업인 HTTP 요청을 보냅니다. 또한 실행 시간을 측정하기 위해 time 모듈을 사용합니다.

 import requests
import time
import threading
urls = [
    'https://www.google.com',
    'https://www.wikipedia.org',
    'https://www.makeuseof.com',
]

def download_url(url):
    response = requests.get(url)
    print(f"Downloaded {url} - Status Code: {response.status_code}")

start_time = time.time()
for url in urls:
    download_url(url)
end_time = time.time()
print(f"Sequential download took {end_time - start_time:.2f} seconds\n")

start_time = time.time()
threads = []
for url in urls:
    thread = threading.Thread(target=download_url, args=(url,))
    thread.start()
    threads.append(thread)

for thread in threads:
    thread.join()
end_time = time.time()
print(f"Threaded download took {end_time - start_time:.2f} seconds")

이 코드를 실행하면 스레드 요청이 순차적 요청보다 얼마나 빠른지 확인할 수 있습니다. 그 차이는 1초 미만이지만, I/O 중심 작업에 스레드를 사용하면 성능이 향상되는 것을 확실히 느낄 수 있습니다.

asyncio를 사용한 비동기 프로그래밍

asyncio는 코루틴이라고 하는 비동기 작업을 관리하는 이벤트 루프를 제공합니다. 코루틴은 일시 중지하고 재개할 수 있는 함수이므로 I/O 바인딩 작업에 이상적입니다. 이 라이브러리는 네트워크 요청과 같이 외부 자원을 기다리는 작업이 포함된 시나리오에 특히 유용합니다.

이전 요청 전송 예제를 asyncio를 사용하도록 수정할 수 있습니다.

 import asyncio
import aiohttp
import time
urls = [
    'https://www.google.com',
    'https://www.wikipedia.org',
    'https://www.makeuseof.com',
]

async def download_url(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            content = await response.text()
            print(f"Downloaded {url} - Status Code: {response.status}")

async def main():
    
    tasks = [download_url(url) for url in urls]
    
    await asyncio.gather(*tasks)
start_time = time.time()

asyncio.run(main())
end_time = time.time()
print(f"Asyncio download took {end_time - start_time:.2f} seconds")

이 코드는 asyncio를 사용하여 웹 페이지를 동시에 다운로드하고 비동기 I/O 작업을 활용하는 방법을 보여줍니다. 이는 I/O 바인딩 작업에서 스레딩보다 더 효율적일 수 있습니다.

Python에서의 병렬성

병렬성은 Python의 multiprocessing 모듈을 사용하여 구현할 수 있으며, 이를 통해 멀티코어 프로세서를 최대한 활용할 수 있습니다.

Python에서의 다중 처리

Python의 multiprocessing 모듈은 각각 고유한 Python 인터프리터와 메모리 공간을 갖는 별도의 프로세스를 생성하여 병렬 처리를 구현하는 방법을 제공합니다. 이는 GIL(Global Interpreter Lock)을 효과적으로 우회하므로 CPU 바인딩 작업에 적합합니다.

 import requests
import multiprocessing
import time
urls = [
    'https://www.google.com',
    'https://www.wikipedia.org',
    'https://www.makeuseof.com',
]

def download_url(url):
    response = requests.get(url)
    print(f"Downloaded {url} - Status Code: {response.status_code}")
def main():
    
    num_processes = len(urls)
    pool = multiprocessing.Pool(processes=num_processes)
    start_time = time.time()
    pool.map(download_url, urls)
    end_time = time.time()
    
    pool.close()
    pool.join()
    print(f"Multiprocessing download took {end_time-start_time:.2f} seconds")
main()

이 예에서 다중 처리는 여러 프로세스를 생성하여 download_url 함수가 병렬로 실행되도록 합니다.

동시성 또는 병렬성을 사용해야 하는 경우

동시성과 병렬성 중 선택은 작업의 특성과 사용 가능한 하드웨어 자원에 따라 달라집니다.

파일 읽기 및 쓰기, 네트워크 요청 등 I/O 바인딩 작업을 처리할 때와 메모리 제약이 문제 될 때 동시성을 사용할 수 있습니다.

실제 병렬 처리의 이점을 얻을 수 있는 CPU 바인딩 작업이 있고, 한 작업의 실패가 다른 작업에 영향을 주지 않아야 하는 작업 간에 강력한 격리가 필요한 경우 다중 처리를 사용합니다.

동시성과 병렬성을 활용하세요

병렬성과 동시성은 Python 코드의 응답성과 성능을 개선하는 데 효과적인 방법입니다. 이러한 개념의 차이점을 이해하고 상황에 가장 적합한 전략을 선택하는 것이 중요합니다.

Python은 CPU 집약적 작업이나 I/O 중심 작업에 상관없이 동시성 또는 병렬성을 통해 코드를 더 효율적으로 만들 수 있는 도구와 모듈을 제공합니다.