concurrent.futures를 이용한 병렬처리 방법
리스트와 같은 일련의 데이터를 하나의 함수로 반복 처리해야 할 때, 이를 여러 프로세스에서 분산하여 동시에 처리하게 하면 전체적인 작업 시간을 단축시킬 수 있다. 서브 프로세스를 사용하는 방법으로는 multiprocessing.Process 를 사용하는 방법이 있지만, 프로세스별로 분산하여 처리한 데이터를 다시 수집하여 취합하는 과정이 좀 번거롭다. 또한 데이터 매우 많을 때 너무 많은 프로세스가 생기지 않도록 프로세스 풀을 관리하는 로직을 직접 구현해야하는 점이 번거롭기도 하다. concurrent.futures는 이러한 분산처리에 특화된 작업을 쉽게 구현할 수 있도록 도와주는 라이브러리로 사용방법이 쉽고, asyncio와 비슷한 Future라는 개념을 사용하고 있다.… 더 보기 »concurrent.futures를 이용한 병렬처리 방법