기술 · 실용 가이드
Python multiprocessing.Queue가 join에서 멈추나요? feeder와 drain 순서를 그리세요
프로세스, feeder thread, unfinished task의 세 가지 대기를 구분하고 조용한 데이터 손실 없이 종료 순서를 고칩니다.
자식 프로세스가 target function을 끝내도 Queue feeder가 아무도 읽지 않는 pipe로 buffer를 flush하면 종료하지 못할 수 있습니다. 보이는 join은 대기 사슬의 끝입니다.
어떤 join인지 확인하고 writer, feeder, pipe, reader의 소유 관계를 그린 뒤 drain과 close 순서를 수정하세요.
1. 어떤 join이 막혔는지 정확히 이름 붙이세요
종료하기 전에 thread/process stack을 보존하세요. Process.join은 child exit, Queue.join_thread는 close 뒤 feeder exit, JoinableQueue.join은 모든 task_done을 기다립니다.
start method, Python 버전, OS, queue type, creator, producer, consumer와 마지막 put/get/task_done을 기록하고 qsize를 증거로 쓰지 마세요.
2. writer–feeder–pipe–reader 대기 그래프를 그리세요
Queue.put 뒤 background feeder가 object를 serialize해 pipe로 보냅니다. reader가 소비하지 않아 pipe가 차면 feeder write가 막히고 producer 종료도 flush를 기다릴 수 있습니다.
모든 read/write end, close owner, sentinel sender와 기다리는 동안 계속 읽어야 할 actor를 나열하세요. pipe capacity는 유한하며 정확성 가정이 아닙니다.
3. 소유권 계약에 맞춰 순서를 고치세요
result queue는 worker가 살아 있는 동안 drain하고 모든 producer를 먼저 join하지 마세요. 새 작업 중지, 명확한 sentinel, 필요한 result drain, writer close, feeder/process join 순서를 대기 그래프로 정하세요.
JoinableQueue에서는 성공한 get마다 예외 경로를 포함해 task_done을 정확히 한 번 호출하고 unfinished count를 줄일 consumer를 join으로 막지 마세요.
4. cancel_join_thread와 terminate를 손실 결정으로 다루세요
cancel_join_thread는 feeder flush를 기다리지 않고 나가므로 buffered data를 잃을 수 있습니다. 명시적 loss policy와 test가 있을 때만 사용하세요.
terminate/kill도 queue state와 전송 중 byte를 손상할 수 있으므로 replay, deduplication, abandon 경계를 먼저 정하세요.
5. 정상 종료와 완전 전달을 함께 증명하세요
일반 pipe capacity를 넘는 payload로 produced/consumed ID를 대조하고 배포와 같은 start method에서 반복하세요. exit뿐 아니라 record 완전성, feeder 종료, exit code와 손상 없음이 필요합니다.
reader를 멈춘 negative test에서 bounded backpressure나 controlled timeout이 나타나야 하며 silent drop은 허용하지 마세요.
