기술 · 실용 가이드
Python “field larger than field limit”인가요? 상한을 올리기 전에 CSV record를 진단하세요
원본 bytes를 보존하고 Sniffer와 reader를 분리해 실제 wide field, quote 붕괴, 탐지 전용 실패를 증명한 뒤 field_size_limit를 바꾸세요.
_csv.Error는 원인이 아니라 경계 신호입니다. 정상 대형 field, 닫히지 않은 quote로 합쳐진 record, Sniffer sample 실패가 같은 메시지를 만들 수 있습니다.
bytes와 parser contract를 보존하고 첫 logical record를 찾은 뒤 원인별 최소 수정과 의미·memory 검증을 수행하세요.
1. bytes와 parser contract 보존
변환 전 file의 hash, size, encoding, BOM, engine을 기록하고 newline=""로 여세요.
dialect 설정과 현재 limit를 기록하고 test 뒤 복원하세요.
2. reader와 Sniffer를 별도 재현
dialect를 알면 Sniffer를 우회하고 같은 bytes를 명시 설정으로 읽으세요.
명시 reader가 성공할 때만 Sniffer-only로 분류하세요.
3. 첫 logical record 찾기
fresh handle로 stream하며 reader.line_num과 후보 주변의 제한된 byte offset을 남기세요.
physical line은 CSV record와 다르므로 quote 닫힘과 column drift를 확인하세요.
4. width, quote collapse, detection 분류
정상 wide field는 framing과 구조가 안정되고 producer contract와 측정 크기가 맞아야 합니다. 근거 있는 bounded cap만 설정하세요.
quote가 열려 있으면 source를 수리·거부하고 Sniffer-only면 known dialect를 제공하세요.
5. platform bound와 수리 검증
C long 변환이 overflow하면 후보를 줄이고 sys.maxsize를 보편 설정으로 쓰지 마세요.
row·column·hash·embedded 문자·memory·limit 복원을 검증하세요.
