Merge remote-tracking branch 'origin/main'

xyc

17 小时以前 fbacc121df810f01e5b6ed43e6431dea6df270fd

 docs/¹¤¾ß/»ã×Ü´ó±í²îÒì±È¶Ô.py

New file
@@ -0,0 +1,240 @@
# -*- coding: utf-8 -*-
"""汇总大表差异比对：生成件 vs æ‰‹å·¥å®šç¨¿
用法: python æ±‡æ€»å¤§è¡¨å·®å¼‚比对.py <生成件.xlsx> <手工定稿.xlsx> <输出前缀>
说明: é€é¡µæŒ‰"行标签/列表头"做序列对齐（difflib），可正确处理多列/多行/重复表头；
      æ¯ä¸ªä¸ä¸€è‡´æ ¼å½’å…¥ ç»“构位移|取整尾差|文本型数字|草稿/辅助列|仅程序有|仅手工有|文本不同|错误值|实质数值差异。
"""
import datetime, io, os, re, sys
from difflib import SequenceMatcher
from openpyxl import load_workbook
from openpyxl.utils import get_column_letter

def col_label(ws, c, hdr_rows=6):
    for r in range(1, hdr_rows+1):
        v = ws.cell(row=r, column=c).value
        if isinstance(v, (int, float)) and not isinstance(v, bool) and 20000 < v < 60000:
            d = datetime.date(1899,12,30) + datetime.timedelta(days=int(v))
            return "%d-%02d" % (d.year, d.month)
        if isinstance(v, str) and v.strip() and not v.startswith("="):
            return v.strip()[:20]
    return "(无表头列)"

def row_label(ws):
    out = []; cur = ""; seen = {}
    for r in range(1, ws.max_row+1):
        a = ws.cell(row=r, column=1).value; b = ws.cell(row=r, column=2).value
        if isinstance(a, str) and a.strip(): cur = a.strip()
        if isinstance(b, str) and b.strip():
            lab = "%s|%s|%s" % (block_of(ws, r), norm_region(cur), norm_indicator(b))
        else:
            lab = "%s|%s|" % (block_of(ws, r), norm_region(cur))
        seen[lab] = seen.get(lab, 0) + 1
        out.append("%s#%d" % (lab, seen[lab]))
    return out

def norm(s):
    """标签归一化：去空白、去全角空格、统一引号、去掉‘市/省/州’后缀差异"""
    if not isinstance(s, str): return ""
    t = s.replace("\u3000", " ").replace("（", "(").replace("）", ")").strip()
    t = re.sub(r"[\s]+", "", t)
    return t

def norm_region(s):
    t = norm(s)
    for suf in ("市", "省", "自治州", "州"):
        if t.endswith(suf) and len(t) > len(suf): t = t[:-len(suf)]
    return t

def norm_indicator(s):
    t = norm(s).replace("(万吨公里)", "").replace("(万吨)", "").replace("(万人公里)", "").replace("(万人)", "")
    t = t.replace("其中规上", "规上").replace("其中规下", "规下")
    return t

def block_of(ws, r):
    """向上找最近一个"标题行"（B åˆ—为空且 A/文字较长）判断所属块：累计 / å½“月 / å…¶å®ƒ"""
    for rr in range(r, 0, -1):
        a = ws.cell(row=rr, column=1).value; b = ws.cell(row=rr, column=2).value
        txt = " ".join(str(x) for x in (a, b) if isinstance(x, str))
        if not isinstance(b, str) or not b.strip():
            if len(norm(txt)) >= 6:
                if "累计" in txt: return "累计块"
                if "各市州" in txt or "排名" in txt or "明细表" in txt: return "当月块"
    return "其它"

# å·²çŸ¥è®¾è®¡å·®å¼‚：不计入问题（按用户 2026-09-28 å£å¾„）
KNOWN_ROWS = {" è´§è¿": ("规上+规下货运量", "规下货运量")}
KNOWN_SHEETS_ANY_BLOCK = ()   # æŽ’名表的当月块由 block_of å¤„理

def is_known_extra_row(sheet, indicator, side):
    if sheet in KNOWN_ROWS and side == "程序":
        for pat in KNOWN_ROWS[sheet]:
            if norm_indicator(indicator) == norm_indicator(pat): return True
    return False

def num(v):
    return isinstance(v, (int, float)) and not isinstance(v, bool)

def text_num(v):
    if isinstance(v, str):
        s = v.strip().replace(",", "")
        try:
            return float(s)
        except Exception:
            return None
    return None

def match_labels(a, b):
    sm = SequenceMatcher(None, a, b, autojunk=False)
    pairs = {}
    for op, i1, i2, j1, j2 in sm.get_opcodes():
        if op == "equal":
            for k in range(i2-i1): pairs[i1+k] = j1+k
    return pairs

NOTE = """
> **已确认口径（2026-09-28，用户）——以下不计入问题**
> 1. ` è´§è¿` æ¯å¸‚å·ž 6 è¡Œ vs æ‰‹å·¥ 4 è¡Œï¼šç¨‹åºæ–°å¢žã€Œè§„上+规下货运量（万吨）」「规下货运量（万吨）」各 17 è¡Œï¼ˆå…± 34 è¡Œï¼‰ï¼Œå±žæ¯ç‰ˆè®¾è®¡ â†’ å½’入「已知设计(母版新增行)」。
>    å› è¡Œæ•°ä¸åŒï¼Œç¬¬ k ä¸ªå¸‚州在程序里比手工低 2×(k-1) è¡Œï¼ˆæ­¦æ±‰éƒ½ä»Žç¬¬ 11 è¡Œèµ·ï¼›é»„石 ç¨‹åº 17 / æ‰‹å·¥ 15；神农架 ç¨‹åº 107 / æ‰‹å·¥ 75）——**纯位置偏移，按"地区+指标"对齐后数值一致**。
> 2. ` è´§è¿!U5:U112`（无表头辅助列）是人工草稿 â†’ å½’入「已知设计(无表头草稿列)」。
> 3. å„排名表「当月块」是当初做母版时就加上的设计 â†’ å½’入「已知设计(排名表当月/累计块)」。
> 4. å¸‚州名短名/全名（武汉 vs æ­¦æ±‰å¸‚）不影响 â†’ å·²åšå½’一化。
> 5. å–整尾差、文本型数字只在汇总里计数，不进「实质数值差异」清单。
>
> **仍需处理/核对**
> - `班线包车` 3 æ ¼ï¼š`EO36`/`FN36`/`FO36`（荆门 å®¢è¿é‡ 2020 ç´¯è®¡/累计同比）——**程序生成时重算为 -2731.41 / -1.0008 / -1.0002**，母版与手工定稿均为 0.181777 / 2312.2199 / -0.586419；疑母版 2020 å¹´å—分母为 0，需核对公式与数据。
> - ` è´§è¿` 10 æ¡ 2022 å¹´å„市州「累计同比」：业务已确认**软件口径正确**（手工那列错）。
> - æ‰‹å·¥ä¾§å¾…改：304 æ ¼è‰ç¨¿åˆ—、286 æ ¼æ–‡æœ¬åž‹æ•°å­—、4 å¤„脏数据（`班线包车!IL4/IL5` æ–­é“¾ã€`IL50` åå¼•å·ã€` è´§è¿!EA93/EA111` çš„ `#DIV/0!`）。
> - æ¯ç‰ˆ/程序自身：11 ä¸ª `#REF!` + 356 ä¸ª `#DIV/0!`（历史遗留）、`城市客运` ç¬¬ 2 è¡Œç¬¬ 3 ä¸ªæœˆèµ·è¡¨å¤´ä¸ºæ—¥æœŸåºåˆ—号、缺 2026-09 æ¯ç‰ˆã€å¯¼å‡ºå‰åŸºæ•°ä½“检未做。

"""

def main(gen, dgf, prefix):
    ACTION = ("实质数值差异", "错误值(程序)", "错误值(手工)", "需处理(非数值文本)", "文本不同")
    IGNORE = ("已忽略(单边有值)", "已忽略(结构/设计)", "取整尾差(可忽略)", "文本型数字(可忽略)",
              "已知设计(母版新增行)", "已知设计(无表头草稿列)", "已知设计(排名表当月/累计块)", "其它")
    cats = list(ACTION) + list(IGNORE)
    REASON = {(" è´§è¿", "EA"): "2022年各市州累计同比：业务已确认软件口径正确（手工那列错）",
              ("班线包车", "EO"): "程序生成时重算（疑母版2020年块分母为0）：母版/手工为 0.1818，待核对",
              ("班线包车", "FN"): "同上：母版/手工为 2312.2199",
              ("班线包车", "FO"): "同上：母版/手工为 -0.5864"}
    def reason_of(x):
        ref = x[1]
        col = "".join(ch for ch in ref if ch.isalpha())
        return REASON.get((x[0], col), "")

    g = load_workbook(gen, data_only=True); d = load_workbook(dgf, data_only=True)
    rows_out = []
    per_sheet = []
    for sh in g.sheetnames:
        if sh not in d.sheetnames: continue
        wg, wd = g[sh], d[sh]
        rl_g, rl_d = row_label(wg), row_label(wd)
        cl_g = [col_label(wg, c) for c in range(1, wg.max_column+1)]
        cl_d = [col_label(wd, c) for c in range(1, wd.max_column+1)]
        colmap = match_labels(cl_g, cl_d); rowmap = match_labels(rl_g, rl_d)
        cnt = {}
        def bump(k):
            cnt[k] = cnt.get(k, 0) + 1
        # åˆ—/行的结构性缺口
        unmatched_cols_g = [c-1 for c in range(1, len(cl_g)+1) if c-1 not in colmap]
        unmatched_cols_d = [c-1 for c in range(1, len(cl_d)+1) if c-1 not in set(colmap.values())]
        unmatched_rows_g = [r-1 for r in range(1, len(rl_g)+1) if r-1 not in rowmap]
        unmatched_rows_d = [r-1 for r in range(1, len(rl_d)+1) if r-1 not in set(rowmap.values())]
        for c in unmatched_cols_g:
            if c < 2: continue
            if cl_g[c] == "(无表头列)":
                bump("已知设计(无表头草稿列)"); continue
            bump("已忽略(结构/设计)")
        for c in unmatched_cols_d:
            if c < 2: continue
            if cl_d[c] == "(无表头列)":
                bump("已知设计(无表头草稿列)"); continue
            bump("已忽略(结构/设计)")
        for r in unmatched_rows_g:
            if r < 4: continue
            rowb = "%s" % wg.cell(row=r+1, column=2).value
            if is_known_extra_row(sh, rowb, "程序"):
                bump("已知设计(母版新增行)"); continue
            bump("已忽略(结构/设计)")
        for r in unmatched_rows_d:
            if r < 4: continue
            if "当月块" in rl_d[r] or "累计块" in rl_d[r]:
                bump("已知设计(排名表当月/累计块)"); continue
            bump("已忽略(结构/设计)")
        for i, j in sorted(colmap.items()):
            if cl_g[i] == "(无表头列)" or cl_d[j] == "(无表头列)":
                bump("已知设计(无表头草稿列)"); continue
            for p, q in sorted(rowmap.items()):
                vg = wg.cell(row=p+1, column=i+1).value; vd = wd.cell(row=q+1, column=j+1).value
                if vg == vd: continue
                if vg is None and isinstance(vd, str) and vd.startswith("="): vd = None
                if vd is None and isinstance(vg, str) and vg.startswith("="): vg = None
                if (vg is None) and (vd is None): continue
                cat = None; note = ""
                tg, td = text_num(vg), text_num(vd)
                if num(vg) and num(vd):
                    diff = abs(vg - vd)
                    if diff <= 1e-6: continue
                    rel = diff / max(abs(vd), 1e-9)
                    if diff <= 0.01 or rel <= 1e-4: cat = "取整尾差(可忽略)"
                    else: cat = "实质数值差异"
                    note = "å·®=%.6g" % diff
                elif num(vg) and (vd is None):
                    cat = "已忽略(单边有值)"
                elif num(vd) and (vg is None):
                    cat = "已忽略(单边有值)"
                elif tg is not None and num(vd) and abs(tg - vd) <= 1e-9:
                    cat = "文本型数字(可忽略)"; note = "手工为文本'%s'" % vg
                elif td is not None and num(vg) and abs(td - vg) <= 1e-9:
                    cat = "文本型数字(可忽略)"; note = "程序为文本'%s'" % vd
                elif isinstance(vg, str) and isinstance(vd, str):
                    cat = "文本不同"; note = "程序'%s' / æ‰‹å·¥'%s'" % (vg[:18], vd[:18])
                elif isinstance(vg, str) and vg.startswith("#") :
                    cat = "错误值(程序)"; note = vg
                elif isinstance(vd, str) and vd.startswith("#"):
                    cat = "错误值(手工)"; note = vd
                elif (num(vg) and isinstance(vd, str)) or (num(vd) and isinstance(vg, str)):
                    cat = "需处理(非数值文本)"; note = "程序=%s æ‰‹å·¥=%s" % (str(vg)[:14], str(vd)[:14])
                else:
                    cat = "其它"; note = "程序=%s æ‰‹å·¥=%s" % (str(vg)[:14], str(vd)[:14])
                if cat:
                    bump(cat)
                    rows_out.append([sh, "%s%d" % (get_column_letter(i+1), p+1), rl_g[p][:38], cl_g[i][:18], cat,
                                     ("" if vg is None else str(vg)[:20]), ("" if vd is None else str(vd)[:20]), note,
                                     "%s%d" % (get_column_letter(j+1), q+1)])
        per_sheet.append((sh, cnt))
    # è¾“出 CSV
    csv = prefix + ".csv"
    with io.open(csv, "w", encoding="utf-8-sig", newline="") as f:
        f.write("页签,生成件单元格,行标签,列表头,类别,生成件值,手工值,备注,手工单元格\n")
        for x in rows_out:
            if x[4] not in ACTION: continue
            f.write(",".join('"%s"' % str(v).replace('"', "'") for v in x) + "\n")
    # è¾“出 MD
    md = prefix + ".md"
    with io.open(md, "w", encoding="utf-8", newline="\n") as f:
        f.write("# æ±‡æ€»å¤§è¡¨å·®å¼‚明细（生成件 vs æ‰‹å·¥å®šç¨¿ï¼‰\n\n")
        f.write("- ç”Ÿæˆä»¶ï¼š`%s`\n- æ‰‹å·¥å®šç¨¿ï¼š`%s`\n- æ¯”对时间：%s\n- æ˜Žç»†æ•°æ®ï¼š`%s`\n\n" % (gen, dgf, datetime.datetime.now().strftime("%Y-%m-%d %H:%M"), os.path.basename(csv)))
        f.write("## é€é¡µæ±‡æ€»\n\n| é¡µç­¾ | " + " | ".join(cats[:7]) + " |\n|---|" + "---|"*7 + "\n")
        for sh, cnt in per_sheet:
            f.write("| %s | %s |\n" % (sh, " | ".join(str(cnt.get(c, 0)) for c in cats[:7])))
        f.write("\n## éœ€å¤„理差异（全部，含原因）\n\n")
        subs = [x for x in rows_out if x[4] in ACTION and x[4] != "文本不同"]
        if not subs: f.write("（无）\n")
        for x in subs[:300]:
            f.write("- **%s** %s [%s] ç”Ÿæˆä»¶=%s æ‰‹å·¥=%s%s\n" % (x[0], x[1], x[2], x[5], x[6],
                    ("（原因：%s）" % reason_of(x)) if reason_of(x) else ""))
        f.write("\n## æ ‡é¢˜/表头措辞差异\n\n")
        tt = [x for x in rows_out if x[4] == "文本不同"]
        if not tt: f.write("（无）\n")
        for x in tt[:50]:
            f.write("- %s %s [%s] ç”Ÿæˆä»¶=%s æ‰‹å·¥=%s\n" % (x[0], x[1], x[2], x[5], x[6]))
        f.write("\n## å·²æŒ‰å£å¾„忽略（仅计数，明细见 CSV ä¹‹å¤–不列出）\n\n| é¡µç­¾ | " + " | ".join(IGNORE) + " |\n|---|" + "---|"*len(IGNORE) + "\n")
        for sh, cnt in per_sheet:
            f.write("| %s | %s |\n" % (sh, " | ".join(str(cnt.get(c, 0)) for c in IGNORE)))
    print("已输出:", md, "|", csv, "| æ˜Žç»†æ¡æ•°:", len(rows_out))
    for sh, cnt in per_sheet:
        if cnt: print("   %-12s %s" % (sh, dict(cnt)))

if __name__ == "__main__":
    main(sys.argv[1], sys.argv[2], sys.argv[3])