Excel・CSVを毎回手で結合していませんか？Pythonで1分にする方法（重複削除・列名ゆれ対応）

• 1

pip install pandas openpyxl

• 1
• 2
• 3
• 4

注文日,氏名,メール,商品,数量
2026/10/01,山田 太郎,taro@example.com,ノートA5,2
2026/10/02,佐藤 花子,hanako@example.com,ペン3本セット,1
2026/10/03,鈴木 一郎,ichiro@example.com,ノートA5,3

• 1
• 2
• 3
• 4

日付,お名前,Email,商品名,個数
2026-10-01,山田 太郎, Taro@Example.com ,ノートA5,2
2026-10-04,高橋 次郎,jiro@example.com,付箋セット,5
2026-10-05,伊藤 美咲,misaki@example.com,ペン3本セット,2

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40
• 41
• 42
• 43
• 44
• 45
• 46
• 47
• 48
• 49
• 50
• 51
• 52
• 53
• 54
• 55
• 56
• 57
• 58
• 59
• 60
• 61
• 62
• 63
• 64
• 65
• 66
• 67
• 68
• 69
• 70
• 71
• 72
• 73
• 74
• 75
• 76
• 77
• 78
• 79
• 80
• 81
• 82
• 83
• 84
• 85
• 86
• 87
• 88
• 89
• 90
• 91
• 92
• 93
• 94
• 95
• 96
• 97
• 98
• 99
• 100
• 101

"""data フォルダ内の CSV / Excel を1つにまとめ、重複を除いて保存するスクリプト"""

import unicodedata
from pathlib import Path

import pandas as pd

# ===== 設定 =====
INPUT_DIR = Path("data")           # まとめたいファイルを入れるフォルダ
OUTPUT_FILE = Path("merged_orders.csv")

# 列名ゆれの対応表：「正しい列名: [ゆれの候補]」
COLUMN_ALIASES = {
    "注文日": ["注文日", "日付", "購入日"],
    "氏名": ["氏名", "お名前", "名前"],
    "メール": ["メール", "メールアドレス", "email", "e-mail"],
    "商品": ["商品", "商品名"],
    "数量": ["数量", "個数", "数"],
}
# 重複とみなす条件（この3列がすべて同じ行は重複）
DUPLICATE_KEYS = ["注文日", "メール", "商品"]
# =================

# 「ゆれの候補 → 正しい列名」の逆引き表を作る
ALIAS_TO_STANDARD = {
    alias.lower(): standard
    for standard, aliases in COLUMN_ALIASES.items()
    for alias in aliases
}


def clean_name(name) -> str:
    """列名の全角・半角や前後の空白をそろえる"""
    return unicodedata.normalize("NFKC", str(name)).strip().lower()


def read_file(path: Path) -> pd.DataFrame:
    """CSV（UTF-8 / Shift_JIS）とExcelを読み込む"""
    if path.suffix.lower() == ".csv":
        for encoding in ("utf-8-sig", "cp932"):
            try:
                return pd.read_csv(path, encoding=encoding)
            except UnicodeDecodeError:
                continue
        raise ValueError(f"{path.name}: 文字コードを判別できませんでした")
    return pd.read_excel(path)  # 先頭のシートを読み込む


def load_one(path: Path) -> pd.DataFrame:
    df = read_file(path)

    # 1) 列名をそろえる
    df.columns = [ALIAS_TO_STANDARD.get(clean_name(c), str(c).strip()) for c in df.columns]

    # 2) 必要な列が足りなければ、ファイル名つきで知らせる
    missing = [c for c in COLUMN_ALIASES if c not in df.columns]
    if missing:
        raise ValueError(f"{path.name}: 列が見つかりません {missing} / 実際の列: {list(df.columns)}")

    # 3) 値をそろえる（日付・メールの表記ゆれ）
    df["注文日"] = pd.to_datetime(df["注文日"], errors="coerce")
    df["メール"] = df["メール"].astype(str).str.strip().str.lower()
    df["氏名"] = df["氏名"].astype(str).str.strip()

    df = df[list(COLUMN_ALIASES)].copy()
    df["元ファイル"] = path.name
    return df


def main() -> None:
    files = sorted(
        p for p in INPUT_DIR.iterdir()
        if p.suffix.lower() in {".csv", ".xlsx"} and not p.name.startswith(("~$", "."))
    )
    if not files:
        print(f"{INPUT_DIR} にCSV/Excelがありません")
        return

    frames = [load_one(p) for p in files]
    for p, f in zip(files, frames):
        print(f"読み込み：{p.name}（{len(f)}行）")

    merged = pd.concat(frames, ignore_index=True)
    before = len(merged)

    # 日付が読めなかった行は確認用に知らせる
    bad_dates = merged["注文日"].isna().sum()

    # 重複を除く（最初に出てきた行を残す）
    merged = merged.drop_duplicates(subset=DUPLICATE_KEYS, keep="first")
    merged = merged.sort_values("注文日", kind="stable").reset_index(drop=True)

    merged.to_csv(OUTPUT_FILE, index=False, encoding="utf-8-sig")  # Excelで開いても文字化けしない
    print(f"--- 結合：{before}行 → 重複を除いて {len(merged)}行（{before - len(merged)}行削除） ---")
    if bad_dates:
        print(f"※日付を読み取れなかった行が {bad_dates} 行あります")
    print(f"保存しました：{OUTPUT_FILE}")


if __name__ == "__main__":
    main()

• 1

python merge_orders.py

• 1
• 2
• 3
• 4
• 5

読み込み：orders_osaka.csv（3行）
読み込み：orders_tokyo.csv（3行）
読み込み：orders_web.xlsx（3行）
--- 結合：9行 → 重複を除いて 6行（3行削除） ---
保存しました：merged_orders.csv