Writing

Polars group_by·agg 사용법: 데이터 그룹화와 집계 #4

지난 글에서는 데이터를 필터링하고 정렬했습니다. 이번에는 포켓몬 데이터를 사용해 그룹별 통계를 계산하고, 조건부 집계와 윈도우 함수를 활용하는 방법을 살펴봅니다.

예제는 원문 작성 당시 Polars 1.5를 기준으로 작성했습니다. 다른 버전에서의 동작은 별도로 검증하지 않았습니다.

Pokemon.csv 다운로드

import polars as pl

df = pl.read_csv("Pokemon.csv")

1. 기본 그룹화

한 열을 기준으로 그룹화

group_by로 행을 묶고 agg로 각 그룹에 집계 함수를 적용합니다. 예를 들어 포켓몬의 첫 번째 타입별 개수를 계산할 수 있습니다.

type_counts = df.group_by("Type 1").agg(
    pl.len().alias("count")
)

print(type_counts.sort("count", descending=True).head(5))
shape: (5, 2)
┌─────────┬───────┐
│ Type 1  ┆ count │
│ ---     ┆ ---   │
│ str     ┆ u32   │
╞═════════╪═══════╡
│ Water   ┆ 112   │
│ Normal  ┆ 98    │
│ Grass   ┆ 70    │
│ Bug     ┆ 69    │
│ Psychic ┆ 57    │
└─────────┴───────┘

여러 열을 기준으로 그룹화

여러 기준을 함께 사용하면 세대와 타입처럼 더 세분화된 그룹을 만들 수 있습니다.

gen_type_stats = df.group_by(["Generation", "Type 1"]).agg([
    pl.col("HP").mean().alias("avg_HP"),
    pl.col("Attack").mean().alias("avg_Attack"),
])

print(gen_type_stats.head())

기준이 많아지면 그룹 수가 늘어나고 각 그룹의 표본이 작아질 수 있습니다. 기본적으로 그룹의 출력 순서는 보장되지 않으므로, 일정한 순서가 필요하면 결과를 정렬하세요.

2. 집계 함수 활용하기

기본 집계 함수

하나의 agg 안에서 개수, 평균, 합계, 표준편차와 최댓값 등 여러 통계를 함께 계산할 수 있습니다.

type_stats = df.group_by("Type 1").agg([
    pl.len().alias("count"),
    pl.col("HP").mean().alias("avg_HP"),
    pl.col("Attack").sum().alias("total_Attack"),
    pl.col("Defense").std().alias("std_Defense"),
    pl.col("Speed").max().alias("max_Speed"),
])

print(type_stats.head())

수치형 데이터에는 mean(), sum(), std(), var(), min(), max(), median(), quantile() 등을 사용할 수 있습니다. n_unique()는 고유값 수를, first()와 last()는 그룹의 첫 값과 마지막 값을 반환합니다. value_counts()는 값별 빈도를 구합니다. 행 수를 세는 pl.len()과 달리 count()는 결측값이 아닌 값을 셉니다.

조건부 집계

조건식의 합을 이용하면 조건을 만족하는 행의 수와 비율을 그룹별로 계산할 수 있습니다.

type_hp_stats = df.group_by("Type 1").agg([
    pl.col("HP").count().alias("total"),
    (pl.col("HP") >= 100).sum().alias("high_hp_count"),
    ((pl.col("HP") >= 100).sum() / pl.col("HP").count() * 100)
        .alias("high_hp_ratio"),
])

print(type_hp_stats.sort("high_hp_ratio", descending=True))

3. 윈도우 함수와 여러 열의 집계

윈도우 함수 활용하기

over를 사용하면 그룹별로 계산하면서 원래 행을 유지할 수 있습니다. 다음 예제는 각 타입 안에서 공격력의 순위를 매깁니다.

ranked_pokemon = df.with_columns([
    pl.col("Attack").rank()
    .over("Type 1")
    .alias("attack_rank_in_type")
])

print(ranked_pokemon.select(
    ["Name", "Type 1", "Attack", "attack_rank_in_type"]
).head())
shape: (5, 4)
┌───────────────────────┬────────┬────────┬─────────────────────┐
│ Name                  ┆ Type 1 ┆ Attack ┆ attack_rank_in_type │
│ ---                   ┆ ---    ┆ ---    ┆ ---                 │
│ str                   ┆ str    ┆ i64    ┆ f64                 │
╞═══════════════════════╪════════╪════════╪═════════════════════╡
│ Bulbasaur             ┆ Grass  ┆ 49     ┆ 13.5                │
│ Ivysaur               ┆ Grass  ┆ 62     ┆ 27.0                │
│ Venusaur              ┆ Grass  ┆ 82     ┆ 43.5                │
│ VenusaurMega Venusaur ┆ Grass  ┆ 100    ┆ 58.5                │
│ Charmander            ┆ Fire   ┆ 52     ┆ 7.5                 │
└───────────────────────┴────────┴────────┴─────────────────────┘

rank()의 기본 순서는 오름차순입니다. 공격력이 높은 포켓몬에 더 낮은 순위 번호를 주려면 rank(descending=True)를 사용하세요.

여러 열을 한 번에 집계

여러 열을 선택해 같은 집계 함수를 적용하고, name.suffix로 결과 열 이름에 접미사를 붙일 수 있습니다.

type_stats_all = df.group_by("Type 1").agg([
    pl.col(["HP", "Attack", "Defense", "Speed"]).mean().name.suffix("_avg"),
    pl.col(["HP", "Attack", "Defense", "Speed"]).std().name.suffix("_std"),
])

print(type_stats_all.head())

4. 그룹화와 집계 팁

필요한 열만 선택하기

집계에 필요한 열을 먼저 선택하면 불필요한 데이터를 줄일 수 있습니다.

efficient_group_by = (
    df.select(["Type 1", "HP", "Attack"])
    .group_by("Type 1")
    .agg([
        pl.col("HP").mean(),
        pl.col("Attack").mean(),
    ])
)
print(efficient_group_by)

지연 평가 사용하기

lazy()로 쿼리를 구성하고 collect()에서 실행할 수 있습니다. 아래 예제는 이미 읽어온 DataFrame에서 시작합니다. 파일을 읽는 단계부터 지연 평가하려면 pl.scan_csv()를 사용할 수 있습니다.

lazy_group_by = (
    df.lazy()
    .group_by("Type 1")
    .agg([
        pl.col("HP").mean(),
        pl.col("Attack").mean(),
    ])
    .collect()
)
print(lazy_group_by)

복잡한 집계 표현식은 함수로 분리하고, 결과 열에 alias로 알아보기 쉬운 이름을 붙이면 코드를 읽기 편합니다.

그룹 순서 유지하기

기본 group_by는 그룹의 출력 순서를 보장하지 않습니다. 그룹이 처음 등장한 순서를 유지하려면 maintain_order=True를 사용하세요. 순서 유지에는 성능 비용이 들 수 있습니다.

basic_group = df.group_by("Type 1").agg([
    pl.col("HP").mean().alias("avg_HP")
])
print("기본 그룹화:")
print(basic_group.head())

ordered_group = df.group_by("Type 1", maintain_order=True).agg([
    pl.col("HP").mean().alias("avg_HP")
])
print("순서 유지한 그룹화:")
print(ordered_group.head())

다음 글에서는 데이터 결합과 재구조화를 살펴봅니다.

참고자료