Los valores de una columna pueden ser muchos y podemos convertir esta lista a un conjunto (set) de valores para así quedarme con valores sin repetidos. Pero pandas trae una función built-in: unique.

Con pandas:

import pandas as pd

df = pd.DataFrame({'gender':[ 'f', 'm', 'f', 'm', 'i', 't', None]})

unique_values = df.gender.unique()

Una solunción sin unique de pandas:

import pandas as pd

df = pd.DataFrame({'gender':[ 'f', 'm', 'f', 'm', 'i', 't', None]})

unique_values = set(pd.gender)

Unique según la documentación de pandas es significativamente más rápido que el unique de numpy, pero incluye los NA.