SAS2PYTHON - Datentransformation auf Basis gruppierter Werte


Posted on 6 June 2023 at 15:12 by Stefan Weingaertner

In der Episode 61 unseres heutigen Blog-Beitrags zeigen wir, wie man in SAS/BASE und in Pandas Berechnungen und Transformationen in Kombination mit gruppierten Werten durchführen kann.


Ein Pandas DataFrame ist einem SAS Data Set sehr ähnlich - es handelt sich um eine zweidimensionale tabellarische Datenstruktur mit gelabelten Spalten, die von unterschiedlichem Datentyp sein können. Wie in diesem Beitrag gezeigt wird, kann nahezu jede Operation, die mit dem SAS Data Step auf einen Datensatz angewendet werden kann, auch in Pandas ausgeführt werden.

Input: Unsere Input-Tabelle besitzt 6 Datensätze und besteht aus den Spalten "Name", "Department", "Position" und "Age".


                      
                 Name  Department   Position  Age 
         Vincent Vega       Sales  Executive   49
    Marsellus Wallace   Marketing  Executive   52
       Butch Coolidge          HR  Executive   45
          Honey Boney          IT  Team Lead   42
 Esmeralda Villalobos  Purchasing  Team Lead   32
      Jules Winnfield     Finance  Team Lead   39


Output: Wir fügen der Tabelle eine neue Spalte hinzu, die wie folgt berechnet wird:

  • Berechnung der Formel "Alter" - "Durchschnittsalter pro Gruppe Position": Es wird pro Position das durchschnittliche Alter berechnet, welches dann vom individuellen Alter subtrahiert wird.

Da manche Operationen in SAS und Python unterschiedlich ausgeführt werden, generieren die beiden Programmiersprachen auch leicht unterschiedlichen Ausgabe-Formate. Wir haben daher die Outputs mit dem dazugehörigen Code für SAS und Python separat aufgeführt.



SAS-Code: In SAS würde man die Berechnung einer neuen Spalte "Age Difference", welches die Abweichung des Alters "Age" vom durchschnittlichen Alter pro Position berechnet, wie folgt umsetzen.


                      
proc means data = df mean noprint;
 var Age;
 class Position;
 output out = group;
run;

data group (keep = Position Age);
 set group;
 where  _stat_ = 'MEAN' and Position ^= '';
run;

proc sort data = group (rename = (Age = Mean_Age));
 by Position;
run;

proc sort data = df;
 by Position;
run;

data df;
 merge df group;
 Age_Difference = Age - Mean_Age;
 by Position;
run;


SAS-Output: Das Ergebnis sieht in SAS wie folgt aus, dem SAS Data Set wird eine neue Spalte "Age_Difference" hinzugefügt.


                      
Obs                  Name  Department   Position  Age  Age Difference
  1          Vincent Vega       Sales  Executive   49        0.333333
  2     Marsellus Wallace   Marketing  Executive   52        3.333333
  3        Butch Coolidge          HR  Executive   45       -3.666667
  4           Honey Boney          IT  Team Lead   42        4.333333
  5  Esmeralda Villalobos  Purchasing  Team Lead   32       -5.666667
  6       Jules Winnfield     Finance  Team Lead   39        1.333333



Python-Code: In Python würde man die Berechnung einer neuen Spalte "Age Difference", welches die Abweichung des Alters "Age" vom durchschnittlichen Alter pro Position berechnet, wie folgt umsetzen.


                      
import pandas as pd

group = df.groupby('Position')['Age']
df['Age Difference'] = df['Age'] - group.transform('mean')


Python-Output: Das Ergebnis sieht in Pandas wie folgt aus, dem Pandas Dataframe wird eine neue Spalte "Age Difference" hinzugefügt.


                      
                   Name  Department   Position  Age  Age Difference
0          Vincent Vega       Sales  Executive   49        0.333333
1     Marsellus Wallace   Marketing  Executive   52        3.333333
2        Butch Coolidge          HR  Executive   45       -3.666667
3           Honey Boney          IT  Team Lead   42        4.333333
4  Esmeralda Villalobos  Purchasing  Team Lead   32       -5.666667
5       Jules Winnfield     Finance  Team Lead   39        1.333333



Wenn Sie die nächste Episode nicht abwarten möchten, können Sie auch gerne unser umfangreiches Training Python für SAS Professionals buchen.

Informationen zu den nächsten Kursterminen und zu unserem gesamten Trainingsangebot finden Sie hier.