SAS2PYTHON - Fehlende Werte aus vorangegangenen Daten ersetzen


Posted on 10 May 2023 at 15:29 by Stefan Weingaertner

In der Episode 57 unseres heutigen Blog-Beitrags zeigen wir, wie man in SAS/BASE und in Pandas fehlende Werte auf Basis vorangegangener Werte ersetzen kann (Forward Fill).


Ein Pandas DataFrame ist einem SAS Data Set sehr ähnlich - es handelt sich um eine zweidimensionale tabellarische Datenstruktur mit gelabelten Spalten, die von unterschiedlichem Datentyp sein können. Wie in diesem Beitrag gezeigt wird, kann nahezu jede Operation, die mit dem SAS Data Step auf einen Datensatz angewendet werden kann, auch in Pandas ausgeführt werden.

Input: Unsere Input-Tabelle besitzt 5 Datensätze und besteht aus den Spalten "Sepal_Length", "Sepal_Width", "Petal_Length", "Petal_Width" und "Class". In der Spalte "Sepal_Length" sind fehlende Werte vorhanden.



                      
Sepal_Length  Sepal_Width  Petal_Length  Petal_Width           Class
         4.7          3.2           1.3          0.2     Iris-setosa
           .          3.1           1.2          0.2     Iris-setosa
           .          3.6           1.4          0.2     Iris-setosa                
         6.7          3.0           5.0          2.3  Iris-virginica
         6.6          3.1           5.1          2.2  Iris-virginica


Output: Wir ersetzen alle fehlenden in der Spalte "Sepal_Length" durch die Werte der vorangegangenen Daten.

Da manche Operationen in SAS und Python unterschiedlich ausgeführt werden, generieren die beiden Programmiersprachen auch leicht unterschiedliche Ausgabe-Formate. Wir haben daher die Outputs mit dem dazugehörigen Code für SAS und Python separat aufgeführt.



SAS-Code: Die Ersetzung der fehlenden Werte mittels "Forward Fill" würde man für ein SAS Dataset "df" wie folgt umsetzen.


                      
data df (drop = Sepal_Length_temp);
  set df;
    retain Sepal_Length_temp;
     if Sepal_Length ^= . then Sepal_Length_temp = Sepal_Length; 
     else Sepal_Length = Sepal_Length_temp;
run;


SAS-Output: Das Ergebnis sieht in SAS wie folgt aus, die fehlenden Werte werden durch den vorhergehenden Wert ersetzt.


                      
Obs  Sepal_Length  Sepal_Width  Petal_Length  Petal_Width           Class
  1           4.7          3.2           1.3          0.2     Iris-setosa
  2           4.7          3.1           1.2          0.2     Iris-setosa
  3           4.7          3.6           1.4          0.2     Iris-setosa           
  4           6.7          3.0           5.0          2.3  Iris-virginica
  5           6.6          3.1           5.1          2.2  Iris-virginica



Python-Code: In Python würde man die Ersetzung der fehlenden Werte für ein Pandas Dataframe "df" mit der folgenden Syntax umsetzen.


                      
import pandas as pd

df['Sepal_Length'] = df['Sepal_Length'].ffill()


Python-Output: Das Ergebnis sieht in Pandas wie folgt aus, sämtliche fehlenden Werte werden durch den vorhergehenden Wert ersetzt.


                      
     Sepal_Length  Sepal_Width  Petal_Length  Petal_Width           Class
  0           4.7          3.2           1.3          0.2     Iris-setosa
  1           4.7          3.1           1.2          0.2     Iris-setosa
  2           4.7          3.6           1.4          0.2     Iris-setosa           
  3           6.7          3.0           5.0          2.3  Iris-virginica
  4           6.6          3.1           5.1          2.2  Iris-virginica



Wenn Sie die nächste Episode nicht abwarten möchten, können Sie auch gerne unser umfangreiches Training Python für SAS Professionals buchen.

Informationen zu den nächsten Kursterminen und zu unserem gesamten Trainingsangebot finden Sie hier.