SAS2PYTHON - Fehlende Werte erkennen
Posted on 4 April 2023 at 10:30 by Stefan Weingaertner
In der Episode 52 unseres heutigen Blog-Beitrags zeigen wir, wie man in SAS/BASE und in Pandas fehlende Werte identifizieren kann, egal ob es sich um numerische oder nicht-numerische Werte handelt.
Ein Pandas DataFrame ist einem SAS Data Set sehr ähnlich - es handelt sich um eine zweidimensionale tabellarische Datenstruktur mit gelabelten Spalten, die von unterschiedlichem Datentyp sein können. Wie in diesem Beitrag gezeigt wird, kann nahezu jede Operation, die mit dem SAS Data Step auf einen Datensatz angewendet werden kann, auch in Pandas ausgeführt werden.
Input: Unsere Input-Tabelle besitzt 5 Datensätze und besteht aus den Spalten "Sepal_Length", "Sepal_Width", "Petal_Length", "Petal_Width" und "Class". In den Spalten "Sepal_Length", "Sepal_Width", "Petal_Length" und "Class" sind fehlende Werte vorhanden.
Sepal_Length Sepal_Width Petal_Length Petal_Width Class
4.7 3.2 1.3 0.2 Iris-setosa
. 3.1 . 0.2 Iris-setosa
5.0 3.6 1.4 0.2
6.7 . . 2.3 Iris-virginica
6.6 3.1 5.1 2.2 Iris-virginica
Output: Mit den nachfolgenden Statements soll pro Spalte geprüft werden, wie viele fehlende Werte in der Tabelle vorhanden sind.
Da manche Operationen in SAS und Python unterschiedlich ausgeführt werden, generieren die beiden Programmiersprachen auch leicht unterschiedlichen Ausgabe-Formate. Wir haben daher die Outputs mit dem dazugehörigen Code für SAS und Python separat aufgeführt.
SAS-Code: Die Überprüfung des SAS Dataset "df" auf fehlende Werte kann man in SAS für numerische Werte mit PROC MEANS durchführen.
/* Validierung von numerischen Werten auf fehlende Werte */
proc means data=df
NMISS;
run;
SAS-Output: Das Output sieht in SAS wie folgt aus.
The MEANS Procedure
N
Variable Miss
-------------------------
Sepal_Length 1
Sepal_Width 1
Petal_Length 2
Petal_Width 0
SAS-Code: Die Überprüfung des SAS Dataset "df" auf fehlende Werte für numerische und nicht-numerische Werte könnte man in SAS mit PROC FREQ durchführen.
/* Erstellung eines Formats um fehlende und nicht-fehlende Werte zu labeln */
proc format;
value $missfmt ' '='Missing' other='Not Missing';
value missfmt . ='Missing' other='Not Missing';
run;
proc freq data=df;
format _CHAR_ $missfmt.;
tables _CHAR_ / missing missprint nocum nopercent;
format _NUMERIC_ missfmt.;
tables _NUMERIC_ / missing missprint nocum nopercent;
run;
Der Output sieht für das PROC FREQ Statement in SAS wie folgt aus.
Sepal_Length Frequency
-------------------------
Missing 0
Not Missing 5
Sepal_Width Frequency
-------------------------
Missing 1
Not Missing 4
Petal_Length Frequency
-------------------------
Missing 1
Not Missing 4
Petal_Width Frequency
-------------------------
Missing 2
Not Missing 3
Class Frequency
-------------------------
Missing 1
Not Missing 4
Python-Code: In Python würde man die Überprüfung von fehlenden Werten für numerische und nicht-numerische Werte in einem Pandas Dataframe "df" mit der folgenden Syntax umsetzen.
import pandas as pd
df.isnull().sum()
Python-Output: Das Ergebnis sieht in Pandas wie folgt aus, für jede Spalte wird die Anzahl der fehlenden Werte ausgegeben.
Sepal_Length 1
Sepal_Width 1
Petal_Length 2
Petal_Width 0
Class 1
dtype: int64
Wenn Sie die nächste Episode nicht abwarten möchten, können Sie auch gerne unser umfangreiches Training Python für SAS Professionals buchen.
Informationen zu den nächsten Kursterminen und zu unserem gesamten Trainingsangebot finden Sie hier.