TestTool/Datenimport

Eine Textdatei soll so umgewandelt werden, dass sie später als CSV-Datei weitergenutzt werden kann.

Textdatei

• Textdatei besteht aus Fragen und Antworten
• Vor jeder Frage ist eine Nummer
• Vor jeder Antwort steht ein Buchstabe(A-F)
• Jede Frage hat eine unterschiedliche Anzahl an Antworten

Beispielsweise:

1. Wie wird in der Bash eine Variable gesetzt?
A echo VARIABLE=Wert
B echo $VARIABLE=Wert
C export VARIABLE=Wert
D $VARIABLE=Wert
E VARIABLE=Wert
F export $VARIABLE=Wert
2. Wandeln sie die binäre IP-Adresse 1000 0011.0110 1011.0000 0011.0001 1000 in dezimaler Form um: 
A 131.107.4.24
B 131.107.3.24
C 130.107.3.24
D 131.107.3.66
E 120.107.3.24
3. Wie wird die IP-Adresse 165.18.218.66 binär dargestellt?
A 1010 0101.0001 0010.1010 1100.0100 1101
B 0101 1010.0001 0010.1101 1010.0100 1101
C 1010 0101.0001 0010.1101 1010.0100 1101
D 1010 0101.0010 0001.1101 1010.0100 0010
E 1010 0101.0001 0010.1101 1010.1101 0100
...

Ziel

• Datei soll in zwei Dateien geteilt werden
• Fragen auf eine Datei, Antworten auf eine andere Datei
• Vor den Fragen und Antworten soll sich eine Nummer befinden, um ihre Zugehörigkeit später zu bestimmen
• Die Datei sollen so formatiert werden, dass sie sich leicht als CSV-Dateien in die Datenbank übertragen können

fragen.txt

antworten.txt

1 Wie wird in der Bash eine Variable gesetzt? 2 Wandeln sie die binäre IP-Adresse 1000 0011.0110 1011.0000 0011.0001 1000 in dezimaler Form um: 3 Wie wird die IP-Adresse 165.18.218.66 binär dargestellt? ...

1 echo VARIABLE=Wert 1 echo $VARIABLE=Wert 1 export VARIABLE=Wert 1 $VARIABLE=Wert 1 VARIABLE=Wert 1 export $VARIABLE=Wert 2 131.107.4.24 2 131.107.3.24 2 130.107.3.24 2 131.107.3.66 2 120.107.3.24 3 1010 0101.0001 0010.1010 1100.0100 1101 3 0101 1010.0001 0010.1101 1010.0100 1101 3 1010 0101.0001 0010.1101 1010.0100 1101 3 1010 0101.0010 0001.1101 1010.0100 0010 3 1010 0101.0001 0010.1101 1010.1101 0100 ...

Vorgehen

• Einfaches Rausnehmen und Ersetzen durch Reguläre Ausdrücke reicht nicht aus
• Es muss eine Prozedur erstellt werden
• Empfehlung: AWK, eine Programmiersprache zur Umwandlung von Textdateien

AWK-Script

• Erster Entwurf:

{
  if($1 ~ /[0-9]./)
  {
    row++;
  }
  print row, $0;
}

Führt eine Nummer vorne ein, die Frage und deren Antworten nummeriert:

1 1. Wie wird in der Bash eine Variable gesetzt?
1 A echo VARIABLE=Wert
1 B echo $VARIABLE=Wert
1 C export VARIABLE=Wert
1 D $VARIABLE=Wert
1 E VARIABLE=Wert
1 F export $VARIABLE=Wert
2 2. Wandeln sie die binäre IP-Adresse 1000 0011.0110 1011.0000 0011.0001 1000 in dezimaler Form um: 
2 A 131.107.4.24
2 B 131.107.3.24
2 C 130.107.3.24
2 D 131.107.3.66
2 E 120.107.3.24
3 3. Wie wird die IP-Adresse 165.18.218.66 binär dargestellt?
3 A 1010 0101.0001 0010.1010 1100.0100 1101
3 B 0101 1010.0001 0010.1101 1010.0100 1101
3 C 1010 0101.0001 0010.1101 1010.0100 1101
3 D 1010 0101.0010 0001.1101 1010.0100 0010
3 E 1010 0101.0001 0010.1101 1010.1101 0100
...

• Zweiter Entwurf:

{
  if($1 ~ /[0-9]./)
  {
    row++;
    $1 = "";
    print row $0 >> "fragen.txt";
  }
  else
  {
    $1 = "";
    print row, $0 >> "antworten.txt";
  }
}

Führt eine Nummer vorne ein, die Frage und deren Antworten nummeriert; trennt Fragen und Antworten und packt sie in ihre jeweiligen Dateien ab. Das Ergebnis sind die beiden Dateien von oben

Konventionen zum Aufbau einer CSV-Datei

• Trennzeichen von Datensätzen wird ein Zeichen verwendet. (Häufig ist es der Zeilenumbruch)
• Trennzeichen von Datenfeldern(Spalten) wird ebenfalls ein Zeichen verwendet. (Meistens das Komma, aber auch das Semikolon)
• Feldbegrenzerzeichen benutzt man um Sonderzeichen benutzen zu können. (Genommen wird das Anführungszeichen")
• Erster Datensatz kann ein Kopfdatensatz sein, der die Spaltennamen definiert.
• Jeder Datensatz soll die gleiche Anzahl Spalten enthalten.

Bsp:

ID;Fragetext;Frageart;Schwierigkeit;Lernwoche
1;Wie wird in der Bash eine Variable gesetzt?;MC;Einfach;2
2;Wandeln sie die binäre IP-Adresse 1000 0011.0110 1011.0000 0011.0001 1000 in dezimaler Form um:;MC;Schwer;2
3;Wie wird die IP-Adresse 165.18.218.66 binär dargestellt?;MC;Einfach;2

Importieren der CSV-Datei

Vorgehensweise in phpMyAdmin:

1. Tabelle auswählen und auf "Importieren" klicken
2. Format CSV auswählen
3. CSV-Datei hochladen
4. Formatspezifische Optionen ändern
5. Auf OK klicken

Bei dem Import muss jedoch beachtet werden:

• Die zu importierende CSV muss dieselbe Spaltenanzahl haben, wie die SQL-Tabelle
• Leere Felder in der CSV müssen mit NULL gekennzeichnet sein
• Ebenfalls mit NULL gekennzeichnet müssen Felder, die durch AUTO-INKREMENT gefüllt werden

Bsp.

ID;F_ID;Antworttext;richtig
NULL;1;echo VARIABLE=Wert;NULL
NULL;1;echo $VARIABLE=Wert;NULL
NULL;1;export VARIABLE=Wert;NULL
NULL;1;$VARIABLE=Wert;NULL
NULL;1;VARIABLE=Wert;NULL
NULL;1;export $VARIABLE=Wert;NULL
NULL;2;131.107.4.24;NULL
NULL;2;131.107.3.24;NULL
....

Wird in der SQL-Datenbank so aussehen

1;1;echo VARIABLE=Wert;NULL
2;1;echo $VARIABLE=Wert;NULL
3;1;export VARIABLE=Wert;NULL
4;1;$VARIABLE=Wert;NULL
5;1;VARIABLE=Wert;NULL
6;1;export $VARIABLE=Wert;NULL
7;2;131.107.4.24;NULL
8;2;131.107.3.24;NULL
....

---

Vorgehensweise mit mysqlimport:

mysqlimport [options] db_name textdatei

• Importiert eine Datei in eine Tabelle
• Name der Datei muss exakt heißen wie der Tabellenname
• Mit --fields-terminated-by und --fields-enclosed-by werden Spaltentrenner und Maskierungen angegeben

Bsp:

mysqlimport --fields-terminated-by=';' c1test1 antworten.txt
c1test1.antworten: Records: 191 Deleted: 0 Skipped: 0 Warnings: 0