TestTool/Datenimport

Eine Textdatei soll so umgewandelt werden, dass sie später als CSV-Datei weitergenutzt werden kann.

Textdatei

Textdatei besteht aus Fragen und Antworten
Vor jeder Frage ist eine Nummer
Vor jeder Antwort steht ein Buchstabe(A-F)
Jede Frage hat eine unterschiedliche Anzahl an Antworten

Beispielsweise:

1. Wie lautet der Text zu dieser Frage?
A Keine Ahnung
B Frag mal Google
C Ähm...
D Ich nehm den Publikumsjoker
2. Was halten Sie zum Thema IT-Sicherheit?
A Was ist IT-Sicherheit?
B Finger weg
C Ich kenn mich nicht aus
D Das ist doch dieser Alien
E Fragen wir mal Google
F Windows ist total toll
3. Was ist besser: Windows oder Linux?
A Windows
B Linux
C Beides
D Keins
E Kenn ich nicht
...
...

Ziel

Datei soll in zwei Dateien geteilt werden
Fragen auf eine Datei, Antworten auf eine andere Datei
Vor den Fragen und Antworten soll sich eine Nummer befinden, um ihre Zugehörigkeit später zu bestimmen
Die Datei sollen so formatiert werden, dass sie sich leicht als CSV-Dateien in die Datenbank übertragen können

fragen.txt

antworten.txt

1 Wie lautet der Text zu dieser Frage?
2 Was halten Sie von IT-SIcherheit?
3 Was ist besser: Windows und Linux?
...

1 Keine Ahnung
1 Frag mal Google
1 Ähm...
1 Ich nehm den Publikumsjoker
2 Was ist IT-Sicherheit?
2 Finger weg
2 Ich kenn mich nicht aus
2 Das ist doch dieser Alien
2 Fragen wir mal Google
2 Windows ist total toll
3 Windows
3 Linux
3 Beides
3 Keins
3 Kenn ich nicht
...

Vorgehen

Einfaches Rausnehmen und Ersetzen durch Reguläre Ausdrücke reicht nicht aus
Es muss eine Prozedur erstellt werden
Empfehlung: AWK, eine Programmiersprache zur Umwandlung von Textdateien

AWK-Script

Erster Entwurf:

{
  if($1 ~ /[0-9]./)
  {
    row++;
  }
  print row, $0;
}

Führt eine Nummer vorne ein, die Frage und deren Antworten nummeriert:

1 1. Wie lautet der Text zu dieser Frage?
1 A Keine Ahnung
1 B Frag mal Google
1 C Ähm...
1 D Ich nimm den Publikumsjoker
2 2. Was halten Sie zum Thema IT-Sicherheit?
2 A Was ist IT-Sicherheit?
2 B Finger weg
2 C Ich kenn mich nicht aus
2 D Das ist doch dieser Alien
2 E Fragen wir mal Google
2 F Windows ist total toll
3 3. Was ist besser: Windows oder Linux?
3 A Windows
3 B Linux
3 C Beides
3 D Keins
3 E Kenn ich nicht
...
...

Zweiter Entwurf:

{
  if($1 ~ /[0-9]./)
  {
    row++;
    $1 = "";
    print row $0 >> "fragen.txt";
  }
  else
  {
    $1 = "";
    print row, $0 >> "antworten.txt";
  }
}

Führt eine Nummer vorne ein, die Frage und deren Antworten nummeriert; trennt Fragen und Antworten und packt sie in ihre jeweiligen Dateien ab. Das Ergebnis sind die beiden Dateien von oben

Konventionen zum Aufbau einer CSV-Datei

Trennzeichen von Datensätzen wird ein Zeichen verwendet. (Häufig ist es der Zeilenumbruch)
Trennzeichen von Datenfeldern(Spalten) wird ebenfalls ein Zeichen verwendet. (Meistens das Komma, aber auch das Semikolon)
Feldbegrenzerzeichen benutzt man um Sonderzeichen benutzen zu können. (Genommen wird das Anführungszeichen")
Erster Datensatz kann ein Kopfdatensatz sein, der die Spaltennamen definiert.
Jeder Datensatz soll die gleiche Anzahl Spalten enthalten.

Bsp:

ID;Fragetext;Frageart;Schwierigkeit;Lernwoche
1;Wie lautet der Text zu dieser Frage?;MC;Einfach;2
2;Was halten Sie zum Thema IT-SIcherheit?;MC;Schwer;2
3;Was ist besser:Windows oder Linux?;MC;Einfach;2

Importieren der CSV-Datei

Vorgehensweise in phpMyAdmin:

Tabelle auswählen und auf "Importieren" klicken
Format CSV auswählen
CSV-Datei hochladen
Formatspezifische Optionen ändern
Auf OK klicken

Bei dem Import muss jedoch beachtet werden:

Die zu importierende CSV muss dieselbe Spaltenanzahl haben, wie die SQL-Tabelle
Leere Felder in der CSV müssen mit NULL gekennzeichnet sein
Ebenfalls mit NULL gekennzeichnet müssen Felder, die durch AUTO-INKREMENT gefüllt werden

Bsp.

ID;F_ID;Antworttext;richtig
NULL;1;Keine Ahnung;NULL
NULL;1;Frag Google;NULL
NULL;1;Ähm...;NULL
NULL;2;Finger weg;NULL
NULL;2;;NULL
....

Wird in der SQL-Datenbank so aussehen

ID;F_ID;Antworttext;richtig
1;1;Keine Ahnung;NULL
2;1;Frag Gooogle;NULL
3;1;Ähm...;NULL
4;2;Finger weg;NULL
5;2;Kenn ich mich nicht aus;NULL
....

Vorgehensweise mit mysqlimport:

mysqlimport [options] db_name textdatei

Importiert eine Datei in eine Tabelle
Name der Datei muss exakt heißen wie der Tabellenname
Mit --fields-terminated-by und --fields-enclosed-by werden Spaltentrenner und Maskierungen angegeben

Bsp:

mysqlimport --fields-terminated-by=';' c1test1 antworten.txt
c1test1.antworten: Records: 191 Deleted: 0 Skipped: 0 Warnings: 0