TestTool/Datenimport

Eine Textdatei soll so umgewandelt werden, dass sie später als CSV-Datei weitergenutzt werden kann.

Textdatei

• Textdatei besteht aus Fragen und Antworten
• Vor jeder Frage ist eine Nummer
• Vor jeder Antwort steht ein Buchstabe(A-F)
• Jede Frage hat eine unterschiedliche Anzahl an Antworten

Beispielsweise:

1. Wie lautet der Text zu dieser Frage?
A Keine Ahnung
B Frag mal Google
C Ähm...
D Ich nehm den Publikumsjoker
2. Was halten Sie zum Thema IT-Sicherheit?
A Was ist IT-Sicherheit?
B Finger weg
C Ich kenn mich nicht aus
D Das ist doch dieser Alien
E Fragen wir mal Google
F Windows ist total toll
3. Was ist besser: Windows oder Linux?
A Windows
B Linux
C Beides
D Keins
E Kenn ich nicht
...
...

Ziel

• Datei soll in zwei Dateien geteilt werden
• Fragen auf eine Datei, Antworten auf eine andere Datei
• Vor den Fragen und Antworten soll sich eine Nummer befinden, um ihre Zugehörigkeit später zu bestimmen
• Die Datei sollen so formatiert werden, dass sie sich leicht als CSV-Dateien in die Datenbank übertragen können

fragen.txt	antworten.txt
1 Wie lautet der Text zu dieser Frage? 2 Was halten Sie von IT-SIcherheit? 3 Was ist besser: Windows und Linux? ...	1 Keine Ahnung 1 Frag mal Google 1 Ähm... 1 Ich nehm den Publikumsjoker 2 Was ist IT-Sicherheit? 2 Finger weg 2 Ich kenn mich nicht aus 2 Das ist doch dieser Alien 2 Fragen wir mal Google 2 Windows ist total toll 3 Windows 3 Linux 3 Beides 3 Keins 3 Kenn ich nicht ...

Vorgehen

• Einfaches Rausnehmen und Ersetzen durch Reguläre Ausdrücke reicht nicht aus
• Es muss eine Prozedur erstellt werden
• Empfehlung: AWK, eine Programmiersprache zur Umwandlung von Textdateien

AWK-Script

• Erster Entwurf:

{
  if($1 ~ /[0-9]./)
  {
    row++;
  }
  print row, $0;
}

Führt eine Nummer vorne ein, die Frage und deren Antworten nummeriert:

1 1. Wie lautet der Text zu dieser Frage?
1 A Keine Ahnung
1 B Frag mal Google
1 C Ähm...
1 D Ich nimm den Publikumsjoker
2 2. Was halten Sie zum Thema IT-Sicherheit?
2 A Was ist IT-Sicherheit?
2 B Finger weg
2 C Ich kenn mich nicht aus
2 D Das ist doch dieser Alien
2 E Fragen wir mal Google
2 F Windows ist total toll
3 3. Was ist besser: Windows oder Linux?
3 A Windows
3 B Linux
3 C Beides
3 D Keins
3 E Kenn ich nicht
...
...

• Zweiter Entwurf:

{
  if($1 ~ /[0-9]./)
  {
    row++;
    $1 = "";
    print row $0 >> "fragen.txt";
  }
  else
  {
    $1 = "";
    print row, $0 >> "antworten.txt";
  }
}

Führt eine Nummer vorne ein, die Frage und deren Antworten nummeriert; trennt Fragen und Antworten und packt sie in ihre jeweiligen Dateien ab. Das Ergebnis sind die beiden Dateien von oben

Konventionen zum Aufbau einer CSV-Datei

• Trennzeichen von Datensätzen wird ein Zeichen verwendet. (Häufig ist es der Zeilenumbruch)
• Trennzeichen von Datenfeldern(Spalten) wird ebenfalls ein Zeichen verwendet. (Meistens das Komma, aber auch das Semikolon)
• Feldbegrenzerzeichen benutzt man um Sonderzeichen benutzen zu können. (Genommen wird das Anführungszeichen")
• Erster Datensatz kann ein Kopfdatensatz sein, der die Spaltennamen definiert.
• Jeder Datensatz soll die gleiche Anzahl Spalten enthalten.

Bsp:

ID;Fragetext;Frageart;Schwierigkeit;Lernwoche
1;Wie lautet der Text zu dieser Frage?;MC;Einfach;2
2;Was halten Sie zum Thema IT-SIcherheit?;MC;Schwer;2
3;Was ist besser:Windows oder Linux?;MC;Einfach;2

Importieren der CSV-Datei

Vorgehensweise in phpMyAdmin:

1. Tabelle auswählen und auf "Importieren" klicken
2. Format CSV auswählen
3. CSV-Datei hochladen
4. Formatspezifische Optionen ändern
5. Auf OK klicken

Bei dem Import muss jedoch beachtet werden:

• Die zu importierende CSV muss dieselbe Spaltenanzahl haben, wie die SQL-Tabelle
• Leere Felder in der CSV müssen mit NULL gekennzeichnet sein
• Ebenfalls mit NULL gekennzeichnet müssen Felder, die durch AUTO-INKREMENT gefüllt werden

Bsp.

ID;F_ID;Antworttext;richtig
NULL;1;Keine Ahnung;NULL
NULL;1;Frag Google;NULL
NULL;1;Ähm...;NULL
NULL;2;Finger weg;NULL
NULL;2;Kenn ich mich nicht aus;NULL
....

Wird in der SQL-Datenbank so aussehen

ID;F_ID;Antworttext;richtig
1;1;Keine Ahnung;NULL
2;1;Frag Gooogle;NULL
3;1;Ähm...;NULL
4;2;Finger weg;NULL
5;2;Kenn ich mich nicht aus;NULL
....

---

Vorgehensweise mit mysqlimport:

mysqlimport [options] db_name textdatei

• Importiert eine Datei in eine Tabelle
• Name der Datei muss exakt heißen wie der Tabellenname
• Mit --fields-terminated-by und --fields-enclosed-by werden Spaltentrenner und Maskierungen ermittelt

Bsp:

mysqlimport --fields-terminated-by=';' c1test1 antworten.txt
c1test1.antworten: Records: 191 Deleted: 0 Skipped: 0 Warnings: 0