TestTool/Datenimport

Aus Foxwiki

Eine Textdatei soll so umgewandelt werden, dass sie später als CSV-Datei weitergenutzt werden kann.

Textdatei

  • Textdatei besteht aus Fragen und Antworten
  • Vor jeder Frage ist eine Nummer
  • Vor jeder Antwort steht ein Buchstabe(A-F)
  • Jede Frage hat eine unterschiedliche Anzahl an Antworten

Beispielsweise:

1. Wie lautet der Text zu dieser Frage?
A Keine Ahnung
B Frag mal Google
C Ähm...
D Ich nehm den Publikumsjoker
2. Was halten Sie zum Thema IT-Sicherheit?
A Was ist IT-Sicherheit?
B Finger weg
C Ich kenn mich nicht aus
D Das ist doch dieser Alien
E Fragen wir mal Google
F Windows ist total toll
3. Was ist besser: Windows oder Linux?
A Windows
B Linux
C Beides
D Keins
E Kenn ich nicht
...
...

Ziel

  • Datei soll in zwei Dateien geteilt werden
  • Fragen auf eine Datei, Antworten auf eine andere Datei
  • Vor den Fragen und Antworten soll sich eine Nummer befinden, um ihre Zugehörigkeit später zu bestimmen
  • Die Datei sollen so formatiert werden, dass sie sich leicht als CSV-Dateien in die Datenbank übertragen können
fragen.txt antworten.txt
1 Wie lautet der Text zu dieser Frage?
2 Was halten Sie von IT-SIcherheit?
3 Was ist besser: Windows und Linux?
...
1 Keine Ahnung
1 Frag mal Google
1 Ähm...
1 Ich nehm den Publikumsjoker
2 Was ist IT-Sicherheit?
2 Finger weg
2 Ich kenn mich nicht aus
2 Das ist doch dieser Alien
2 Fragen wir mal Google
2 Windows ist total toll
3 Windows
3 Linux
3 Beides
3 Keins
3 Kenn ich nicht
...

Vorgehen

  • Einfaches Rausnehmen und Ersetzen durch Reguläre Ausdrücke reicht nicht aus
  • Es muss eine Prozedur erstellt werden
  • Empfehlung: AWK, eine Programmiersprache zur Umwandlung von Textdateien

AWK-Script

  • Erster Entwurf:
{
  if($1 ~ /[0-9]./)
  {
    row++;
  }
  print row, $0;
}

Führt eine Nummer vorne ein, die Frage und deren Antworten nummeriert:

1 1. Wie lautet der Text zu dieser Frage?
1 A Keine Ahnung
1 B Frag mal Google
1 C Ähm...
1 D Ich nimm den Publikumsjoker
2 2. Was halten Sie zum Thema IT-Sicherheit?
2 A Was ist IT-Sicherheit?
2 B Finger weg
2 C Ich kenn mich nicht aus
2 D Das ist doch dieser Alien
2 E Fragen wir mal Google
2 F Windows ist total toll
3 3. Was ist besser: Windows oder Linux?
3 A Windows
3 B Linux
3 C Beides
3 D Keins
3 E Kenn ich nicht
...
...
  • Zweiter Entwurf:
{
  if($1 ~ /[0-9]./)
  {
    row++;
    $1 = "";
    print row $0 >> "fragen.txt";
  }
  else
  {
    $1 = "";
    print row, $0 >> "antworten.txt";
  }
}

Führt eine Nummer vorne ein, die Frage und deren Antworten nummeriert; trennt Fragen und Antworten und packt sie in ihre jeweiligen Dateien ab. Das Ergebnis sind die beiden Dateien von oben


Konventionen zum Aufbau einer CSV-Datei

  • Trennzeichen von Datensätzen wird ein Zeichen verwendet. (Häufig ist es der Zeilenumbruch)
  • Trennzeichen von Datenfeldern(Spalten) wird ebenfalls ein Zeichen verwendet. (Meistens das Komma, aber auch das Semikolon)
  • Feldbegrenzerzeichen benutzt man um Sonderzeichen benutzen zu können. (Genommen wird das Anführungszeichen")
  • Erster Datensatz kann ein Kopfdatensatz sein, der die Spaltennamen definiert.
  • Jeder Datensatz soll die gleiche Anzahl Spalten enthalten.

Bsp:

ID;Fragetext;Frageart;Schwierigkeit;Lernwoche
1;Wie lautet der Text zu dieser Frage?;MC;Einfach;2
2;Was halten Sie zum Thema IT-SIcherheit?;MC;Schwer;2
3;Was ist besser:Windows oder Linux?;MC;Einfach;2

Importieren der CSV-Datei

Vorgehensweise in phpMyAdmin:

  1. Tabelle auswählen und auf "Importieren" klicken
  2. Format CSV auswählen
  3. CSV-Datei hochladen
  4. Formatspezifische Optionen ändern
  5. Auf OK klicken

Bei dem Import muss jedoch beachtet werden:

  • Die zu importierende CSV muss dieselbe Spaltenanzahl haben, wie die SQL-Tabelle
  • Leere Felder in der CSV müssen mit NULL gekennzeichnet sein
  • Ebenfalls mit NULL gekennzeichnet müssen Felder, die durch AUTO-INKREMENT gefüllt werden

Bsp.

ID;F_ID;Antworttext;richtig
NULL;1;Keine Ahnung;NULL
NULL;1;Frag Google;NULL
NULL;1;Ähm...;NULL
NULL;2;Finger weg;NULL
NULL;2;;NULL
....

Wird in der SQL-Datenbank so aussehen

ID;F_ID;Antworttext;richtig
1;1;Keine Ahnung;NULL
2;1;Frag Gooogle;NULL
3;1;Ähm...;NULL
4;2;Finger weg;NULL
5;2;Kenn ich mich nicht aus;NULL
....

Vorgehensweise mit mysqlimport:

mysqlimport [options] db_name textdatei
  • Importiert eine Datei in eine Tabelle
  • Name der Datei muss exakt heißen wie der Tabellenname
  • Mit --fields-terminated-by und --fields-enclosed-by werden Spaltentrenner und Maskierungen angegeben

Bsp:

mysqlimport --fields-terminated-by=';' c1test1 antworten.txt
c1test1.antworten: Records: 191 Deleted: 0 Skipped: 0 Warnings: 0