Gawk/Beispiele
awk ist eine Programmiersprache zur Veränderung von Textdateien
Einführung
Erstellt von Alfred V. Aho, Peter J. Weinberger und Brian W. Kernighan
- Basiert auf der Programmiersprache C
Kann aufgerufen werden in
- der Shell-Konsole
- Shell-Scripten
- awk-Scripten
awk wartet auf Daten von Eingabeströmen aus Dateien oder aus der Standardeingabe
- awk arbeitet Zeile für Zeile bis zum Dateiende
Syntax & Aufbau
Allgemeine Syntax:
$ awk 'Programm' Datei oder $ awk -f Programmdatei Datei
Der Aufbau eines awk-Programms:
- Optionaler Anfang(BEGIN), der einmalig ausgeführt wird
- Hauptprogramm aus Anweisungen, das für jede Eingabezeile erneut ausgeführt wird
- Optionales Ende(END), der einmalig ausgeführt wird
Eine Anweisung wiederum:
- hat ein optionales Muster, meist Reguläre Ausdrücke
- gefolgt von einem Kommandoblock in geschweiften Klammern
/Muster/ {Kommando;
Kommando;
...
}
Ein Beispiel:
BEGIN{
print "Zählen von Eingabezeilen";
zaehler=0;
}
{ zaehler++; }
END{
print "Ergebnis: " zaehler;
}
Anwendungsfälle
Beispieldatei
1. Hier ist ein Text mit Inhalt A Eine Zeile 2. Tim & Struppi A Was war das? B Aktion und Reaktion 3. Reisig schmeckt am Besten A Nein, stimmt nicht B Doch !
Einzeiler
Anzahl der Zeilen ausgeben
$ awk 'END {print NR}'
10
Zeile fünf ausgeben
$ awk 'NR == 5' ---------------------- A Was war das?
Zeilen ab Zeile sechs ausgeben
$ awk 'NR > 6' ---------------------- 3. Reisig schmeckt am Besten A Nein, stimmt nicht B Doch !
Zeilen mit mehr als vier Feldern ausgeben
$ awk 'NF > 4' ---------------------- 1. Hier ist ein Text mit Inhalt 3. Reisig schmeckt am Besten
Zeilen nummerieren
$ awk '{print NR, $0}'
-----------------------
1 1. Hier ist ein Text mit Inhalt
2 A Eine Zeile
3
4 2. Tim & Struppi
5 A Was war das?
6 B Aktion und Reaktion
7
8 3. Reisig schmeckt am Besten
9 A Nein, stimmt nicht
10 B Doch !
Weitere Beispiele
| awk '{print $2, $3}' my.txt | 2. und 3. Feld durch Leerzeichen getrennt drucken |
| awk '{print $2 "," $3}' my.txt | 2. und 3. Feld durch Komma getrennt ausdrucken |
| awk '$2 >100' my.txt | Zeilen ausgeben, in denen das zweite Feld größer als 100 ist |
| awk '$1==100' my.txt | Zeilen ausgeben, in denen das erste Feld gleich 100 ist |
| awk '/error/' my.txt | Zeilen ausgeben, die das Wort „Fehler“ enthalten |
| awk '{sum=$1+$2; print sum]' my.txt | Erstes und zweites Feld jeder Zeile summieren |
| awk '{print NR, $0}' my.txt | Füge jeder Zeile eine Zeilennummer hinzu und drucke sie aus. |
| awk '[print NF}' my.tzt | Die Anzahl der Felder in jeder Zeile ausdrucken |
| awk '{print $1, $NF}' my.txt | Erstes und letztes Feld drucken |
| awk '{s+=$2; c++} END {print s/c}' my.txt | Durchschnitt des zweiten Feldes berechnen |
| awk '$1>100 {s+=$2; c++} END {print s/c}' my.txt | Durchschnitt mit Bedingung |
| awk '{print toupper($2)}' my.txt | Zweites Feld in Großbuchstaben drucken |
| awk '$1=="ERR" {print $2}' my.log | Drucke das zweite Feld, wenn das erste Feld „ERR“ ist. |
| awk '{print "Name:", $1, "Age:", $2}' my.txt | formatierter Druck |
| awk -F"," {print $2, $3}' my.csv | Verwenden Sie das Komma „,“ als Feldtrennzeichen. |
| awk '{print substr($2,1,3)} my.txt | Teilzeichenfolge aus dem 2. Feld extrahieren |
| awk function sq(x) {return x*x} {print sq($2)}' my.txt | eine Funktion definieren |
| awk '!seen[$1]++' my.txt | Zeilen anhand des ersten Feldes aus der Ferne duplizieren |
| awk 'length($2) > 3' my.txt | Zeilen ausgeben, in denen die Länge des zweiten Feldes > 3 ist |
| awk '$1 ~ /ERR/' my.log | Zeilen ausgeben, in denen das erste Feld dem Muster entspricht |
| awk '$1 ~- /ERR/' my.log | Zeilen ausgeben, in denen das erste Feld nicht mit dem Muster übereinstimmt |
| awk '$1 ~ /*[0-9]+$/' my.log | Zeilen ausgeben, in denen das erste Feld ein numerischer Wert ist |
Operatoren
- Identisch mit C
- Wichtigster Operator: "~" prüft Übereinstimmung mit Regulären Ausdrücken
- "==" vergleicht nur mit Konstanten und Variablen
Wichtige Variablen
gawk arbeitet unter der Annahme, dass die Eingabe strukturiert ist
- Jedes Feld ist eine Zeichenfolge, die durch Feldseperatoren (meistens Leerzeichen oder Tabulator) begrenzt ist
- $ ist der Feldoperator
- $1 ist das erste Feld.
- $0 steht für die gesamte Zeile, die gerade bearbeitet wird.
$ awk '{print $1}'
-----------------------
1.
A
2.
A
B
3.
A
B
- $NF steht für das letzte Feld
$(NF-1) gibt das vorletzte Feld wieder. (Achtung: Bei Leerzeilen führt es zu Laufzeitfehler)
$ awk '{print $(NF-1)}'
-----------------------
mit
Eine
awk: run time error: negative field index $-1
FILENAME="beispiel2" FNR=3 NR=3
Richtig angewandt:
{
if($0 ~ /^$/)
{
print $0
}
else
{
print $(NF-1)
}
}
mit Eine & war und am stimmt Doch
Weitere Anwendungen
Zählt Dateien im Verzeichnis usr und berechnet den Speicherbedarf:
$ ls -l /usr | awk '{ ++files; sum+=$5 } END { print sum, "Bytes in", files, "Dateien"; }'
------------------------
139264 Bytes in 12 Dateien
Aktueller Fall: Fragen und Antworten mit einer Nummer markieren, um so ihre Zugehörigkeit zu zeigen:
{
if($1 ~ /^[0-9]./)
{
++row;
}
print row, $0;
}
Ähnlich wie der davor, nur das die Fragen und Antworten jeweils in eigene Dateien gepackt werden. Desweiteren werden auch die Zahlen und Buchstaben vor den Fragen bzw. Antworten entfernt:
{
if($1 ~ /^[0-9]./)
{
++row;
$1 = "";
print row, $0 >> "fragen.txt";
}else
{
$1 = "";
print row, $0 >> "antworten.txt";
}
}