Heute geht es um das Thema „Concurrency“ in der Azure Data Factory. Und das passt wunderbar zu unserem letzten Beitrag, der von der automatischen Verarbeitung neu angelieferter Files im Azure Blob Storage handelte.
Weiterlesen
Der ganze Prozess findet ausschließlich in der Cloud statt – nichts mehr mit der guten alten on-premise Technologie! Und all das kann sogar noch skaliert werden. In der obigen Abbildung haben wir die Concurrency der Pipeline auf 10 gestellt, d.h. bis zu 10 Instanzen der Pipeline können parallel laufen, wenn in kurzer Zeit eine größere Anzahl Files eintrifft. In der alten Welt hätten wir in klassischen SSIS-Paketen mit for-each-loop Containern die Files irgendwie gelesen und weiterverarbeitet.
Weiterlesen
Wer sich mit Azure Data Factory beschäftigt, der wird sehr schnell auf die Problematik stoßen, die sich aus der Konfiguration einer Pipeline ergibt.
Weiterlesen