Performance Tuning, wenn Transaktionssicherheit nicht so wichtig ist Wenn man sehr viele Datensätze in eine SQL Server-Datenbank importieren will oder viele Änderungen daran vornehmen muss, aber das verwendete Werkzeug macht dies als viele, viele kleine Transaktionen, Zeile für Zeile, dann gibt es einen einfachen Weg, diesen Vorgang zu beschleunigen: die „delayed durability“, auf deutsch etwas…
Weiterlesen
Versionierung in den Systemtabellen der SSISDB Hatten Sie das auch schon mal? Sie wollen ein Projekt in die SSISDB deployen und bekommen eine kryptische Fehlermeldung a’ la „Failed to deploy the project. Try again later. (Microsoft SQL Server, Error: 27118)” Mir ist das jetzt schon zum zweiten Mal in einem Jahr passiert und ich bin…
Weiterlesen
Heute geht es um das Thema „Concurrency“ in der Azure Data Factory. Und das passt wunderbar zu unserem letzten Beitrag, der von der automatischen Verarbeitung neu angelieferter Files im Azure Blob Storage handelte.
Weiterlesen
Der ganze Prozess findet ausschließlich in der Cloud statt – nichts mehr mit der guten alten on-premise Technologie! Und all das kann sogar noch skaliert werden. In der obigen Abbildung haben wir die Concurrency der Pipeline auf 10 gestellt, d.h. bis zu 10 Instanzen der Pipeline können parallel laufen, wenn in kurzer Zeit eine größere Anzahl Files eintrifft. In der alten Welt hätten wir in klassischen SSIS-Paketen mit for-each-loop Containern die Files irgendwie gelesen und weiterverarbeitet.
Weiterlesen
Motivation Der Schaden durch Produktpiraterie wird allein in Deutschland auf mehr als 50 Mrd. Euro taxiert, weltweit betrug er für das Jahr 2016 ca. 338 Mrd. Euro. In Deutschland ist mittlerweile schätzungsweise jedes zehnte Unternehmen betroffen. (Quelle: IW Köln, Institut der deutschen Wirtschaft). Nicht berücksichtigt sind hier die Schäden durch Umweltzerstörung (siehe weiter unten im…
Weiterlesen
Wischmopp statt Saugroboter Wer seine ETL-Projekte in die Azure-Cloud migrieren, aber nicht auf die erprobten „old-school“ SSIS-Pakete verzichten möchte, hat bekanntlich die Möglichkeit, SSIS auf Azure zu benutzen. Azure besteht hierbei – ganz wie gewohnt – auf eine Datenbank für die SSISDB, und auf die Paketbereitstellung in einen gleichnamigen Integration-Services-Katalog. Dieser Katalog hat zwei ganz…
Weiterlesen