SqlCopy

Tool .NET 9 CLI pentru replicare selectiva a bazelor de date SQL Server. Cazul principal de utilizare: baze de date remote de 100GB-2TB din care ai nevoie local doar de cateva GB - toate obiectele programatice (proceduri, view-uri, functii, triggere), toate structurile de tabele, dar date doar din tabele de interes.

Caracteristici

• Pur managed - Dapper + Microsoft.Data.SqlClient + sys.* catalog views (fara dependinte native SMO)
• Full async - toate operatiile pe IO sunt asincrone
• Paralelism pe niveluri FK - tabelele independente se transfera simultan, ordinea constrangerilor este garantata
• AOT/trimming friendly - cod managed, fara reflection masiv
• 4 comenzi: transfer (direct), script (genereaza .sql), list (inventory rapid), inventory (manifest editabil)
• Filtrare flexibila: wildcard si regex, separat pe tabele vs. obiecte programatice
• Manifest workflow: marcare manuala data/structure/skip per tabel
• Praguri automate: structure-only peste un numar de randuri sau dimensiune in MB
• Skip blob columns: VARBINARY(MAX), NVARCHAR(MAX), XML etc.
• Toleranta la erori: configurabil (--continue-on-error)
• Autentificare: Windows si SQL Auth
• CLI: Spectre.Console cu progress bars
• Logging: Serilog cu fisiere zilnice

Instalare

# Ca dotnet tool global (recomandat)
dotnet tool install -g SqlCopy

# Sau build local
git clone <repository-url>
cd sql-copy
dotnet build
dotnet publish src/SqlCopy -c Release -o ./publish

Cerinte: .NET 9 SDK, acces la SQL Server (sursa si/sau destinatie).

Update / Versiune

# Update la cea mai recenta versiune
dotnet tool update -g SqlCopy

# Verifica versiunea instalata
sqlcopy --version

# Reinstalare fortata (daca update-ul nu prinde o versiune noua)
dotnet tool uninstall -g SqlCopy
dotnet tool install -g SqlCopy

Versiunile sunt publicate pe NuGet si urmaresc tag-urile git (vMAJOR.MINOR.PATCH) prin MinVer.

Quick start

# Transfer simplu (creeaza DB-ul la destinatie daca nu exista)
sqlcopy transfer -s (local) --source-db ProductionDB \
  -d localhost --dest-db DevDB --create-db

# Cu paralelism (4 tabele simultan per nivel FK)
sqlcopy transfer -s remote --source-db BigDB \
  -d localhost --dest-db LocalDB \
  --create-db --parallelism 4

# Doar tabelele de configurare cu date, restul structure-only
sqlcopy transfer -s remote --source-db BigDB \
  -d localhost --dest-db DevDB \
  --data-tables "dbo.Config,dbo.Users,dbo.Products" \
  --create-db

Workflow recomandat (manifest)

# 1. Genereaza un manifest cu toate tabelele si dimensiunile
sqlcopy inventory -s remote --source-db ProductionDB -o manifest.txt

# 2. Editeaza manifest.txt - marcheaza fiecare tabel cu data/structure/skip
#    Tabele mici/de configurare -> data
#    Tabele mari de istoric    -> structure
#    Tabele de audit/loguri    -> skip

# 3. Transfer cu manifestul
sqlcopy transfer -s remote --source-db ProductionDB \
  -d localhost --dest-db DevDB \
  --manifest manifest.txt --create-db

Documentatie completa

Vezi docs/MANUAL.md pentru:

• Toate optiunile fiecarei comenzi
• Reguli de prioritate intre filtre, manifest, data-tables, structure-only
• Workflow-uri tipice
• Note si limitari (feature-uri SQL Server neacoperite: temporal, partitioning, in-memory OLTP)
• Wildcard si regex patterns

Comenzi pe scurt

Fisier de parametri

Orice comanda poate citi argumente dintr-un fisier cu -@fisier:

sqlcopy transfer -@params.txt

params.txt:

# Comentariile incep cu #
-s remote
--source-db ProductionDB
-d localhost
--dest-db DevDB
--create-db
--parallelism 4
--manifest manifest.txt

Coduri de iesire

Logging

Fisiere log in logs/sqlcopy-YYYYMMDD.log cu detalii despre fiecare operatie, erori cu side (Source/Destination), si decizii de transfer per tabel.

Troubleshooting

Eroare de conexiune

Error: A network-related or instance-specific error occurred

Verifica: SQL Server pornit, firewall pe 1433, numele server-ului, credentialele.

Eroare de permisiuni

Error: The SELECT permission was denied on object

Utilizatorul are nevoie de minim db_datareader pe sursa si db_owner pe destinatie.

Timeout la transfer date

sqlcopy transfer ... --timeout 7200  # 2 ore

Constrangeri FK care esueaza la sfarsit

Daca ai cicluri sau dependente intre DB-uri, foloseste --no-fk pentru a sari complet peste constrangerile FK.

Licenta

MIT License