یادداشت‌های بک‌اند ۷: چندمستأجری روی PostgreSQL با EF Core و RLS

یادداشت‌های بک‌اند ۷: چندمستأجری روی PostgreSQL با EF Core و RLS

بیشتر باگ‌ها را می‌شود با یک عذرخواهی جبران کرد. نشان دادن دادهٔ یک مشتری به مشتری دیگر از آن‌ها نیست. در یک سامانهٔ چندمستأجری،‏ جداسازی مستأجرها (tenant isolation) ویژگی‌ای است که باید در بدترین روز هم برقرار بماند،‏ در کدی که تازه‌واردترین برنامه‌نویس نوشته،‏ و در مسیری که هیچ‌کس بازبینی‌اش نکرده.

در پلتفرم چندمستأجری‌ای که در حال ساختنش هستم،‏ هر سرویس پایگاه‌دادهٔ PostgreSQL خودش را دارد و مستأجرها جدول‌ها را با هم شریک‌اند و با ستون tenant_id از هم جدا می‌شوند. جداسازی دو بار اعمال می‌شود: یک بار در EF Core با فیلترهای سراسری کوئری،‏ و یک بار در PostgreSQL با امنیت سطح سطر. این یادداشت توضیح می‌دهد چرا یک نگهبان کافی نیست،‏ نگهبان دوم چطور راه‌اندازی می‌شود،‏ و کدام جزئیات connection pooling تعیین می‌کنند که واقعاً کار کند یا نه.

جدول‌های مشترک،‏ آگاهانه

سه چیدمان رایج وجود دارد. پایگاه‌داده برای هر مستأجر قوی‌ترین جداسازی و پشتیبان‌گیری جداگانه را می‌دهد،‏ اما هر تغییر schema به حلقه‌ای روی صدها پایگاه‌داده تبدیل می‌شود و connection poolها چند برابر می‌شوند. schema برای هر مستأجر حد وسط است و بیشتر همان هزینهٔ عملیاتی را دارد. جدول‌های مشترک با ستون مستأجر ارزان‌ترین گزینه برای اجرا و مهاجرت‌اند و پرخطرترین،‏ چون هر کوئری باید فیلتر را به خاطر داشته باشد.

برای پلتفرمی با تعداد زیادی مستأجر کوچک،‏ جدول‌های مشترک از نظر عملیاتی برنده‌اند،‏ به شرطی که خطر با طراحی مهار شود،‏ نه با انضباط. دو نگهبان برای همین‌اند.

مستأجر را یک بار تعیین کنید و در صورت تردید،‏ رد کنید

همهٔ آنچه در ادامه می‌آید به دانستن مستأجر فعلی وابسته است،‏ پس تعیین آن عمداً سخت‌گیرانه است. مستأجر از توکن فراخوانندهٔ احراز هویت‌شده می‌آید،‏ هرگز از یک مقدار پیش‌فرض و هرگز فقط از یک هدر:

  • درخواست احراز هویت‌نشده مستأجری ندارد و رد می‌شود.
  • توکن باید دقیقاً یک claim مستأجر داشته باشد. نبودن آن،‏ یا دو claim (حتی با مقدار یکسان)،‏ یعنی رد.
  • اگر کلاینت هدر انتخاب مستأجر را هم بفرستد،‏ باید دقیقاً با claim یکی باشد.
  • فهرست مستأجرها باید مستأجر را فعال اعلام کند. مستأجر تعلیق‌شده یک خطای روشن می‌گیرد،‏ نه یک صفحهٔ خالی.

هر رد یک پاسخ ProblemDetails با کد خطای ثابت است. مستأجر پذیرفته‌شده برای بقیهٔ درخواست،‏ از طریق سرویس scoped به نام ICurrentTenant،‏ مستأجر فعلی می‌شود. اندپوینت‌هایی که واقعاً به مستأجر نیاز ندارند،‏ مثل بررسی سلامت،‏ صریحاً با یک attribute از این قاعده خارج می‌شوند؛‏ پس فراموش کردن بی‌خطر است و خارج شدن در بازبینی دیده می‌شود.

نگهبان اول: فیلترهای سراسری کوئری در EF Core

فیلتر سراسری کوئری گزاره‌ای است که EF Core به همهٔ کوئری‌های LINQ یک نوع موجودیت اضافه می‌کند. نکتهٔ مهم این است که فیلتری که یک پراپرتی از DbContext را می‌خواند،‏ برای هر نمونهٔ context جداگانه ارزیابی می‌شود: مدل یک بار ساخته و کش می‌شود،‏ اما مقدار مستأجر پارامتری است که از همان contextی خوانده می‌شود که کوئری را اجرا می‌کند.

public interface ITenantScoped { string? TenantId { get; } }    // also read by the interceptor below

public sealed class AppDbContext(DbContextOptions<AppDbContext> options, ICurrentTenant tenant)
    : DbContext(options), ITenantScoped
{
    public string? TenantId => tenant.Id;          // read for every query, per context

    public DbSet<Employee> Employees => Set<Employee>();

    protected override void OnModelCreating(ModelBuilder modelBuilder)
    {
        // EF Core 10: a named filter, so other filters (soft delete) can sit beside it
        modelBuilder.Entity<Employee>()
            .HasQueryFilter("Tenant", e => e.TenantId == TenantId);

        // EF Core 8 and 9 allow one unnamed filter per entity type:
        // modelBuilder.Entity<Employee>().HasQueryFilter(e => e.TenantId == TenantId);
    }
}

در عمل برای هر موجودیت فیلتر را دستی نمی‌نویسید. پلتفرم آن را به‌صورت قراردادی روی هر موجودیتی اعمال می‌کند که واسط نشانه‌گذار ITenantOwned را پیاده کرده باشد،‏ پس نمی‌شود جدول تازه‌ای بدون فیلتر اضافه کرد. یک interceptor ذخیره‌سازی تصویر را کامل می‌کند: سطر جدیدِ متعلق به مستأجر که مستأجری ندارد،‏ مستأجر فعلی را می‌گیرد،‏ و سطری که به مستأجر دیگری تعلق دارد،‏ یا نوشتنی که اصلاً مستأجر فعلی ندارد،‏ پیش از ارسال هر SQLی رد می‌شود. وقتی مستأجر معلوم نیست،‏ فیلتر با null مقایسه می‌کند و با هیچ سطری جور نمی‌شود؛‏ پس پیش‌فرض نتیجهٔ خالی است،‏ نه همه‌چیز.

این نگهبان مسیر عادی را خیلی خوب پوشش می‌دهد،‏ اما همه‌چیز را نه:

  • IgnoreQueryFilters() خاموشش می‌کند،‏ گاهی به دلیل درست و گاهی با کپی و چسباندن. فیلترهای نام‌دار در EF Core 10 کمک می‌کنند،‏ چون می‌توانید فقط فیلتر حذف نرم را نادیده بگیرید و فیلتر مستأجر را نگه دارید.
  • SQL خامی که از یک مجموعهٔ موجودیت عبور نمی‌کند،‏ مثل Database.SqlQuery<T> یا ExecuteSql،‏ فیلتری نمی‌گیرد.
  • هر چیزی که EF Core نیست فیلتری نمی‌گیرد: یک کوئری Dapper،‏ یک ابزار گزارش‌گیری،‏ یک اصلاح داده که کسی دستی در psql اجرا کرده.

نگهبان دوم: امنیت سطح سطر

امنیت سطح سطر (RLS) در PostgreSQL سیاست‌هایی را به جدول می‌چسباند و پایگاه‌داده آن‌ها را به هر کوئری روی آن جدول اضافه می‌کند،‏ فرقی نمی‌کند چه کسی کوئری را نوشته باشد. سیاست باید مستأجر فعلی را بداند،‏ پس برنامه آن را در یک تنظیم سفارشی نشست به نام app.tenant_id می‌گذارد و سیاست از آن‌جا می‌خواندش:

ALTER TABLE employees ENABLE ROW LEVEL SECURITY;
ALTER TABLE employees FORCE ROW LEVEL SECURITY;      -- the service connects as the owner

CREATE POLICY tenant_isolation ON employees
    USING      (tenant_id = NULLIF(current_setting('app.tenant_id', true), ''))
    WITH CHECK (tenant_id = NULLIF(current_setting('app.tenant_id', true), ''));

هر خط دلیلی دارد:

  • FORCE. مالک جدول معمولاً از سیاست‌های آن معاف است. سرویس‌ها معمولاً با همان نقشی وصل می‌شوند که مالک جدول‌هایشان است،‏ چون همان نقش مهاجرت‌ها را اجرا می‌کند؛‏ پس بدون FORCE ROW LEVEL SECURITY سیاست روی همه اعمال می‌شد جز خود برنامه.
  • بدون superuser. superuserها و نقش‌هایی که BYPASSRLS دارند از همهٔ سیاست‌ها عبور می‌کنند،‏ چه FORCE باشد چه نباشد. نقش سرویس نباید هیچ‌کدام از این دو ویژگی را داشته باشد و یک بررسی هنگام راه‌اندازی همین را تأیید می‌کند.
  • USING و WITH CHECK. USING سطرهایی را فیلتر می‌کند که یک دستور می‌تواند ببیند،‏ به‌روز کند یا حذف کند. WITH CHECK درج‌ها و به‌روزرسانی‌هایی را رد می‌کند که سطری برای مستأجر دیگر بسازند؛‏ PostgreSQL با خطا جواب می‌دهد،‏ نه با رد شدن بی‌صدا.
  • current_setting(..., true) و NULLIF. آرگومان دوم باعث می‌شود اگر تنظیم وجود نداشت،‏ به‌جای خطا null برگردد. تنظیمی که قبلاً در همین نشست مقدار گرفته و بعد بازنشانی شده،‏ ممکن است به‌صورت رشتهٔ خالی برگردد که NULLIF آن را به null تبدیل می‌کند. null با هیچ چیز برابر نیست،‏ پس اتصالی که مستأجر ندارد هیچ سطری نمی‌بیند و هیچ سطری نمی‌تواند بنویسد.

یک محدودیت را بهتر است پیش از آن‌که غافلگیرتان کند بدانید. بررسی‌های یکتایی و کلید خارجی از RLS عبور می‌کنند؛‏ پس یک ایندکس یکتا فقط روی email به مستأجر الف می‌فهماند که مستأجر ب همین نشانی را دارد. قیدهای یکتا در جدول‌های متعلق به مستأجر باید tenant_id را هم شامل شوند.

گذاشتن مستأجر روی اتصال

درستی سیاست دقیقاً به اندازهٔ درستی مقدار app.tenant_id روی اتصالی است که کوئری را اجرا می‌کند،‏ و اتصال‌ها pool می‌شوند. اتصال با هر وضعیت نشستی که داشته به pool برمی‌گردد؛‏ Npgsql به‌طور پیش‌فرض هنگام استفادهٔ دوباره این وضعیت را بازنشانی می‌کند،‏ اما گزینهٔ No Reset On Close که گاهی برای کارایی روشن می‌شود،‏ این بازنشانی را خاموش می‌کند. درستی نباید به هیچ‌کدام از این تنظیم‌ها وابسته باشد؛‏ پس پلتفرم هر بار که EF Core اتصالی باز می‌کند مقدار را بازنویسی می‌کند و وقتی مستأجری در کار نیست،‏ مقدار خالی می‌گذارد:

public sealed class TenantSessionInterceptor : DbConnectionInterceptor
{
    public override async Task ConnectionOpenedAsync(DbConnection connection,
        ConnectionEndEventData eventData, CancellationToken cancellationToken = default)
    {
        await using var command = SetTenant(connection, eventData.Context);
        await command.ExecuteNonQueryAsync(cancellationToken);
    }

    public override void ConnectionOpened(DbConnection connection, ConnectionEndEventData eventData)
    {
        using var command = SetTenant(connection, eventData.Context);
        command.ExecuteNonQuery();
    }

    private static DbCommand SetTenant(DbConnection connection, DbContext? context)
    {
        var command = connection.CreateCommand();
        command.CommandText = "SELECT set_config('app.tenant_id', @tenant, false)";
        var tenant = command.CreateParameter();
        tenant.ParameterName = "tenant";
        tenant.Value = (context as ITenantScoped)?.TenantId ?? "";   // empty matches no row
        command.Parameters.Add(tenant);
        return command;
    }
}

// registration: options.UseNpgsql(dataSource).AddInterceptors(new TenantSessionInterceptor());

این interceptor هیچ وضعیتی از خودش نگه نمی‌دارد و مستأجر را از contextی می‌خواند که اتصال را باز کرده،‏ پس یک نمونه از آن برای همهٔ contextها کافی است. به‌جای SET از set_config استفاده شده،‏ چون SET پارامتر bind نمی‌پذیرد و ساختنش با چسباندن رشته‌ها خطر تزریق دارد.

بخش ظریف ماجرا آرگومان سوم set_config است. با true،‏ تنظیم فقط تا پایان تراکنش جاری می‌ماند،‏ مثل SET LOCAL. این امن‌ترین دامنه است،‏ اما EF Core بیشتر کوئری‌ها را بدون تراکنش صریح اجرا می‌کند؛‏ پس هر کوئری فقط برای تنظیم مستأجر باید یک تراکنش باز کند. با false،‏ تنظیم برای کل نشست می‌ماند،‏ که با شیوهٔ نگه داشتن اتصال در EF Core،‏ در طول یک کوئری یا یک واحد کار،‏ جور است. دو نتیجه از این‌جا می‌آید. مقدار باید پیش از شروع تراکنش تنظیم شود،‏ چون تنظیمی که داخل تراکنش عوض شود،‏ اگر تراکنش برگردد،‏ به حالت قبل برمی‌گردد. و قاعدهٔ «در هر باز شدن بازنویسی کن» اختیاری نیست،‏ چون نشست از درخواست بیشتر عمر می‌کند.

دو چیدمان pooling وضعیت نشست را کاملاً بی‌اعتبار می‌کنند. حالت multiplexing در Npgsql دستورهای فراخواننده‌های مختلف را روی اتصال‌های مشترک می‌فرستد،‏ پس نشست پایداری برای تنظیم کردن وجود ندارد؛‏ پلتفرم چنین اتصال‌هایی را از اساس رد می‌کند. PgBouncer هم در حالت transaction pooling بعد از هر تراکنش اتصال سرور را به کلاینت دیگری می‌دهد،‏ پس تنظیم سطح نشست ممکن است به کلاینت دیگری نشت کند. پشت چنین poolerی،‏ برای هر واحد کار از set_config(..., true) داخل یک تراکنش صریح استفاده کنید.

مهاجرت‌ها و نقش مالک

جای سیاست‌ها در مهاجرت‌هاست،‏ کنار همان جدول‌هایی که از آن‌ها محافظت می‌کنند. در EF Core یعنی فراخوانی‌های migrationBuilder.Sql(...) که در یک متد الحاقی کوچک پیچیده شده‌اند تا همهٔ جدول‌های متعلق به مستأجر دقیقاً همان دستورها را بگیرند،‏ به‌اضافهٔ متد متناظری برای Down.

FORCE روی مهاجرت‌های داده یک اثر جانبی دارد. DDL،‏ مثلاً اضافه کردن یک ستون،‏ تحت تأثیر نیست،‏ اما UPDATEی که مقدارها را پر می‌کند زیر سیاست اجرا می‌شود،‏ وقتی مستأجری تنظیم نشده هیچ سطری نمی‌بیند و بعد از این‌که هیچ چیزی را عوض نکرد،‏ موفقیت گزارش می‌دهد. این به‌روزرسانی‌ها یا باید روی مستأجرها حلقه بزنند و برای هر کدام app.tenant_id را تنظیم کنند،‏ یا با یک نقش نگهداری جداگانه که BYPASSRLS دارد و برنامه هرگز از آن استفاده نمی‌کند اجرا شوند.

چون سیاستِ فراموش‌شده بی‌صدا شکست می‌خورد،‏ پلتفرم بررسی‌ای دارد که هنگام راه‌اندازی و در تست‌ها اجرا می‌شود،‏ catalog را می‌خواند و تأیید می‌کند که جدول‌ها واقعاً محافظت شده‌اند:

SELECT c.relname
FROM pg_class c
JOIN pg_namespace n ON n.oid = c.relnamespace
WHERE n.nspname = current_schema()
  AND c.relkind IN ('r', 'p')
  AND EXISTS (SELECT 1 FROM pg_attribute a
              WHERE a.attrelid = c.oid AND a.attname = 'tenant_id' AND NOT a.attisdropped)
  AND NOT (c.relrowsecurity AND c.relforcerowsecurity);

هر سطری که برگردد جدولی است که ستون مستأجر دارد اما محافظت نشده،‏ و بررسی شکست می‌خورد. کوئری مشابهی روی pg_roles تأیید می‌کند که نقش متصل نه superuser است و نه از RLS معاف.

تست جداسازی با Testcontainers

جداسازی ویژگی پایگاه‌داده و درایور با هم است،‏ پس باید روی یک PostgreSQL واقعی تست شود. با Testcontainers مجموعهٔ تست یک کانتینر PostgreSQL 16 بالا می‌آورد و هر تست پایگاه‌دادهٔ خودش را می‌گیرد. یک نکته از همه مهم‌تر است: کاربر پیش‌فرض postgres در این کانتینر superuser است و superuser از همهٔ سیاست‌ها عبور می‌کند. تست‌هایی که با این کاربر وصل می‌شوند دربارهٔ RLS هیچ چیزی ثابت نمی‌کنند. fixture یک نقش ورود جداگانه می‌سازد،‏ آن را مالک هر پایگاه‌دادهٔ تست می‌کند و درست مثل سرویس با همان نقش وصل می‌شود.

بعد تست‌ها مستقیم به نگهبان دوم حمله می‌کنند: IgnoreQueryFilters() باز هم فقط سطرهای مستأجر فعلی را می‌بیند؛‏ SQL خام فقط سطرهای مستأجر فعلی را می‌بیند؛‏ contextی که مستأجر ندارد چیزی نمی‌بیند و نمی‌تواند درج کند؛‏ درج برای مستأجر دیگر با خطای نداشتن مجوز کافی شکست می‌خورد؛‏ و به‌روزرسانی سطرهای مستأجر دیگر صفر سطر را تغییر می‌دهد. تستی که بیش از همه برایم ارزش دارد استفادهٔ دوباره از اتصال را تحمیل می‌کند:

[Fact]
public async Task Pooled_connection_does_not_leak_the_previous_tenant()
{
    var pooled = new NpgsqlConnectionStringBuilder(_db.OwnerConnectionString)
    {
        NoResetOnClose = true,     // keep session state between uses
        MaxPoolSize = 1,           // so the next context gets the same physical connection
    }.ConnectionString;

    const string rawTenants = "SELECT tenant_id AS \"Value\" FROM employees";

    await using (var acme = _db.NewContext(pooled, tenant: "acme"))
        Assert.Equal(new[] { "acme" }, await acme.Database.SqlQueryRaw<string>(rawTenants).ToListAsync());

    await using (var none = _db.NewContext(pooled, tenant: null))
        Assert.Empty(await none.Database.SqlQueryRaw<string>(rawTenants).ToListAsync());
}

اگر interceptor وقتی مستأجری نیست به‌جای نوشتن مقدار خالی از فراخوانی صرف‌نظر می‌کرد،‏ context دوم acme را از نشست pool‌شده به ارث می‌برد و تست شکست می‌خورد. این تست دقیقاً برای گرفتن همین باگ وجود دارد.

آنچه RLS از آن محافظت نمی‌کند

این دو نگهبان یک دسته از اشتباه‌ها را سخت می‌کنند: کوئری‌ای که مستأجر را فراموش کند. اگر مستأجر از اول اشتباه تعیین شده باشد کمکی نمی‌کنند،‏ و برای همین است که تعیین مستأجر در صورت تردید درخواست را رد می‌کند. کش‌ها را هم پوشش نمی‌دهند: کلید Redisی که مستأجر در آن نیست (کش‌های یادداشت اول همین مجموعه را به یاد بیاورید) درست به اندازهٔ یک کوئری نشت می‌کند. لاگ‌ها و خروجی‌ها را هم پوشش نمی‌دهند. جداسازی ویژگی کل سامانه است؛‏ پایگاه‌داده فقط آخرین جایی است که هنوز می‌شود آن را اعمال کرد.

اگر در حال طراحی یک سرویس چندمستأجری هستید یا می‌خواهید پیش از آمدن مشتری‌ها بازبینی‌اش کنید،‏ این از جنس کارهای بک‌اند است که انجام می‌دهم. یادداشت بعدی سراغ کارهایی می‌رود که بیرون از درخواست‌ها انجام می‌شوند: کارهای پس‌زمینه،‏ از hosted serviceها تا Hangfire و یک صف lease در PostgreSQL.

این یادداشت به انگلیسی هم منتشر شده است: نسخهٔ انگلیسی.

بازگشت به همهٔ یادداشت‌ها