Энтропия Цаллиса

В статистической термодинамике энтропия Цаллиса — обобщение стандартной энтропии Больцмана—Гиббса, предложенное Константино Цаллисом (Constantino Tsallis) в 1988 г. для случая неэкстенсивных (неаддитивных) систем. Его гипотеза базируется на предположении, что сильное взаимодействие в термодинамически аномальной системе приводит к новым степеням свободы, к совершенно иной статистической физике небольцмановского типа.

Определение и основные сведения

Пусть P — распределение вероятностей и μ — любая мера на X, для которой существует абсолютно непрерывная относительно μ функция p = dP/dμ. Тогда энтропия Цаллиса определяется как

S_q(P) = k/(q-1)(1-∫ _X^()p^qdμ).

В частности, для дискретной системы, находящейся в одном из N доступных состояний с распределением вероятностей P = {p_i|i = 1,2,...,N},

S_q(P) = k/(q-1)(1-∑_(i = 1)^Np_i^q)

В случае лебеговой меры μ = x, т.е. когда P — непрерывное распределение с плотностью p(x), заданной на множестве X,

S_q(P) = k/(q-1)(1-∫ _X^()p^q(x)dx)

В этих формулах k — некоторая положительная константа, которая определяет единицу измерения энтропии и в физических формулах служит для связки размерностей, как, например, постоянная Больцмана. С точки зрения задачи оптимизации энтропии данная константа является несущественной, поэтому для простоты часто полагают k = 1.

Параметр q — безразмерная величина (q ∈ R), которая характеризует степень неэкстенсивности (неаддитивности) рассматриваемой системы. В пределе при q → 1, энтропия Цаллиса сходится к энтропии Больцмана—Гиббса. При q > 0 энтропия Цаллиса является вогнутым функционалом от распределения вероятностей и, как обычная энтропия, достигает максимума при равномерном распределении. При q выпуклым и при равномерном распределении достигает минимума. Поэтому для поиска равновесного состояния изолированной системы при sq > 0 энтропию Цаллиса нужно максимизировать, а при q < 0 — минимизировать. Значение параметра q = 0 — это вырожденный случай энтропии Цаллиса, когда она не зависит от P, а зависит лишь от μ(X), т.е. от размера системы (от N в дискретном случае).

В непрерывном случае иногда требуют, чтобы носитель случайной величины X был безразмерным. Это обеспечивает корректность функционала энтропии с точки зрения размерности.

Исторически первыми выражение для энтропии Цаллиса (точнее, для частного её случая при k = (q-1)/(1-2^(1-q))) получили Дж. Хаврда и Ф. Чарват (J. Havrda and F. Charvát) в 1967 г. Вместе с тем при q > 0 энтропия Цаллиса является частным случаем f-энтропии (при sq f-энтропией является величина, противоположная энтропии Цаллиса).

Некоторые соотношения

Энтропия Цаллиса может быть получена из стандартной формулы для энтропии Больцмана—Гиббса путём замены используемой в ней функции ln x на функцию

ln_qx = (x^(q-1)-1)/(q-1)

— так называемый q-деформированный логарифм или просто q-логарифм (в пределе при q → 1 совпадающий с логарифмом). К. Цаллис использовал несколько иную формулу q-логарифма, которая сводится к приведённой здесь заменой параметра q на 2-q.

Ещё один способ получить энтропию Цаллиса основан на соотношении, справедливом для энтропии Больцмана—Гиббса:

S(P) = -klim_(t → 1)d/dt∑_(i = 1)^Np_i^t

Нетрудно видеть, что если заменить в этом выражении обычную производную на q-производную (известную также как производная Джексона), получается энтропия Цаллиса:

S_q(P) = -klim_(t → 1)(d/dt)_q∑_(i = 1)^Np_i^t

Аналогично для непрерывного случая:

S_q(P) = -klim_(t → 1)(d/dt)_q∫ _X^()p^t(x)dx

Альтернативное определение

Оригинальное определение энтропии Цаллиса является не очень удачным из-за необходимости по-разному работать с функционалом в зависимости от знака q, а также из-за того, что при sq f-энтропии:

S_q(P) = k/(q(q-1))(1-∫ _X^()p^qdμ).

α-энтропия в пределе при q → 0 с точностью до несущественного слагаемого эквивалентна энтропии Берга

S₀(P) = k∫ _X^()ln pdμ.

Нетрудно видеть, что оригинальное и альтернативное определение энтропии Цаллиса эквивалентны с точностью до значения k, кроме случая q = 0.

Неэкстенсивность (неаддитивность)

Пусть имеются две независимых системы A и B, т.е. такие системы, что в дискретном случае совместная вероятность появления двух любых состояний a ∈ A и b ∈ B в этих системах равна произведению соответствующих вероятностей:

Prob (a,b) = Prob (a)Prob (b)

а в непрерывном — совместная плотность распределения вероятностей равна произведению соответствующих плотностей:

p_(AB)(x,y) = p_A(x)p_B(y)

где x ∈ X, y ∈ Y — области значений случайной величины в системах A и B соответственно.

В отличие от энтропии Больцмана—Гиббса и энтропии Реньи, энтропия Цаллиса, вообще говоря, не обладает аддитивностью, и для совокупности систем справедливо

S_q(AB) = S_q(A)+S_q(B)+(1-q)/kS_q(A)S_q(B)

Поскольку условие аддитивности для энтропии имеет вид

S(AB) = S(A)+S(B)

отклонение параметра q от 1 характеризует неэкстенсивность (неаддитивность) системы. Энтропия Цаллиса является экстенсивной только при q = 1.

Дивергенция Цаллиса

Наряду с энтропией Цаллиса, рассматривают также семейство несимметричных мер расхождения (дивергенций) Цаллиса между распределениями вероятностей с общим носителем. Для двух дискретных распределений с вероятностями A = {a_i} и B = {b_i}, i = 1,2,...,N, дивергенция Цаллиса определяется как

D_q(A,B) = k/(q-1)(∑_(i = 1)^Na_i^qb_i^(1-q)-1)

В непрерывном случае, если распределения A и B заданы плотностями a(x) и b(x) соответственно, где x ∈ X,

D_q(A,B) = k/(q-1)(∫ _X^()a^q(x)b^(1-q)(x)dx-1)

В отличие от энтропии Цаллиса, дивергенция Цаллиса определена при q > 0. Несущественная положительная константа k в этих формулах, как и для энтропии, задаёт единицу измерения дивергенции и часто опускается (полагается равной 1). Дивергенция Цаллиса является частным случаем α-дивергенции (с точностью до несущественной мультипликативной константы) и, как α-дивергенция, является выпуклой по обоим аргументам при всех q > 0. Дивергенция Цаллиса также является частным случаем f-дивергенции. α-дивергенция может служить обобщением дивергенции Цаллиса на все q ∈ R.

Дивергенция Цаллиса может быть получена из формулы для дивергенции Кульбака—Лейблера путём подстановки в неё q-деформированного логарифма, определённого выше, вместо функции ln x. В пределе при q → 1 дивергенция Цаллиса сходится к дивергенции Кульбака—Лейблера.

Связь формализмов Реньи и Цаллиса

Энтропия Реньи и энтропия Цаллиса эквивалентны с точностью до монотонного преобразования, не зависящего от распределения состояний системы. То же касается соответствующих дивергенций. Рассмотрим, к примеру, энтропию Реньи для системы P с дискретным набором состояний {p_i|i = 1,2,...,N}:

S_q(P) = k/(1-q)ln ∑_(i = 1)^Np_i^q

q ≥ 0

Дивергенция Реньи для дискретных распределений с вероятностями A = {a_i} и B = {b_i}, i = 1,2,...,N:

D_q(A,B) = k/(q-1)ln ∑_(i = 1)^Na_i^qb_i^(1-q)

q > 0

В этих формулах положительная константа k имеет тот же смысл, что и k в формализме Цаллиса.

Нетрудно видеть, что

S_q(P) = T_(2-q)(S_q(P))

D_q(A,B) = T_q(D_q(A,B))

где функция

T_q(x) = k(exp(x(q-1)/k)-1)/(q-1)

определена на всей числовой оси и непрерывно возрастает по x (при q = 1 полагаем T_q(x) = k/kx). Приведённые соотношения имеют место и в непрерывном случае.

Несмотря на наличие этой связи, следует помнить, что функционалы в формализмах Реньи и Цаллиса обладают разными свойствами:

энтропия Цаллиса, вообще говоря, не аддитивна, тогда как энтропия Реньи аддитивна при всех q (при q ≤ 0 подразумевается обобщённое выражение для энтропии Реньи);

энтропия и дивергенция Цаллиса являются вогнутыми или выпуклыми (кроме q = 0), тогда как энтропия и дивергенция Реньи, вообще говоря, не обладают ни тем, ни другим свойством.