ReLUPyTorch — это функция активации, если входной сигнал отрицательный, производная функции не равна нулю и скорость обучения нейрона не останавливается. Эта функция используется для решения проблемы гибели нейронов.
Синтаксис:
torch.nn.LeakyReLU(negative_slope = 0.01, inplace = False)
Ниже приведен параметр, который используется в функции LeakyReLU().
- negegative_slope: используется для управления углом отрицательного наклона. Значение по умолчанию для негативного_склона — 1e-2.
- inplace: при необходимости он может выполнять операцию на месте. Значение по умолчанию для inplace — False. Если значение inplace равно True, входные данные будут изменены напрямую, без назначения каких-либо дополнительных выходных данных.
Пример
Leaky определяется как функция активации. Если входные данные отрицательные, производная функции будет очень маленькой дробью и никогда не будет равна нулю.
Это гарантирует, что скорость обучения нейрона не останавливается во время обратного распространения ошибки и, таким образом, позволяет избежать проблемы умирающего нейрона.
Код:
В следующем коде сначала мы импортируем модуль torch, а затем импортируем torch.nn как nn.
- n = nn.LeakyReLU(0.2) Здесь мы используем функцию LeakyReLU().
- input = torch.randn(4) Здесь мы описываем входную переменную с помощью функции torch.random().
- вывод = n(вход) Здесь мы объявляем выходную переменную.
- print(output) используется для печати выходных значений с помощью функции print().
# Import library import torch import torch.nn as nn # Using the leakyReLU() n = nn.LeakyReLU(0.2) # Describing the input variable input = torch.randn(4) # Declaring the output variable output = n(input) print(output)
Выход:
После запуска приведенного выше кода мы получаем следующий вывод, в котором мы видим, что на экране выведено негерметичное значение relu PyTorch.
Параметр inplace
В этом разделе мы узнаем о дырявом месте relu PyTorch в PyThon.
Утечка inplace PyTorch определяется как функция активации, и внутри этой функции мы используем параметр, который находится на месте.
Синтаксис:
torch.nn.LeakyReLU(inplace=True)
Ниже приведены параметры:
- inplace = True Это означает, что входные данные будут изменены напрямую, без выделения каких-либо дополнительных выходных данных, а значение параметра inplace по умолчанию — False.
Наклон
Прежде чем двигаться дальше, мы должны иметь некоторые знания о уклоне. Склон – это поверхность, одна сторона которой выше другой.
Наклон Relu PyTorch определяется, когда входной сигнал отрицательный, а дифференцирование функции не равно нулю.
Синтаксис:
torch.nn.LeakyReLU(negative_slope = 0.01)
Параметр:
negegative_slope: используется для управления углом отрицательного наклона. Значение по умолчанию для негативного_склона — 1e-2.
Код:
В следующем коде сначала мы импортируем модуль torch, а затем импортируем torch.nn как nn.
- s = nn.LeakyReLU(0,4) используется для определения функции LeakyReLU(), и внутри этой функции мы используем параметр 0,4, который управляет отрицательным наклоном.
- input = torch.Tensor([2,-4,5,-6]) используется для создания тензора с массивом.
- вывод = s(вход) Здесь мы объявляем выходную переменную.
- print(output) используется для печати выходных значений с помощью функции print().
# Importing libraries import torch import torch.nn as nn # Defining Leaky relu and the parameter 0.4 is passed to control the negative slope s = nn.LeakyReLU(0.4) # Creating a Tensor with an array input = torch.Tensor([2,-4,5,-6]) # Declaring the output variable output = s(input) # Print the output print(output)
Выход:
После запуска приведенного выше кода мы получаем следующий вывод, в котором мы видим, что значение наклона утечки Relu PyTorch печатается на экране.
Функционал
Функционал relu PyTorch определяется как процесс, который используется для решения проблемы умирания нейронов.
Эта функция очень полезна и полезна. Производная функции не равна нулю, если входное значение отрицательное.
Синтаксис:
torch.nn.functional.leaky_relu(input,negative_slope = 0.01, inplace = False)
Параметр:
- negate_slope: используется для управления углом отрицательного наклона. Значение по умолчанию для негативного_склона — 1e-2.
- inplace: при необходимости он может выполнять операцию на месте. Значение по умолчанию для inplace — False. Если значение inplace равно T, оно изменит входные данные напрямую, без назначения каких-либо дополнительных выходных данных.
Сравнение PyTorch Relu и Relu
Утечка PyTorch:
Функция relu очень полезна. В дырявом relu производная становится отличной от нуля, если входное значение отрицательное.
Дырявый релу также решает проблему гибели нейронов и скорость обучения нейрона не останавливается.
Пример:
В следующем коде сначала мы импортируем все необходимые библиотеки, такие как import torch и import torch.nn как nn.
- re = nn.LeakyReLU(0.6): здесь мы определяем функцию LeakyReLU().
- input = torch.Tensor([2,-3,4,-6]) используется для создания тензора с массивом.
вывод = re(input) используется для передачи массива в дырявую функцию relu.
print(output) используется для печати вывода с помощью функции print().
# Importing libraries import torch import torch.nn as nn # defining Leaky relu re = nn.LeakyReLU(0.6) # Creating a Tensor with an array input = torch.Tensor([2,-3,4,-6]) # Passing the array to leaky relu function output = re(input) # Print the output print(output)
Выход:
После запуска приведенного выше примера мы получаем следующий вывод, в котором мы видим, что на экране выведено негерметичное значение relu PyTorch.
PyTorch версия:
Функция relu — нелинейная и дифференцируемая функция. В relu производная становится нулевой, если входные данные отрицательны, что приводит к умиранию нейронов и остановке скорости обучения нейрона.
Пример:
В следующем коде сначала мы импортируем все необходимые библиотеки, такие как import torch и import torch.nn как nn.
- lr = nn.ReLU(): Здесь мы определяем функцию ReLU().
- input = torch.Tensor([2,-3,4,-6]) используется для создания тензора с массивом.
- вывод = lr(input) используется для передачи массива в функцию relu.
- print(output) используется для печати функции с помощью функции print().
# Importing libararies import torch import torch.nn as nn # defining relu lr = nn.ReLU() # Creating a Tensor with an array input = torch.Tensor([2,-3,4,-6]) # Passing the array to relu function output = lr(input) # Print output print(output)
Выход:
В приведенном ниже выводе вы можете видеть, что значение relu PyTorch выведено на экран.
