Векторная проекция вектора \(\mathbf{a}\) на ненулевой вектор \(\mathbf{b}\) — это вектор, который представляет собой ортогональную проекцию вектора \(\mathbf{a}\) на прямую, определяемую вектором \(\mathbf{b}\). Векторная проекция обозначается как \(\operatorname{proj}_{\mathbf{b}} \mathbf{a}\).

Четыре фундаментальных подпространства матрицы являются ключевыми понятиями в линейной алгебре и играют важную роль в понимании свойств матриц и систем линейных уравнений. Для матрицы  размера \(m × n\) , эти подпространства:

1. Пространство столбцов (Column Space) - C(A)
2. Пространство строк (Row Space) - C(Aᵀ)
3. Нулевое пространство (Null Space) - N(A)
4. Левое нулевое пространство (Left Null Space) - N(Aᵀ)

Геометрический смысл решения системы линейных уравнений
Давайте рассмотрим, как ранг матрицы связан с решением системы линейных уравнений и как это интерпретируется геометрически для точки, прямой и 3D-пространства.

1. Общая система линейных уравнений:

Рассмотрим систему Ax = b, где:

• A - матрица m × n (m уравнений, n переменных).
• x - вектор-столбец переменных размера n × 1.
• b - вектор-столбец констант размера m × 1.

Программирование, как и прикладная математика, достаточно часто сталкивается с потребностью хранить и обрабатывать большие наборы чисел.  Какие существуют способы хранения упорядоченных данных? Один из ответов на этот вопрос — матрицы. 

Матрицей размера ‌m×n‌​ называют прямоугольную таблицу чисел, в которой m строк и n  столбцов:

‌$$A=(a_{ij})=\begin{bmatrix}a_{11}&a_{12} & ... & a_{1n}\cr a_{21}&a_{22}&...&a_{21}\cr ... & ... & ... & ...\cr a_{m1} & a_{m2} & ... & a_{mn} \end{bmatrix}$$

Каждый элемент матрицы имеет свой адрес — индексы, посредством которых происходит обращение к ним. Например, чтобы получить элемент, находящийся на пересечении  i-й строки и  j-го столбца из матрицы A мы записываем ‌\(a_{ij}\) .

Метод обратной подстановки (back substitution) — это метод решения системы линейных уравнений (СЛАУ), представленной в ступенчатом или приведенном ступенчатом виде. Он используется после того, как матрица системы уравнений приведена к такому виду с помощью метода Гаусса или других методов приведения к ступенчатой форме.

Суть метода обратной подстановки:

1. Использование ступенчатой формы: Метод использует упрощенную структуру ступенчатой (или приведенной ступенчатой) матрицы, чтобы последовательно находить значения неизвестных переменных, начиная с конца системы уравнений.
2. Решение последнего уравнения: Из последнего уравнения (которое содержит только одну переменную в ступенчатой форме) находят значение этой переменной.
3. Подстановка вверх: Полученное значение переменной подставляют в предпоследнее уравнение, из которого находят значение следующей переменной.
4. Повторение: Продолжают подстановку значений найденных переменных в уравнения, расположенные выше, пока не будут найдены значения всех переменных.