직교행렬(orthogonal matrix)은 행렬의 열 벡터들이 서로 정규 직교(orthonormal)한 경우를 말한다. 정규 직교란, 벡터들이 서로 수직이고, 각 벡터의 크기가 1인 경우를 의미한다.
직교행렬의 한 가지 중요한 특성은 다음과 같은 관계를 가지고 있다는 것이다.
$A^T A = I$
여기서 $A$는 직교행렬, $A^T$는 $A$의 전치행렬, $I$는 항등행렬(identity matrix)이다. 즉, 직교행렬의 전치행렬과 원래 행렬의 곱은 항등행렬이 된다.
직교행렬은 선형 대수와 여러 분야에서 중요한 개념으로 사용되며, 특이값 분해(SVD)와 고유값 분해(eigenvalue decomposition)와 같은 고급 알고리즘에서도 사용된다.