직교행렬(orthogonal matrix)은 행렬의 열 벡터들이 서로 정규 직교(orthonormal)한 경우를 말한다. 정규 직교란, 벡터들이 서로 수직이고, 각 벡터의 크기가 1인 경우를 의미한다. 직교행렬의 한 가지 중요한 특성은 다음과 같은 관계를 가지고 있다는 것이다.
ATA=I
여기서 A는 직교행렬, AT는 A의 전치행렬, I는 항등행렬(identity matrix)이다. 즉, 직교행렬의 전치행렬과 원래 행렬의 곱은 항등행렬이 된다.
직교행렬은 선형 대수와 여러 분야에서 중요한 개념으로 사용되며, 특이값 분해(SVD)와 고유값 분해(eigenvalue decomposition)와 같은 고급 알고리즘에서도 사용된다.