병렬처리 프로그램에서, 프로세서(CPU 또는 Core)의 수를 추가하더라도, 추가한 프로세서의 비율만큼 성능이 더 향상되는 것이 아니고, 프로세서를 추가 할지라도 일정한 지점에서 성능이 더 이상 향상이 되지 않는다. 컴퓨터 시스템의 CPU, 메모리, 파일시스템중 어떤부분을 개선해서 개선된 부분을 통해 전체 시스템의 성능 향상을 이룰 수 있는가를 계산하기 위해 고안된 공식. 전체 시스템의 실질 성능을 향시키기 위해서, 시스템의 어떤 부분을 개선해야 하는지를 예측할 수 있으며, 이는 컴퓨터 프로그램에도 동일하게 적용된다.

vector processor 참고

주(主) 프로세서 (CPU)의 기능을 추가 또는 보충해주는 역할을 하는 보조 프로세서다. 이 보조 프로세서가 하는 작업은 부동소수점 산술, 그래픽스, 신호처리, 문자열 처리, 암호화 또는 주변장치들과 I/O 인터페이스들이 있다. 프로세서 집약적인 작업의 부하를 주 프로세서로 부터 보조 프로세서에게 떠넘기면서 시스템의 성능을 가속화 할 수 있다.

거친 입도 (粒度) 병렬성(coarse-grained parallelism)에서 한개의 프로그램을 규모가 큰 태스크들로 나눈다. 그래서 매우 큰 연산량이 프로세서 내부에서 발생한다. 어떤 태스크들이 대량의 데이타를 처리하고 있는 반면 다른 태스크들이 가동하지 않고 있을 때는 부하의 불 균형의 결과를 가져온다. 더욱이 거친 입도 (粒度) 병렬성은 한개의 프로세서 내에서 순차적으로 대부분의 연산이 수행되기 때문에 그 프로그램 내에서 병렬성을 활용하는데는 실패한다. 이 형태의 병렬성의 장점은 통신과 동기화의 부담이 낮다는 것이다. Me

CUDA (Compute Unified Device Architecture) NVIDIA사에서 개발한 병렬 컴퓨팅 플랫폼과 API 모델로서, GPU를 범용 목적으로 사용하기 위해서 CUDA 플랫폼은 GPU의 가상 명령 집합과 병렬 연산 인자에 직접 접근한다. C, C++와 Fortran과같은 프로그램 언어를 함께 사용할수 있게 설계되어있다.

Distributed Memory (분산 메모리) 분산메모리는공유 메모리와 비교되는 용어로서, 각자의 프로세서 또는 노드가 자기 자신의 메모리를 가지고 있는 다중 프로세서 (multi-processor)환경에서 사용된다.

응용프로그램들은 부가작업(subtask)들이 일초에 얼마나 자주 동기화하거나 통신을 할 필요가 있느냐에 따라서 분류되어진다. 만약 부가작업(subtask)들이 일초에 수많은 동기화 또는 통신을 할때 정교한 병렬화 (fine-grained parallelism), 동기화 또는 통신의 빈도가 낮을때 정교하지 않은 병렬화 (coarse-grained parallelism)라고 한다. 후자 처럼 동기화 또는 통신이 거의 필요가 없느경우를 Embarrassing(ly) Massively Parallel라고 한다.

정밀 입도 (粒度) 병렬성(fine-grained parallelism) 한개의 프로그램에서 작은 태스크들로 매우 많이 나눠서, 이 태스크들을 많은 프로세서들에게 각각 할당한다. 병렬 태스크와 관계한 업무양은 적고, 업무가 프로세서들간에 골고루 분배된다. 그래서 정밀 입도 (粒度) 병렬성은 부하 균등화 (load balancing)를 용이하게 한다.

FLOPS (Floating points Operations Per Second) 일초에 부동소숫점 연산을 얼마 만큼하는가를 나타내는 단위로 HPC (High Performance Computing)에서 주로 사용된다.

Michael J. Flynn에의해서 1966년에 저안된 컴퓨터 구조의 분류. 프로세서와 기능들을 설계하는 도구로 사용된다. 병렬 CPU가 급부상됨에 따라, 다중프로그래밍 전후 관계가 분류 시스템의 확장을 위해 발전한다.