Bộ nhớ đệm cấp 1 và cấp 2

Theo Intel, bộ nhớ đệm cấp 1 trong phần lớn bộ xử lý đạt xấp xỉ tỷ lệ 90% việc xử lý các yêu cầu dữ liệu (Hit ratio). Và để làm giảm bớt sự chậm xuống đột biến này mỗi lần một cache miss LI xảy ra, một bộ đệm thứ hai (L2) được sử dụng. 

Bộ nhớ đệm cấp 1

Nghĩa là bộ nhớ đệm có dữ liệu đúng 90% thời gian và do đó bộ xử lý chạy ở tốc độ đủ 233MHz trong 90% thời gian. Tuy nhiên, khi 10% thời gian bộ quản lý bộ nhớ đệm đoán sai và dữ liệu phải được gọi ra từ bộ nhớ chính, bộ xử lý phải chờ. Điều này về cơ bản làm giảm hệ thống về tốc độ RAM, lấy ví dụ là 60ns hay 16MHz để bạn hiểu rõ hơn.

Trong sự tương đồng này, bộ xử lý 14 lần nhanh hơn bộ nhớ chính. Các tốc độ bộ nhớ tăng lên từ 16MHz (60ns) lên 333MHz (3.0ns) hay nhanh hơn trong các hệ thống mới, nhưng các tốc độ bộ xử lý cũng nâng lên đến 3GHz và trên nữa, vì vậy thậm chí trong các hệ thống mới, bộ nhớ vẫn chậm hơn 7.5 hay nhiều lần chậm hơn bộ xử lý. Bộ nhớ đệm là cái làm nên sự khác biệt.

Đặc điểm chính của bộ nhớ đệm cấp 1 là nó luôn được tích hợp trên nhân bộ xử lý, chạy cùng tốc độ với nhân bộ xử lý. Điều này, kết hợp với tỷ lệ 90% hoặc lớn hơn làm bộ nhớ đệm L1 trở nên quan trọng đối với tốc độ hệ thống.

Bộ nhớ đệm cấp 2

Ta ví bộ nhớ đệm L2 như một xe đẩy những món ăn được đặt theo kế hoạch trong nhà hàng và người hầu bàn có thể lấy thực phẩm ra khỏi xe trong vòng 15 giây (so với 60 giây từ nhà bếp). Trong hệ thống lớp Pentium thực sự (socket 7) bộ nhớ đệm cấp 2 được đặt trên bo mạch chủ, nghĩa là nó chạy với tốc độ bo mạch chủ 66MHz hoặc 15 giây trong ví dụ này. Nếu ta yêu cầu một món mà người hầu bàn không sắp đặt trước, thay vì làm quãng đường dài xuống nhà bếp để lấy món ăn và mang lại bàn mất 60 giây sau đó, người hầu bàn trước hết có thể kiểm tra xe đẩy thức ăn nơi anh ta đã sắp đặt các món ăn thêm. Nếu có sẵn thì chỉ mất 15 giây ta sẽ có món ăn được yêu cầu. Hiệu quả lưới trong hệ thống thực sự là thay vì giảm từ 233MHz đến 16MHz chờ đợi dữ liệu đến từ bộ nhớ chính mất 60 giây thì dữ liệu có thể lấy nhanh trong vòng 15 giây (66MHz) ở bộ nhớ đệm cấp 2. Hiệu quả là hệ thống chậm xuống từ 233MHz đến 66MHz.

Tất cả bộ xử lý hiện đại có tích hợp bộ nhớ đệm L2 thì bộ nhớ đệm L2 có tốc độ của nhân bộ xử lý, cùng tốc độ với bộ nhớ đệm L1. Cho sự tương đồng để mô tả những con chip mới hơn này, người hầu bàn chỉ đơn giản đặt xe đẩy ngay sát bàn mà ta đang ngồi trong nhà hàng. Nếu thức ăn mà bạn yêu cầu không có trên bàn (cache miss Ll), nó chỉ mất dài hơn một sải tay để đến với bộ nhớ đệm L2 gần kề (xe đẩy, trong ví dụ tương đồng này) hơn là 15 giây đi bộ đến xe đẩy như với các thiết kế cũ.