SC24: Các nhà lãnh đạo chương trình kỹ thuật thảo luận về vai trò và tầm nhìn khoa học của họ

Bài viết này được Kevin Jackson biên soạn cho Hội nghị Siêu máy tính thường niên; SC24 sẽ được tổ chức tại Atlanta từ Chủ Nhật, ngày 17 tháng 11 đến Thứ Sáu, ngày 22 tháng 11.

Khoa học là trọng tâm của hội nghị Siêu máy tính thường niên và Chương trình Kỹ thuật là một trong những khía cạnh quan trọng và đầy thách thức nhất của hội nghị. Để tìm hiểu thêm về những gì chương trình này thực hiện, cũng như tầm nhìn khoa học thúc đẩy mọi quyết định trong chương trình, đây là cuộc phỏng vấn với Chủ tịch Chương trình Kỹ thuật SC24 Guillaume Pallez (Inria) và Phó chủ tịch Judith Hill (LLNL).

H: Bạn có thể cho chúng tôi biết về vai trò của bạn với tư cách là Chủ tịch Chương trình Kỹ thuật SC24 không?

TP: Có lẽ mọi người đều biết về phạm vi rộng lớn của Chương trình Kỹ thuật SC.

Các dễ thấy phần dành cho hầu hết những người tham dự bao gồm các Bài báo kỹ thuật, Hội thảo, Hướng dẫn, Bảng điều khiển, Áp phích và Birds of a Feather. Năm nay chúng tôi thậm chí còn giới thiệu một bản nhạc mới có tên là Nghệ thuật HPC. Chương trình Kỹ thuật cũng bao gồm các giải thưởng dành riêng cho SC như Take a look at of Time và chúng tôi phối hợp với các hiệp hội máy tính (ACM, IEEE, SIGHPC, TCHPC) để trao các giải thưởng cụ thể và tổ chức lễ trao giải.

Sau đó là những phần ít được chú ý hơn, nhưng cũng quan trọng không kém. Bao gồm đánh giá khả năng tái tạo cho các Bài báo kỹ thuật, cũng như phối hợp với Cuộc thi cụm sinh viên SC để chọn bài báo từ năm ngoái sẽ được các nhóm SCC tái tạo. Chúng tôi cũng quản lý các thủ tục cho các bài báo và hội thảo hợp tác với IEEE.

Vai trò đầu tiên của chúng tôi là đảm bảo toàn bộ quá trình xung quanh và giữa các yếu tố này được phối hợp tốt. Điều này không chỉ có nghĩa là cung cấp một sự kiện khoa học tuyệt vời cho những người tham dự mà còn đảm bảo rằng trong SC, mọi người có thể điều hướng từ yếu tố này sang yếu tố khác trong một môi trường không căng thẳng.

Vai trò thứ hai của chúng tôi là cung cấp tầm nhìn khoa học toàn cầu và giám sát Chương trình Kỹ thuật của SC.

Đối với tất cả các yếu tố này, chúng tôi được hỗ trợ bởi các chủ tịch và phó chủ tịch của từng yếu tố. Nếu không có sự chăm chỉ và cống hiến của họ cho SC, chúng tôi sẽ không thể tổ chức một sự kiện có quy mô và phạm vi như Chương trình Kỹ thuật SC.

H: Ý của bạn là gì khi nói đến việc cung cấp “tầm nhìn khoa học”?

TP: Dẫn dắt Chương trình Kỹ thuật của SC là cơ hội để tạo ra tác động đến lĩnh vực của chúng tôi và đến khoa học mà chúng tôi muốn thấy. Chúng tôi tin rằng trong vai trò này, chúng tôi có trách nhiệm với cộng đồng để cải thiện quy trình khoa học của mình.

Đối với SC24, có ba yếu tố mà chúng tôi muốn nhấn mạnh:

• Cung cấp một địa điểm quan trọng nơi những người tham dự có thể tiếp cận với sự đa dạng của khoa học được thực hiện xung quanh HPC. Điều này bao gồm các chủ đề mà HPC là yếu tố khoa học thứ cấp hoặc công nghệ hỗ trợ và trước đây chưa từng được đệ trình lên SC.
• Đảm bảo rằng khi thực hiện điều này, chúng ta không làm giảm chất lượng của chương trình kỹ thuật (tức là chúng ta muốn có bài báo hàng đầu về các chủ đề này).
• Cuối cùng, một yếu tố quan trọng là các thông lệ tốt nhất mà cộng đồng của chúng ta nên tuân theo và vai trò lãnh đạo của SC trong việc thiết lập những thông lệ đó.

H: Bạn có thể cho chúng tôi ví dụ về ý bạn muốn nói không?

TP: Để đa dạng hóa hơn nữa Chương trình Kỹ thuật SC, chúng tôi đã bổ sung thêm hai yếu tố để thu hút thêm các bài dự thi mà nếu không SC có thể không chào đón:

1. Hội thảo cung cấp một cơ hội duy nhất để giải quyết các chủ đề khoa học cụ thể với những ý tưởng ban đầu có thể chưa hoàn thiện, nhưng có thể được động não với một nhóm đồng nghiệp quan tâm. Ngoài ra, còn có cơ hội thảo luận các chủ đề mà cộng đồng SC quan tâm, nhưng các kết quả chính có xu hướng không được gửi tại SC (tức là các kết quả sẽ được công bố tại các hội nghị xếp hạng cao từ các lĩnh vực khoa học khác). Đối với các chủ đề mà SC có thể không phải là địa điểm chính để công bố, chúng tôi đã cố gắng khuyến khích các hội thảo không có thủ tụctức là các sự kiện chuyên ngành nơi các bài dự thi là những kết quả chính mới nhất trong lĩnh vực của họ, ngay cả khi chúng đã được công bố ở những nơi khác.
2. Áp phích là một thay đổi khác mà chúng tôi đã triển khai. Áp phích thường đại diện trực quan cho một kết quả mới hoặc một tác phẩm đang tiến hành. Bây giờ chúng tôi cho phép một phần nhỏ của “Áp phích dự án”. Với những áp phích “dự án” này, chúng tôi cung cấp cho người thuyết trình cơ hội chia sẻ một tác phẩm hoặc một loạt tác phẩm đã được xuất bản (ví dụ như bên ngoài các hội nghị SC), nhưng họ tin rằng sẽ thu hút sự quan tâm của cộng đồng SC.

Trong cả hai trường hợp, ý tưởng là loại bỏ yếu tố “xuất bản” để chúng ta có thể thực sự tập trung vào đóng góp khoa học và thúc đẩy thảo luận trong cộng đồng SC.

Về các biện pháp thực hành tốt nhất và cải thiện chất lượng đóng góp khoa học, những thay đổi mà chúng tôi đã thực hiện bao gồm:

1. Báo cáo khả năng tái tạo. Khả năng tái tạo kết quả HPC là một vấn đề phức tạp. Trong vài năm trở lại đây, chúng tôi đã trao giải thưởng “huy hiệu tái tạo” đối với các bài báo, dựa trên những gì một ủy ban chuyên trách có thể làm. Nhưng những huy hiệu đó rất nhị phân. Ví dụ, điều gì xảy ra nếu bạn không có quy mô đầy đủ để tái tạo kết quả, nhưng có thể tái tạo nó ở quy mô mà bạn có quyền truy cập? Bài báo này có nên nhận được huy hiệu “kết quả được sao chép” không? Để cải thiện quy trình này, chúng tôi đã giới thiệu “báo cáo khả năng tái tạo”sẽ mô tả chính xác kết quả nào đã được tái tạo và như thế nào. Nó cũng sẽ cung cấp sự công nhận cho các thành viên ủy ban. Ngoài ra, chúng tôi vô cùng biết ơn Sascha Hunold (Chủ tịch về khả năng tái tạo) đã làm một công việc đáng kinh ngạc khi thực hiện điều này và có lẽ không mong đợi khối lượng công việc khổng lồ này.
2. Một thay đổi thủ tục ít thấy hơn là chúng tôi đã yêu cầu mọi yếu tố nhắc nhở người gửi về định nghĩa của tác giả (như được định nghĩa bởi IEEE). Việc đại diện chính xác cho tác giả là một phần của tính chính trực trong học thuật. Trong thời đại mà niềm tin của công chúng vào Khoa học/Học thuật đang giảm sút, chúng ta có trách nhiệm duy trì đạo đức và sự đáng tin cậy ở mức cao nhất.

H: Có thách thức bất ngờ nào với Chương trình Kỹ thuật năm nay không?

TP: Một vấn đề thú vị mà chúng tôi phải giải quyết trong năm nay là việc sử dụng Mô hình ngôn ngữ lớn (LLM) trong bài viết (và bài đánh giá). IEEE và ACM đã bắt đầu soạn thảo chính sách, nhưng vẫn chưa rõ tác giả sử dụng chúng như thế nào. Đây là một điều mới đang phát triển nhanh chóng.

Đối với Bài báo kỹ thuật và Hội thảo, chúng tôi đã thêm một trường để tác giả mô tả liệu họ có sử dụng LLM khi viết tác phẩm của mình hay không và sử dụng như thế nào (theo chính sách của IEEE, trường này cũng phải được đưa vào bài báo được chấp nhận).

Đối với SC24, chúng tôi dự định nghiên cứu cách đưa những công cụ này vào quá trình viết và cần phải nghiên cứu theo thời gian.

Một thách thức khác mà chúng tôi phải đối mặt là sự gia tăng số lượng bài nộp trong Tech Papers (+30%!). Điều này có ý nghĩa rõ ràng về mặt tình nguyện viên (bạn có thể đăng ký ở đây cho SC25) cần phải duy trì chất lượng đánh giá và lựa chọn mà SC phấn đấu đạt được. Nó cũng có ý nghĩa về số lượng bài báo mà chúng tôi có thể chấp nhận. Could mắn thay, trung tâm hội nghị ở Atlanta khá lớn và chúng tôi có thể sắp xếp nhiều phiên họp báo hơn nếu cần. Nó cũng có nhiều ý nghĩa phức tạp: cộng đồng có tăng lên không và chúng ta có nên mong đợi lượng người tham dự đông hơn nhiều vào tháng 11 không (có ý nghĩa trực tiếp đến quy mô phòng họp)?

H: Bạn không thể thay đổi được điều gì? Cộng đồng sẽ làm gì tiếp theo?

TP: Chúng tôi đã nghĩ đến việc có các đánh giá mở trong một thời gian dài. Đánh giá mở là quá trình thảo luận khoa học giữa các chuyên gia đánh giá (ẩn danh) và tác giả bài báo được công khai với độc giả. Chiến thuật này đang phát triển trong nhiều cộng đồng khoa học, như Thần kinhmột trong những địa điểm chính của ML, đã triển khai điều này trong nhiều năm. Thiên nhiên cũng đã bắt đầu công bố một số báo cáo đánh giá kể từ năm 2020.

Đánh giá mở mang lại thông tin bổ sung về một bài báo. Chúng có thể giúp hiểu được giới hạn của một đóng góp, mà chúng tôi tin là một phần quan trọng của quá trình khoa học. Với tình trạng đáng buồn hiện tại của xuất bản khoa học (xem ở đây ví dụ), chất lượng và tính khả dụng của bài đánh giá là chỉ báo tuyệt vời về chất lượng của hội nghị và quá trình đánh giá.

Nó cũng có những lợi ích phụ – ví dụ, nó cho người đánh giá mới biết những gì được mong đợi ở họ khi đánh giá một bài báo SC và giúp người nộp bài mới biết cách một tác phẩm được đánh giá.

Chúng tôi đã hy vọng có thể thực hiện điều này trong năm nay nhưng không thể. Vẫn còn việc phải làm cho những người kế nhiệm!