ಟ್ರೆಂಡಿಂಗ್
NVIDIAದ ಹೊಸ ಲೆಕ್ಕಾಚಾರ: ಎಐ ಬಿಲ್ ಕಡಿಮೆ ಮಾಡಲು ಮತ್ತೊಂದು ಎಐನ ಸಹಾಯ ಬೇಕಾಗಿದೆ!
ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯ ಬಳಕೆ ಹೆಚ್ಚಿದಂತೆ ಜಗತ್ತು ಎದುರಿಸುತ್ತಿರುವ ಹೊಸ ಸಮಸ್ಯೆ ಹಣದದ್ದು. ಎಐ ಈಗ ಹೆಚ್ಚು ಬುದ್ಧಿವಂತವಾಗುತ್ತಿದೆ, ಹೆಚ್ಚು ಕೆಲಸಗಳನ್ನು ಮಾಡುತ್ತಿದೆ, ಆದರೆ ಅದನ್ನು ಬಳಸುವ ವೆಚ್ಚವೂ ನಿಧಾನವಾಗಿ ದೊಡ್ಡದಾಗುತ್ತಿದೆ. ಒಂದು ವ್ಯಕ್ತಿ ದಿನಕ್ಕೆ ಕೆಲವು ಪ್ರಶ್ನೆ ಕೇಳಿದರೆ ಆ ವೆಚ್ಚ ಗಮನಕ್ಕೆ ಬರುವುದಿಲ್ಲ. ಆದರೆ ಸಾವಿರಾರು ಉದ್ಯೋಗಿಗಳು, ಲಕ್ಷಾಂತರ ಗ್ರಾಹಕರು ಮತ್ತು ನಿರಂತರವಾಗಿ ಕೆಲಸ ಮಾಡುವ ಎಐ ವ್ಯವಸ್ಥೆಗಳು ಬಂದಾಗ, ಪ್ರತಿಯೊಂದು ಸಣ್ಣ ಕೆಲಸಕ್ಕೂ ಅತ್ಯಂತ ಶಕ್ತಿಶಾಲಿ ಎಐ ಮಾದರಿಯನ್ನು ಬಳಸುವುದು ಕಂಪನಿಗಳ ಪಾಲಿಗೆ ದುಬಾರಿ ವ್ಯವಹಾರವಾಗುತ್ತದೆ. NVIDIA ಈಗ ಇದೇ ಸಮಸ್ಯೆಯನ್ನು ಗುರಿಯಾಗಿಸಿಕೊಂಡು NeMo Switchyard ಎಂಬ ಹೊಸ ಮುಕ್ತಮೂಲ ತಂತ್ರಜ್ಞಾನವನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿದೆ.
ಇದರ ಹಿಂದಿರುವ ಕಲ್ಪನೆ ತುಂಬ ಸರಳ. ಒಂದು ಕೆಲಸಕ್ಕೆ ಎಷ್ಟು ಸಾಮರ್ಥ್ಯದ ಎಐ ಬೇಕೋ, ಅಷ್ಟೇ ಸಾಮರ್ಥ್ಯದ ಮಾದರಿಯನ್ನು ಬಳಸಬೇಕು. ಒಂದು ಸಾಮಾನ್ಯ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸಲು ಅತ್ಯಂತ ದುಬಾರಿ ಮಾದರಿಯನ್ನು ಬಳಸುವ ಅಗತ್ಯವಿಲ್ಲ. ಅದೇ ಸಮಯದಲ್ಲಿ ಕಠಿಣವಾದ ಸಂಶೋಧನೆ, ಸಂಕೀರ್ಣ ಕೋಡಿಂಗ್ ಅಥವಾ ಆಳವಾದ ತಾರ್ಕಿಕ ವಿಶ್ಲೇಷಣೆಯಂತಹ ಕೆಲಸಗಳಿಗೆ ಹೆಚ್ಚು ಸಾಮರ್ಥ್ಯದ ಮಾದರಿ ಬೇಕಾಗಬಹುದು. ಈ ಎರಡು ಸಂದರ್ಭಗಳ ನಡುವೆ ಯಾರು ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳಬೇಕು ಎಂಬ ಪ್ರಶ್ನೆಗೆ NVIDIA ನೀಡುತ್ತಿರುವ ಉತ್ತರವೇ NeMo Switchyard.
ಪ್ರತಿಯೊಂದು ಕೆಲಸಕ್ಕೂ ಒಂದೇ ಎಐ ಯಾಕೆ?
ಇಲ್ಲೊಂದು ವಿಷಯ ಅರ್ಥಮಾಡಿಕೊಳ್ಳಬೇಕು. ಇಂದಿನ ಎಐ ಜಗತ್ತಿನಲ್ಲಿ ಎಲ್ಲ ಮಾದರಿಗಳೂ ಒಂದೇ ರೀತಿಯಲ್ಲ. ಕೆಲವು ಮಾದರಿಗಳು ಅತ್ಯಂತ ಸಂಕೀರ್ಣ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸುವಲ್ಲಿ ಉತ್ತಮವಾಗಿರಬಹುದು. ಕೆಲವು ಮಾದರಿಗಳು ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ ವೇಗವಾಗಿ ಉತ್ತರಿಸುವಲ್ಲಿ ಪರಿಣತಿ ಹೊಂದಿರಬಹುದು. ಇನ್ನೂ ಕೆಲವು ನಿರ್ದಿಷ್ಟ ಕೆಲಸಗಳಿಗಾಗಿಯೇ ರೂಪುಗೊಂಡಿರುತ್ತವೆ.
ಉದಾಹರಣೆಗೆ, ಒಂದು ಸಂಸ್ಥೆಯ ಎಐ ವ್ಯವಸ್ಥೆಗೆ ದಿನಕ್ಕೆ 1 ಲಕ್ಷ ಪ್ರಶ್ನೆಗಳು ಬರುತ್ತವೆ ಎಂದುಕೊಳ್ಳಿ. ಅದರಲ್ಲಿ ಬಹುಪಾಲು ಪ್ರಶ್ನೆಗಳು ಸರಳವಾಗಿರಬಹುದು. ದಾಖಲೆಗಳಿಂದ ಮಾಹಿತಿ ಹುಡುಕುವುದು, ಒಂದು ಪಠ್ಯವನ್ನು ವರ್ಗೀಕರಿಸುವುದು, ಸಣ್ಣ ಸಾರಾಂಶ ನೀಡುವುದು ಅಥವಾ ಸಾಮಾನ್ಯ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸುವುದು ಇಂತಹ ಕೆಲಸಗಳಿಗೆ ಅತ್ಯಂತ ದೊಡ್ಡ ಎಐ ಮಾದರಿಯ ಶಕ್ತಿ ಬೇಕಾಗದೇ ಇರಬಹುದು. ಆದರೆ ಇದೇ ವ್ಯವಸ್ಥೆಗೆ ಕೆಲವೇ ಸಾವಿರ ಸಂಕೀರ್ಣ ಪ್ರಶ್ನೆಗಳು ಬಂದರೆ, ಅವುಗಳಿಗೆ ಹೆಚ್ಚು ಶಕ್ತಿಶಾಲಿ ಮಾದರಿಯ ಅಗತ್ಯವಿರಬಹುದು.
ಎಲ್ಲ 1 ಲಕ್ಷ ಪ್ರಶ್ನೆಗಳನ್ನೂ ಅತ್ಯಂತ ದುಬಾರಿ ಮಾದರಿಗೆ ಕಳುಹಿಸಿದರೆ ಕೆಲಸ ಖಂಡಿತವಾಗಿಯೂ ನಡೆಯುತ್ತದೆ. ಆದರೆ ಅದು ಹಣದ ದೃಷ್ಟಿಯಿಂದ ಬುದ್ಧಿವಂತ ನಿರ್ಧಾರವಾಗುವುದಿಲ್ಲ. ಎಲ್ಲ ಕೆಲಸಕ್ಕೂ ಫೆರಾರಿ ಕಾರನ್ನೇ ಕಳುಹಿಸುವ ಬದಲು, ಯಾವ ಕೆಲಸಕ್ಕೆ ಯಾವ ವಾಹನ ಬೇಕು ಎಂದು ನಿರ್ಧರಿಸುವ ವ್ಯವಸ್ಥೆ ಇದ್ದರೆ ಸಾಕು. NVIDIAಯ ಹೊಸ ತಂತ್ರಜ್ಞಾನ ಇದೇ ಕೆಲಸವನ್ನು ಎಐ ಜಗತ್ತಿನಲ್ಲಿ ಮಾಡಲು ಪ್ರಯತ್ನಿಸುತ್ತಿದೆ.
ಎಐಗಳ ನಡುವೆ ಕೆಲಸ ಹಂಚುವ ವ್ಯವಸ್ಥೆ
NeMo Switchyard ಸ್ವತಃ ಎಲ್ಲ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಿಸುವ ಒಂದು ಹೊಸ ಎಐ ಮಾದರಿ ಅಲ್ಲ. ಇದು ಒಂದು ಮಧ್ಯವರ್ತಿ ವ್ಯವಸ್ಥೆ. ಒಂದು ಎಐ ಸೇವೆಗೆ ಪ್ರಶ್ನೆ ಬಂದಾಗ, ಅದನ್ನು ನೇರವಾಗಿ ಒಂದೇ ಮಾದರಿಗೆ ಕಳುಹಿಸುವ ಬದಲು, ಯಾವ ಮಾದರಿ ಆ ಕೆಲಸವನ್ನು ಅತ್ಯಂತ ಸೂಕ್ತವಾಗಿ ಮತ್ತು ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ ಮಾಡಬಲ್ಲದು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ.
ಸರಳ ಕೆಲಸವನ್ನು ಕಡಿಮೆ ವೆಚ್ಚದ ಸಣ್ಣ ಮಾದರಿಗೆ ಕಳುಹಿಸಬಹುದು. ಕಷ್ಟದ ಕೆಲಸವನ್ನು ದೊಡ್ಡ ಮಾದರಿಗೆ ಕಳುಹಿಸಬಹುದು. ಒಂದು ಸಣ್ಣ ಮಾದರಿ ನಿರೀಕ್ಷಿತ ಮಟ್ಟದಲ್ಲಿ ಕೆಲಸ ಮಾಡದಿದ್ದರೆ, ದೊಡ್ಡ ಮಾದರಿಗೆ ಕೆಲಸವನ್ನು ವರ್ಗಾಯಿಸುವ ವ್ಯವಸ್ಥೆಯನ್ನೂ ರೂಪಿಸಬಹುದು. ಹೀಗಾಗಿ ಎಐ ವ್ಯವಸ್ಥೆಯೊಳಗೆ ಒಂದು ರೀತಿಯ ಬುದ್ಧಿವಂತ ಸಂಚಾರ ನಿಯಂತ್ರಕ ಸೃಷ್ಟಿಯಾಗುತ್ತದೆ.
ಇದನ್ನೇ ಮಾದರಿ ರೂಟಿಂಗ್ ಎಂದು ಕರೆಯಬಹುದು. ಪ್ರಶ್ನೆ ಬಂದ ಕೂಡಲೇ “ಯಾವ ಮಾದರಿ?” ಎಂಬ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವುದು ಇದರ ಮುಖ್ಯ ಕೆಲಸ. NVIDIAಯ Switchyardನಲ್ಲಿ ನಿಯಮ ಆಧಾರಿತ ನಿರ್ಧಾರ, ವರ್ಗೀಕರಣ ಆಧಾರಿತ ನಿರ್ಧಾರ ಮತ್ತು ವಿವಿಧ ಸಂಕೇತಗಳನ್ನು ಆಧರಿಸಿದ ರೂಟಿಂಗ್ನಂತಹ ವಿಧಾನಗಳನ್ನು ಬಳಸುವ ಅವಕಾಶವಿದೆ. ಇದು ಒಂದೇ ಕಂಪನಿಯ ಎಐ ಸೇವೆಗೆ ಸೀಮಿತವಾಗದೆ ಹಲವು ಎಐ ಮೂಲಸೌಕರ್ಯಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವಂತೆ ರೂಪಿಸಲಾಗಿದೆ.
ಇದರ ಅರ್ಥ ದೊಡ್ಡ ಸಂಸ್ಥೆಗಳಿಗೆ ಇನ್ನೊಂದು ಪ್ರಮುಖ ಪ್ರಯೋಜನವೂ ಇದೆ. ಎಐ ವ್ಯವಸ್ಥೆ ಯಾವ ಮಾದರಿಗೆ ಎಷ್ಟು ಕೆಲಸ ನೀಡಿತು, ಯಾವ ಮಾದರಿಗೆ ಎಷ್ಟು ಹಣ ಖರ್ಚಾಯಿತು, ಎಷ್ಟು ಸಮಯ ತೆಗೆದುಕೊಂಡಿತು ಎಂಬುದನ್ನು ಗಮನಿಸಬಹುದು. ಈಗಾಗಲೇ ಎಐ ಬಳಕೆಯ ಬಿಲ್ ದೊಡ್ಡದಾಗುತ್ತಿರುವ ಸಂಸ್ಥೆಗಳಿಗೆ ಇದು ವೆಚ್ಚವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಸಹಾಯ ಮಾಡಬಹುದು.
74% ವೆಚ್ಚ ಕಡಿತದ ಸುದ್ದಿ ಎಷ್ಟು ದೊಡ್ಡದು?
ಇಲ್ಲಿಯೇ Switchyard ಬಗ್ಗೆ ಹೆಚ್ಚು ಕುತೂಹಲ ಮೂಡಿಸುವ ಅಂಕಿ ಬರುತ್ತದೆ. LangChain ನಡೆಸಿದ ಪರೀಕ್ಷೆಯಲ್ಲಿ ಅತ್ಯಂತ ಶಕ್ತಿಶಾಲಿ ಮಾದರಿಯನ್ನೇ ಪ್ರತಿಯೊಂದು ಕೆಲಸಕ್ಕೂ ಬಳಸುವ ವ್ಯವಸ್ಥೆಗೆ ಹೋಲಿಸಿದಾಗ, ಮಾದರಿ ರೂಟಿಂಗ್ ಬಳಸಿದ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ ವೆಚ್ಚ ಸುಮಾರು 74% ಕಡಿಮೆಯಾಗಿದೆ. ಆದರೆ ಈ ಉಳಿತಾಯಕ್ಕೆ ಒಂದು ಬೆಲೆಯೂ ಇತ್ತು. ಪರೀಕ್ಷೆಯಲ್ಲಿ ನಿಖರತೆ ಸುಮಾರು 6 ಶೇಕಡಾ ಅಂಕಗಳಷ್ಟು ಕಡಿಮೆಯಾಯಿತು.
ಇದನ್ನು ಸರಿಯಾಗಿ ಅರ್ಥಮಾಡಿಕೊಳ್ಳಬೇಕು. “74% ಹಣ ಉಳಿಯಿತು” ಎಂಬ ಅಂಕಿಯನ್ನು ಮಾತ್ರ ನೋಡಿ ಸಂತೋಷಪಡುವುದು ಸರಿಯಲ್ಲ. ಎಐ ವ್ಯವಸ್ಥೆ ಒಂದು ಕೆಲಸವನ್ನು ಕಡಿಮೆ ಹಣದಲ್ಲಿ ಮಾಡಿದರೂ, ಅದರ ಉತ್ತರದ ಗುಣಮಟ್ಟ ಕುಸಿದರೆ ಕಂಪನಿಗೆ ಮತ್ತೊಂದು ರೀತಿಯ ನಷ್ಟವಾಗಬಹುದು. ವಿಶೇಷವಾಗಿ ಹಣಕಾಸು, ಕಾನೂನು, ವೈದ್ಯಕೀಯ ಸಂಶೋಧನೆ ಅಥವಾ ಅತ್ಯಂತ ನಿಖರವಾದ ನಿರ್ಧಾರಗಳ ಅಗತ್ಯವಿರುವ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ನಿಖರತೆಯ ಸಣ್ಣ ಕುಸಿತವೂ ದೊಡ್ಡ ಪರಿಣಾಮ ಬೀರಬಹುದು.
LangChain ಪರೀಕ್ಷೆಯಲ್ಲಿ ಅತ್ಯಂತ ಶಕ್ತಿಶಾಲಿ ಮಾದರಿಯನ್ನು ಮಾತ್ರ ಬಳಸಿದ ವ್ಯವಸ್ಥೆಯ ನಿಖರತೆ 86% ಆಗಿತ್ತು. ರೂಟಿಂಗ್ ಬಳಸಿದ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ ಅದು 80%ಕ್ಕೆ ಇಳಿಯಿತು. ಆದರೆ ಪ್ರತಿ ಪೂರ್ಣಗೊಂಡ ಕೆಲಸದ ಸರಾಸರಿ ವೆಚ್ಚ ಸುಮಾರು $0.092ರಿಂದ $0.026ಕ್ಕೆ ಇಳಿಯಿತು. ಅಂದರೆ ಬಹಳ ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ ಕೆಲಸ ಮಾಡಿಸುವ ಸಾಧ್ಯತೆ ಸ್ಪಷ್ಟವಾಗಿ ಕಂಡುಬಂದಿದೆ. ಆದರೆ ಇದು ಒಂದು ನಿರ್ದಿಷ್ಟ ಪರೀಕ್ಷೆಯ ಫಲಿತಾಂಶ; ಪ್ರತಿಯೊಂದು ಎಐ ವ್ಯವಸ್ಥೆಯಲ್ಲೂ ಇದೇ ಪ್ರಮಾಣದ ಉಳಿತಾಯ ಸಿಗುತ್ತದೆ ಎಂದು ಅರ್ಥವಲ್ಲ.
ಇನ್ನೊಂದು ಅಂಕಿ ಇನ್ನಷ್ಟು ಕುತೂಹಲಕರ. ಆ ಪರೀಕ್ಷೆಯಲ್ಲಿ ಕಡಿಮೆ ವೆಚ್ಚದ Nemotron 3.5 Lightning ಮಾದರಿ ಸುಮಾರು 93% ಮಾದರಿ ಕರೆಗಳನ್ನು ನಿರ್ವಹಿಸಿತು. ಆದರೆ ಒಟ್ಟು ಮಾದರಿ ವೆಚ್ಚದಲ್ಲಿ ಅದರ ಪಾಲು ಕೇವಲ 10.4% ಆಗಿತ್ತು. ಮತ್ತೊಂದೆಡೆ, ಅತ್ಯಂತ ದುಬಾರಿ ಮಾದರಿ ಕೇವಲ 7% ಕರೆಗಳನ್ನು ನಿರ್ವಹಿಸಿದರೂ, ಒಟ್ಟು ವೆಚ್ಚದ 68.4% ಅದರ ಮೇಲಿತ್ತು. ಅಂದರೆ ಕಡಿಮೆ ಸಂಖ್ಯೆಯ ದುಬಾರಿ ಎಐ ಕರೆಗಳೇ ಒಟ್ಟು ಬಿಲ್ನ ದೊಡ್ಡ ಭಾಗವನ್ನು ತಿನ್ನುತ್ತಿದ್ದವು.
ಆದರೆ ಬಿಲ್ ಕಡಿಮೆ ಮಾಡಲು ಮತ್ತೊಂದು ಎಐ ಬೇಕು!
ಇಲ್ಲಿಯೇ ಈ ಕಥೆಯ ಅತ್ಯಂತ ಆಸಕ್ತಿದಾಯಕ ತಿರುವು ಬರುತ್ತದೆ. ಯಾವ ಪ್ರಶ್ನೆಯನ್ನು ದುಬಾರಿ ಮಾದರಿಗೆ ಕಳುಹಿಸಬೇಕು, ಯಾವುದನ್ನು ಅಗ್ಗದ ಮಾದರಿಗೆ ಕಳುಹಿಸಬೇಕು ಎಂದು ನಿರ್ಧರಿಸಲು ಕೆಲವು ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಮತ್ತೊಂದು ಎಐ ಮಾದರಿಯನ್ನು ಬಳಸಬೇಕಾಗುತ್ತದೆ. ಅದನ್ನು ನಿರ್ಣಾಯಕ ಮಾದರಿ ಎಂದು ಕರೆಯಬಹುದು. ಸಮಸ್ಯೆ ಏನೆಂದರೆ, ಆ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವ ಎಐ ಕೂಡ ಉಚಿತವಾಗಿ ಕೆಲಸ ಮಾಡುವುದಿಲ್ಲ.
LangChainನ ಪರೀಕ್ಷೆಯಲ್ಲಿ ಈ ನಿರ್ಣಾಯಕ ಮಾದರಿಯ ವೆಚ್ಚವೇ ರೂಟಿಂಗ್ ವ್ಯವಸ್ಥೆಯ ಒಟ್ಟು ವೆಚ್ಚದ ಸುಮಾರು 21.2% ಆಗಿತ್ತು. ಅಂದರೆ ಎಐ ವೆಚ್ಚ ಕಡಿಮೆ ಮಾಡಲು ಮಧ್ಯದಲ್ಲಿ ಮತ್ತೊಂದು ಎಐಯನ್ನು ಕೂರಿಸಿದಾಗ, ಆ ಮಧ್ಯವರ್ತಿಗೂ ಹಣ ಕೊಡಬೇಕಾಗುತ್ತದೆ. ಹೀಗಾಗಿ “ರೂಟಿಂಗ್ ಹಾಕಿದರೆ ವೆಚ್ಚ ಶೂನ್ಯಕ್ಕೆ ಬರುತ್ತದೆ” ಎಂಬುದು ಖಂಡಿತವಾಗಿಯೂ ಸರಿಯಾದ ಕಲ್ಪನೆಯಲ್ಲ.
ಇದರ ಜೊತೆಗೆ ವೇಗದ ಪ್ರಶ್ನೆಯೂ ಇದೆ. ಪ್ರಶ್ನೆ ಬಂದ ಕೂಡಲೇ ಉತ್ತರಿಸುವ ಬದಲು ಮೊದಲು ಯಾವ ಮಾದರಿಗೆ ಕಳುಹಿಸಬೇಕು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಬೇಕಾದರೆ ಹೆಚ್ಚುವರಿ ಸಮಯ ಬೇಕಾಗಬಹುದು. LangChain ಪರೀಕ್ಷೆಯಲ್ಲಿ ಕೆಲವು ನಿರ್ಣಾಯಕ ರೂಟಿಂಗ್ ವಿಧಾನಗಳು ಸುಮಾರು 700 ಮಿಲಿಸೆಕೆಂಡ್ ಹೆಚ್ಚುವರಿ ವಿಳಂಬ ತಂದಿದ್ದವು. ಬಳಕೆದಾರರಿಗೆ ಇದು ದೊಡ್ಡ ವ್ಯತ್ಯಾಸವಾಗದಿರಬಹುದು, ಆದರೆ ನೇರ ಸಂಭಾಷಣೆ, ಧ್ವನಿ ಆಧಾರಿತ ಎಐ ಅಥವಾ ತಕ್ಷಣದ ಪ್ರತಿಕ್ರಿಯೆ ಅಗತ್ಯವಿರುವ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಇದು ಗಮನಾರ್ಹವಾಗಬಹುದು.
NVIDIAಗೆ ಇದರಲ್ಲಿರುವ ದೊಡ್ಡ ಲೆಕ್ಕವೇನು?
ಇಲ್ಲಿಯವರೆಗೆ ನೋಡಿದರೆ NVIDIA ಗ್ರಾಹಕರ ಎಐ ಬಿಲ್ ಕಡಿಮೆ ಮಾಡಲು ಸಹಾಯ ಮಾಡುತ್ತಿದೆ ಎಂಬ ಚಿತ್ರ ಬರುತ್ತದೆ. ಆದರೆ ಇದರ ಹಿಂದೆ NVIDIAಗೆ ಇರುವ ದೊಡ್ಡ ವ್ಯವಹಾರಿಕ ಅವಕಾಶವನ್ನು ಗಮನಿಸದೇ ಇರಲು ಸಾಧ್ಯವಿಲ್ಲ. NVIDIAಯ ಪ್ರಮುಖ ವ್ಯವಹಾರವೇ ಎಐ ಗಣನೆಗೆ ಬೇಕಾದ ಚಿಪ್ಗಳು ಮತ್ತು ಮೂಲಸೌಕರ್ಯ. ಸಣ್ಣ ಮತ್ತು ಮಧ್ಯಮ ಗಾತ್ರದ ಮಾದರಿಗಳು ಹೆಚ್ಚು ಕೆಲಸಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಆರಂಭಿಸಿದರೆ, ಅವುಗಳನ್ನು ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ನಡೆಸಲು ಬೇಕಾಗುವ ಗಣನಾ ಮೂಲಸೌಕರ್ಯವೂ ಹೆಚ್ಚುತ್ತದೆ.
NVIDIA ಈಗ Nemotron ಕುಟುಂಬದ ವಿವಿಧ ಮಾದರಿಗಳೊಂದಿಗೆ ತನ್ನ ಎಐ ಪರಿಸರವನ್ನು ವಿಸ್ತರಿಸುತ್ತಿದೆ. NeMo Switchyard ಮತ್ತು ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ ನಿರ್ದಿಷ್ಟ ಕೆಲಸಗಳನ್ನು ನಿರ್ವಹಿಸುವ Nemotron ಮಾದರಿಗಳು ಒಂದಕ್ಕೊಂದು ಪೂರಕವಾಗಿವೆ. ದೊಡ್ಡ ಮಾದರಿ ಬೇಕಾದಾಗ ದೊಡ್ಡ ಮಾದರಿ, ಸಣ್ಣ ಕೆಲಸಕ್ಕೆ ಸಣ್ಣ ಮಾದರಿ — ಈ ವ್ಯವಸ್ಥೆಯೊಳಗೆ NVIDIAಯದೇ ತಂತ್ರಜ್ಞಾನಗಳು ಹೆಚ್ಚು ಜಾಗ ಪಡೆಯುವ ಸಾಧ್ಯತೆಯಿದೆ.
ಇದರಲ್ಲಿ ಮತ್ತೊಂದು ಕುತೂಹಲಕಾರಿ ಆರ್ಥಿಕ ಲೆಕ್ಕವಿದೆ. ಒಂದು ಎಐ ಕೆಲಸದ ಬೆಲೆ ಕಡಿಮೆಯಾದರೆ, ಕಂಪನಿಗಳು ಎಐ ಬಳಕೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತವೆ ಎಂಬುದು ಕಡ್ಡಾಯವಲ್ಲ. ಬದಲಾಗಿ ಹಿಂದೆ ದುಬಾರಿ ಎಂದು ಕೈಬಿಟ್ಟಿದ್ದ ಹಲವು ಕೆಲಸಗಳನ್ನು ಎಐಗೆ ಒಪ್ಪಿಸಬಹುದು. ಒಂದು ಕೆಲಸದ ಬೆಲೆ 10 ಪಟ್ಟು ಕಡಿಮೆಯಾದರೆ, ಅದರ ಬಳಕೆ 10 ಪಟ್ಟು ಹೆಚ್ಚಾಗಬಹುದು. ಆಗ ಪ್ರತಿಯೊಂದು ಕೆಲಸದ ವೆಚ್ಚ ಕಡಿಮೆಯಾದರೂ ಒಟ್ಟು ಎಐ ಬಳಕೆ ಮತ್ತು ಒಟ್ಟು ಗಣನಾ ಬೇಡಿಕೆ ಹೆಚ್ಚಾಗಬಹುದು.
AI ಜಗತ್ತಿನ ಹೊಸ ‘ಟ್ರಾಫಿಕ್ ಪೊಲೀಸ್’
ಈ ಕಾರಣಕ್ಕಾಗಿಯೇ ಮಾದರಿ ರೂಟಿಂಗ್ ಮುಂದಿನ ಎಐ ಮೂಲಸೌಕರ್ಯದಲ್ಲಿ ಪ್ರಮುಖ ಪದರವಾಗುವ ಸಾಧ್ಯತೆಯಿದೆ. ಇಂದು “ಯಾವ ಎಐ ಮಾದರಿ ಅತ್ಯಂತ ಬುದ್ಧಿವಂತ?” ಎಂಬ ಪ್ರಶ್ನೆ ಹೆಚ್ಚು ಕೇಳಲಾಗುತ್ತಿದೆ. ಆದರೆ ಮುಂದಿನ ಹಂತದಲ್ಲಿ “ಯಾವ ಕೆಲಸಕ್ಕೆ ಯಾವ ಮಾದರಿ ಅತ್ಯಂತ ಸೂಕ್ತ?” ಎಂಬ ಪ್ರಶ್ನೆ ಹೆಚ್ಚು ಮುಖ್ಯವಾಗಬಹುದು.
ಇದು ಎಐ ಬಳಕೆಯ ಆರ್ಥಿಕತೆಯಲ್ಲೇ ಬದಲಾವಣೆ ತರಬಹುದು. ಒಂದೇ ಸಂಸ್ಥೆ ಒಂದೇ ಸಮಯದಲ್ಲಿ ಹಲವು ಮಾದರಿಗಳನ್ನು ಬಳಸಬಹುದು. ಒಂದು ಮಾದರಿ ಕೋಡಿಂಗ್ನಲ್ಲಿ ಉತ್ತಮವಾಗಿರಬಹುದು, ಇನ್ನೊಂದು ದಾಖಲೆ ವಿಶ್ಲೇಷಣೆಯಲ್ಲಿ, ಮತ್ತೊಂದು ಸರಳ ಸಂಭಾಷಣೆಯಲ್ಲಿ. ಇವೆಲ್ಲವನ್ನು ಒಂದೇ ವ್ಯವಸ್ಥೆಯೊಳಗೆ ಜೋಡಿಸುವ ಕೆಲಸವನ್ನು ರೂಟರ್ ನಿರ್ವಹಿಸಿದರೆ, ಕಂಪನಿಗಳಿಗೆ ಒಂದೇ ಮಾದರಿಯ ಮೇಲೆ ಸಂಪೂರ್ಣ ಅವಲಂಬನೆ ಇರುವುದಿಲ್ಲ.
ಈ ಕ್ಷೇತ್ರದಲ್ಲಿ OpenRouter ಕೂಡ ಪ್ರಮುಖ ಹೆಸರು. ವಿವಿಧ ಎಐ ಮಾದರಿಗಳ ನಡುವೆ ಆಯ್ಕೆ ಮತ್ತು ಸಂಚಾರ ನಿರ್ವಹಿಸಲು ಸಹಾಯ ಮಾಡುವ OpenRouterನ ಮಹತ್ವವನ್ನು ಉದ್ಯಮ ಗಮನಿಸುತ್ತಿದೆ. Stripe OpenRouter ಅನ್ನು $8 ಬಿಲಿಯನ್ಗಿಂತ ಹೆಚ್ಚಿನ ಮೊತ್ತದ ಒಪ್ಪಂದದಲ್ಲಿ ಸ್ವಾಧೀನಪಡಿಸಿಕೊಳ್ಳುವ ಒಪ್ಪಂದ ಅಂತಿಮಗೊಳಿಸಿರುವುದು ಕೂಡ ಈ ಕ್ಷೇತ್ರದ ವ್ಯಾಪಾರಿಕ ಮೌಲ್ಯ ಎಷ್ಟು ವೇಗವಾಗಿ ಹೆಚ್ಚುತ್ತಿದೆ ಎಂಬುದಕ್ಕೆ ಸೂಚನೆ.
ಇದು ಗಮನಿಸಬೇಕಾದ ದೊಡ್ಡ ಬದಲಾವಣೆ. ಎಐ ಉದ್ಯಮದ ಮೊದಲ ಹಂತದಲ್ಲಿ ಮಾದರಿಗಳ ನಡುವೆ ಯಾರು ಹೆಚ್ಚು ಬುದ್ಧಿವಂತ ಎಂಬ ಸ್ಪರ್ಧೆ ಇತ್ತು. ಈಗ ಅದರ ಜೊತೆಗೆ ಯಾವ ಮಾದರಿ ಎಷ್ಟು ಅಗ್ಗ, ಎಷ್ಟು ವೇಗ, ಯಾವ ಕೆಲಸದಲ್ಲಿ ಎಷ್ಟು ನಿಖರ ಎಂಬ ಸ್ಪರ್ಧೆಯೂ ಆರಂಭವಾಗಿದೆ. ಮುಂದಿನ ಹಂತದಲ್ಲಿ ಈ ಎಲ್ಲ ಮಾದರಿಗಳನ್ನು ಸರಿಯಾದ ಸಮಯದಲ್ಲಿ ಸರಿಯಾದ ಕೆಲಸಕ್ಕೆ ಜೋಡಿಸುವ ವ್ಯವಸ್ಥೆಯೇ ಮತ್ತೊಂದು ದೊಡ್ಡ ಉದ್ಯಮವಾಗಬಹುದು.
ಕೊನೆಗೆ ಉಳಿಯುವ ಪ್ರಶ್ನೆ ಒಂದೇ
ಹಾಗಾದರೆ NVIDIAಯ NeMo Switchyard ನಿಜವಾಗಿಯೂ ಎಐ ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆಯೇ? ಸರಿಯಾದ ಸಂದರ್ಭದಲ್ಲಿ ಬಳಸಿದರೆ ಖಂಡಿತವಾಗಿಯೂ ಕಡಿಮೆ ಮಾಡಬಹುದು. ವಿಶೇಷವಾಗಿ ಸಾವಿರಾರು ಅಥವಾ ಲಕ್ಷಾಂತರ ಎಐ ವಿನಂತಿಗಳನ್ನು ನಿರ್ವಹಿಸುವ ದೊಡ್ಡ ಸಂಸ್ಥೆಗಳಿಗೆ, ಸಣ್ಣ ಕೆಲಸಗಳನ್ನು ಅಗ್ಗದ ಮಾದರಿಗಳಿಗೆ ವರ್ಗಾಯಿಸುವುದು ನೇರವಾದ ಉಳಿತಾಯ ತರಬಹುದು. 74% ವೆಚ್ಚ ಕಡಿತದ ಪರೀಕ್ಷಾ ಫಲಿತಾಂಶವೂ ಈ ಸಾಧ್ಯತೆಯ ಗಂಭೀರತೆಯನ್ನು ತೋರಿಸುತ್ತದೆ. ಆದರೆ ಅದರ ಜೊತೆಗೆ ನಿಖರತೆಯ ಕುಸಿತ, ಹೆಚ್ಚುವರಿ ವಿಳಂಬ ಮತ್ತು ನಿರ್ಣಾಯಕ ಮಾದರಿಗೆ ತಗಲುವ ವೆಚ್ಚವನ್ನೂ ಲೆಕ್ಕಕ್ಕೆ ತೆಗೆದುಕೊಳ್ಳಬೇಕು.
ಹೀಗಾಗಿ Switchyard ಎಐ ವೆಚ್ಚಕ್ಕೆ ಯಾವುದೋ ಮಾಯದಂಡವಲ್ಲ. ಇದು ಎಐ ಜಗತ್ತಿನ ಟ್ರಾಫಿಕ್ ನಿಯಂತ್ರಕ. ಯಾವ ವಾಹನ ಯಾವ ದಾರಿಯಲ್ಲಿ ಹೋಗಬೇಕು ಎಂದು ಸರಿಯಾಗಿ ನಿರ್ಧರಿಸಿದರೆ ಸಂಚಾರ ಸುಗಮವಾಗುತ್ತದೆ, ಇಂಧನ ಉಳಿಯುತ್ತದೆ ಮತ್ತು ಸಮಯವೂ ಉಳಿಯುತ್ತದೆ. ಆದರೆ ಟ್ರಾಫಿಕ್ ನಿಯಂತ್ರಕನನ್ನೇ ಪ್ರತಿಯೊಂದು ವಾಹನದ ಮುಂದೆ ನಿಲ್ಲಿಸಿದರೆ ಹೊಸ ವಿಳಂಬವೂ ಸೃಷ್ಟಿಯಾಗುತ್ತದೆ. ಎಐ ರೂಟಿಂಗ್ನ ನಿಜವಾದ ಸವಾಲೂ ಇದೇ.
ಮುಂದಿನ ದಿನಗಳಲ್ಲಿ ಎಐ ಬಳಕೆಯ ದೊಡ್ಡ ಪ್ರಶ್ನೆ “ಎಲ್ಲಕ್ಕಿಂತ ಶಕ್ತಿಶಾಲಿ ಮಾದರಿ ಯಾವುದು?” ಎಂಬುದಾಗಿರುವುದಿಲ್ಲ. “ಈ ಕೆಲಸವನ್ನು ಮಾಡಲು ನಿಜವಾಗಿಯೂ ಎಷ್ಟು ಶಕ್ತಿಯ ಮಾದರಿ ಬೇಕು?” ಎಂಬುದಾಗಿರುತ್ತದೆ. ಆ ಪ್ರಶ್ನೆಗೆ ಸರಿಯಾದ ಉತ್ತರ ಕಂಡುಕೊಂಡ ಸಂಸ್ಥೆಗಳು ಕಡಿಮೆ ಹಣದಲ್ಲಿ ಹೆಚ್ಚು ಕೆಲಸ ಮಾಡಿಸಬಹುದು. ಆದರೆ ಇಲ್ಲೊಂದು ವಿಚಿತ್ರ ಸತ್ಯವಿದೆ — ಎಐ ಅಗ್ಗವಾದಷ್ಟೂ ಅದರ ಬಳಕೆ ಹೆಚ್ಚಾಗಬಹುದು. NVIDIA ಈಗ ಎಐ ವೆಚ್ಚದ ಬೆಂಕಿಯನ್ನು ಕಡಿಮೆ ಮಾಡಲು ರೂಟರ್ ನೀಡುತ್ತಿದೆ. ಆದರೆ ಆ ರೂಟರ್ ಎಐಯ ಬೆಂಕಿಯನ್ನು ಆರಿಸುತ್ತದೆಯೋ, ಇಲ್ಲವೇ ಇನ್ನೂ ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಎಐ ಬಳಸಲು ದಾರಿ ಮಾಡಿಕೊಡುತ್ತದೆಯೋ ಎಂಬುದನ್ನು ಮುಂದಿನ ಕೆಲವು ವರ್ಷಗಳೇ ಹೇಳಲಿವೆ.
0 ಕಾಮೆಂಟ್ಗಳು
ಇನ್ನೂ ಯಾವುದೇ ಕಾಮೆಂಟ್ಗಳಿಲ್ಲ.
ಕಾಮೆಂಟ್ ಮಾಡಿ
ಚಂದಾದಾರರಾಗಿ
ಬ್ರೇಕಿಂಗ್ ನ್ಯೂಸ್, ಟ್ರೆಂಡಿಂಗ್ ಸ್ಟೋರಿ ಆಳವಾದ ವಿಶ್ಲೇಷಣೆಗಳನ್ನು ನಿರಂತರವಾಗಿ ಪಡೆಯಲು ಉಚಿತವಾಗಿ ಚಂದಾದಾರರಾಗಿ.