Kopš darba uzsākšanas Ārlietu ministrijā 2008. gadā K. Krumholcs specializējies Eiropas Savienības (ES) jautājumos. Viņš strādājis ES Vispārējo lietu nodaļā, vadījis ES Pastāvīgo pārstāvju komitejas I daļas (COREPER I) sagatavošanas nodaļu, kā arī no 2010. līdz 2015. gadam bijis Latvijas pastāvīgajā pārstāvniecībā ES Briselē. Šajā laikā viņš bija viens no Latvijas pirmās prezidentūras ES Padomē sagatavošanas un īstenošanas koordinatoriem.
Turpmākajā karjerā K. Krumholcs strādāja Latvijas vēstniecībā Lielbritānijas un Ziemeļīrijas Apvienotajā Karalistē, kur bija atbildīgs par breksita un diasporas jautājumiem. Vēlāk Eiropas Ārējās darbības dienesta Apvienotās Karalistes nodaļā viņš koordinēja ES un Apvienotās Karalistes pēc breksita sadarbības izveidi ārpolitikas un drošības politikas jomā.
Pēc darba Eiropas Ārējās darbības dienestā K. Krumholcs vadīja Ārlietu ministrijas Austrumeiropas un Centrālāzijas valstu nodaļu. Kopš 2024. gada aprīļa ir Ministres biroja vadītājs.
Vidzemes Augstskolā K. Krumholcs ieguvis profesionālo bakalaura grādu politikas zinātnē.
Kaspars Krumholcs amatā nomainīs vēstnieku Zigmāru Zilgalvi, kurš Latvijas intereses Japānā pārstāv kopš 2022. gada.
