Kustomize では外部の Git リポジトリにある manifest を参照し、 base として使うことができるようです。

bases に渡す manifest のパスを git@<Repository Path>.git/manifest のように記述することで参照できます。

apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization

namespace: argocd

resources:
- namespace.yaml

bases:
- git@github.com:github.com/argoproj/argo-cd.git/manifests/crds?ref=v1.1.2
- git@github.com:github.com/argoproj/argo-cd.git/manifests/base?ref=v1.1.2

うしろに ?ref=<Branch/Tag Name> のように付け加えることで、ブランチ名やタグ名も指定できます。