Hugging Face's logo

miqudev
/
miqu-1-70b

GGUF
Inference Endpoints
Model card Files Community
31
miqu-1-70b
File size: 8,530 Bytes 
fba85a6
 
 
df370c8
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
b8d3525
 
 
 
 
 
 
 
 
 
fba85a6
b8d3525
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
 
---
{}
---
Leaked from


                                                                     ▄▄▄░░
                                                            ▄▄▄▄▄█████████░░░░
                                                ▄▄▄▄▄▄████████████████████░░░░░
                                             █████████████████████████████░░░░░
                        ▄▄▄▄▄▄█████░░░       █████████████████████████████░░░░░
             ▄▄▄▄▄██████████████████░░░░░░  ██████████████████████████████░░░░░
      ▄█████████████████████████████░░░░░░░░██████████████████████████████░░░░░
      ███████████████████████████████░░░░░░░██████████████████████████████░░░░░
      ███████████████████████████████░░░░░░░██████████████████████████████░░░░░
      ███████████████████████████████░░░░░░███████████████████████████████░░░░░
      ████████████████████████████████░░░░░███████████████████████████████░░░░░
      ████████████████████████████████░░░░████████████████████████████████░░░░░
      █████████████████████████████████░░░████████████████████████████████░░░░░
      █████████████████████████████████░░░████████████░███████████████████░░░░░
      ██████████████████████████████████░█████████████░███████████████████░░░░░
      ███████████████████░██████████████▄█████████████░███████████████████░░░░░
      ███████████████████░███████████████████████████░░███████████████████░░░░░
      ███████████████████░░██████████████████████████░░███████████████████░░░░░
      ███████████████████░░█████████████████████████░░░███████████████████░░░░░
      ███████████████████░░░████████████████████████░░░███████████████████░░░░░
      ███████████████████░░░████████████████████████░░░███████████████████░░░░░
      ███████████████████░░░░██████████████████████░░░░███████████████████░░░░░
      ███████████████████░░░░██████████████████████░░░░███████████████████░░░░░
      ███████████████████░░░░░█████████████████████░░░░███████████████████░░░░░
      ███████████████████░░░░░████████████████████░░░░░███████████████████░░░░░
      ███████████████████░░░░░░███████████████████░░░░░███████████████████░░░░░
      ███████████████████░░░░░░██████████████████░░░░░░███████████████████░░░░░
      ███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░
      ███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░
      ███████████████████░░░░░░░░███████████████░░░░░░░██████████░░░░░░░░░░░░░░
      ███████████████████░░░░░░░░███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
      ███████████████████░░░░░░░░███████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
      ███████████████████░░░░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
      ███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
      ██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░  ░░░░░░░
          ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░      ░░░
                ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░    ░░░░░░░░░░░░░░░░░░
                   ░░░░░░░░░░░░░░░░░░░░░░░░░░░░
                        ░░░░░░░░░░░░░░░░░
                           ░░░░░

# miqu 70b

First model in the potential series.

## Prompt format: Mistral

```
<s> [INST] QUERY_1 [/INST] ANSWER_1</s> [INST] QUERY_2 [/INST] ANSWER_2</s>...
```

Beware that some backends (like llama.cpp) add bos already (by default), so you don't need to prepend it yourself.

## Settings

DO NOT CHANGE ROPE SETTINGS. This model uses high freq base with 32k seen tokens, it should be fine for most tasks.

Only tested with temp 1 and top_p 0.95 with everything else disabled.